אפאצ'י HBase הוא בסיס נתונים פתוח, מבוזר, ולא-יחסי, שעוצב על פי ה- Bigtable של גוגל ונכתב בג'אווה. הוא מספק יכולות דומות ל- Bigtable על גבי Hadoop ו- HDFS (Hadoop Distributed File System) כלומר הוא מספק דרך סובלנית לאחסון כמויות גדולות של נתונים דלילים, הנפוצים במקרים רבים של שימוש בנתונים גדולים. HBase משמש לגישה קריאה / כתיבה בזמן אמת לביג דאטה.
ארכיטקטורת האחסון של HBase כוללת רכיבים רבים. בואו נסתכל על הפונקציות של רכיבים אלה ונדע כיצד כותבים נתונים.
מרחבי שמות ב- c ++
HFiles:
HFiles מהווה את הרמה הנמוכה של הארכיטקטורה של HBase. HFiles הם קבצי אחסון שנוצרו כדי לאחסן את הנתונים של HBase במהירות וביעילות.
HMaster:
ה- HMaster אחראי להקצות את האזורים לכל HRegionServer בעת הפעלת HBase. היא אחראית על ניהול כל מה שקשור לשורות, טבלאות ופעילויות התיאום שלהם. ל- Hmaster יש גם את פרטי המטא נתונים.
כיצד לחבר את מסד הנתונים של
רכיבים של HBase:
ל- HBase יש את המרכיבים הבאים:
- לוח - כולל אזורים
- אזור - טווח שורות המאוחסנים יחד
- שרתים אזוריים - משרת אזור אחד או יותר
- שרת מאסטר - Daemon אחראי על ניהול אשכול HBase
ה- HBase מאחסן נתונים ישירות ל- HDFS ומסתמך במידה רבה על הזמינות הגבוהה של HDFS וסובלנות תקלות.
ארכיטקטורת אחסון HBase:
הזרימה הכללית היא שלקוח יוצר קשר עם ה- Zookeeper כדי למצוא מפתח שורה מסוים. היא עושה זאת על ידי אחזור שם השרת מ- Zookeeper. בעזרת מידע זה הוא יכול כעת לשאול אותו שרת כדי לקבל את השרת המחזיק את המטא-מטא. שני הפרטים הללו נשמרים במטמון ונבדקים רק פעם אחת. לבסוף, הוא יכול לשאול על המטברסבר ולאחזר את השרת שיש בו את השורה שהלקוח מחפש.
אביב מדריך mvc למתחילים
ברגע שהיא יודעת באיזה אזור השורה שוכנת, היא שומרת גם מידע זה ויוצרת קשר ישירות עם HRegionServer. כך שלאורך זמן יש ללקוח מידע מלא מאיפה להשיג שורות מבלי להזדקק שוב לשאילתת המטזרבר. כאשר HRegion נפתח, הוא מגדיר מופע חנות לכל HColumnFamily לכל טבלה. הנתונים נכתבים כאשר הלקוח מוציא בקשה ל- HRegionServer המספק את הפרטים למופע HRegion התואם. השלב הראשון הוא שעלינו להחליט אם הנתונים צריכים להיכתב תחילה ל'כתוב קדימה-יומן '(WAL) המיוצג על ידי מחלקת HLog. ההחלטה מבוססת על הדגל שקבע הלקוח.
ברגע שהנתונים נכתבים ל- WAL הם ממוקמים ב- MemStore. במקביל, Memstore נבדק אם הוא מלא ובמקרה זה מתבקש שטיפה לדיסק. ואז הנתונים נכתבים ל- HFile.
יש לך שאלה עבורנו? הזכר אותם בסעיף ההערות ונחזור אליך.
פוסטים קשורים