אחת התכונות האטרקטיביות ביותר של מסגרת Hadoop היא שלה ניצול חומרת סחורות . עם זאת, זה מוביל לקרוס DataNode תכופים באשכול Hadoop. מאפיין בולט נוסף של Hadoop Framework הוא קלות הגודל בהתאם לצמיחה המהירה בנפח הנתונים . בגלל שתי הסיבות הללו, אחת המשימות הנפוצות ביותר של מנהל Hadoop היא לבצע זאת עמלה (הוסף) ו פירוק (הסר) צמתים של נתונים באשכול Hadoop.
מה זה keyerror בפייתון
הזמנת והוצאת צמתים באשכול Hadoop:
בתרשים למעלה מוצג תהליך שלב אחר שלב לפירוק DataNode באשכול.
המשימה הראשונה היא לעדכן את ' לא לכלול 'קבצים לשניהם HDFS (hdfs-site.xml) ו- MapReduce (mapred-site.xml).
הקובץ 'אל תכלול':
- למעקב אחר דרושים מכיל את רשימת המארחים שצריך לא לכלול על ידי מעקב העבודה. אם הערך ריק, אין מארחים נכללים.
- עבור Namenode מכיל רשימה של מארחים שאינם מורשים להתחבר ל- Namenode.
להלן תצורת הדוגמה לקובץ ההכללה ב- hdfs-site.xml ו- mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ בית / hadoop / לא כולל
נָכוֹן
mapred-site.xml
mapred.hosts.exclude
/ בית / hadoop / לא כולל
נָכוֹן
הערה: יש לציין את שם הנתיב המלא של הקבצים.
באופן דומה, יש לנו את הקבצים 'כלול':
- למעקב אחר דרושים המכיל את רשימת הצמתים שעשויים להתחבר ל- JobTracker. אם הערך ריק, כל המארחים מורשים.
- עבור Namenode המכיל רשימת מארחים המורשים להתחבר ל- Namenode. אם הערך ריק, כל המארחים מורשים.
ה ' dfsadmin 'ו' מרדמין פקודות 'מרעננות את התצורה עם השינויים כדי לגרום להם להיות מודעים לצומת החדש.
ה ' עבדים הקובץ בשרת הראשי מכיל את רשימת כל צמתי הנתונים. יש לעדכן זאת גם בכדי להבטיח כל בעיה בהפעלה / עצירה של הדמון של Hadoop בעתיד.
השלב החשוב בתהליך העמלת צומת נתונים הוא הפעלת איזון האשכולות.
> איזון Hadoop - סף 40
מאזן מנסה לספק איזון לסף מסוים בין צמתים נתונים על ידי העתקת נתוני חסימה מצמתים ישנים לצמתים שהוזמנו לאחרונה.
אז ככה תוכלו לעשות - הַזמָנָה ו הפסקת הפעלה צמתים באשכול Hadoop.
יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.
קישורים קשורים: