התקן את Hadoop: הגדרת אשכול Hadoop יחיד

התקן את Hadoop: הגדרת אשכול Hadoop יחיד

מהבלוגים הקודמים שלנו , בטח קיבלת מושג תיאורטי לגבי Hadoop, HDFS והארכיטקטורה שלה.אבל להגיע אתה צריך ידע מעשי טוב.אני מקווה שהיית רוצה את הבלוג הקודם שלנו ב- , עכשיו אני אעביר אותך דרך הידע המעשי אודות Hadoop ו- HDFS. הצעד הראשון קדימה הוא התקנת Hadoop.

ישנן שתי דרכים להתקין את Hadoop, כלומר צומת יחיד ו רב צומת .

אשכול צומת יחיד פירושו רק DataNode אחד שמריץ ומגדיר את כל ה- NameNode, DataNode, ResourceManager ו- NodeManager במחשב יחיד. זה משמש למטרות לימוד ובדיקה. לדוגמא, הבה נבחן מערך נתונים לדוגמא בתוך ענף בריאות. לכן, כדי לבדוק אם עבודות Oozie תכננו את כל התהליכים כמו איסוף, צבירה, אחסון ועיבוד הנתונים ברצף מתאים, אנו משתמשים באשכול צומת יחיד. זה יכול לבדוק בקלות וביעילות את זרימת העבודה הרציפה בסביבה קטנה יותר בהשוואה לסביבות גדולות המכילות טרה-בתים של נתונים המופצים על פני מאות מכונות.

תוך כדי א אשכול רב צומת , פועלים יותר מ- DataNode אחד וכל DataNode פועל במכונות שונות. אשכול רב הצמתים משמש למעשה בארגונים לניתוח ביג דאטה. אם ניקח בחשבון את הדוגמה לעיל, בזמן אמת כאשר אנו מתמודדים עם פטא-בתים של נתונים, יש להפיץ אותו על מאות מכונות שיעובדו. לפיכך, כאן אנו משתמשים באשכול רב צמתים.

בבלוג זה אני אראה לך כיצד להתקין את Hadoop באשכול צומת יחיד.

תנאים מוקדמים

• תיבה וירטואלית : הוא משמש להתקנת מערכת ההפעלה עליו.
• מערכת הפעלה : אתה יכול להתקין את Hadoop על מערכות הפעלה מבוססות לינוקס. מאוד משתמשים באובונטו וב- CentOS. במדריך זה אנו משתמשים ב- CentOS.
• JAVA : עליך להתקין את חבילת Java 8 במערכת שלך.
• HADOOP : אתה זקוק לחבילה של Hadoop 2.7.3.

התקן את Hadoop

שלב 1: לחץ כאן להורדת חבילת Java 8. שמור קובץ זה בספריית הבית שלך.

שלב 2: חלץ את קובץ ה- Java Tar.

פקודה : tar -xvf jdk-8u101-linux-i586.tar.gz

איור: התקנת Hadoop - חילוץ קבצי Java

שלב 3: הורד את חבילת Hadoop 2.7.3.

פקודה : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

איור: התקנת Hadoop - הורדת Hadoop

שלב 4: חלץ את קובץ הזפת של Hadoop.

פקודה : tar -xvf hadoop-2.7.3.tar.gz

איור: התקנת Hadoop - חילוץ קבצי Hadoop

שלב 5: הוסף את נתיבי Hadoop ו- Java בקובץ ה- bash (.bashrc).

לִפְתוֹחַ . bashrc קוֹבֶץ. כעת הוסף את Hadoop ו- Java Path כפי שמוצג להלן.

פקודה : vi .bashrc

איור: התקנת Hadoop - משתנה סביבת הגדרה

לאחר מכן, שמור את קובץ ה- bash וסגור אותו.

להחלת כל השינויים הללו על הטרמינל הנוכחי, בצע את פקודת המקור.

פקודה : מקור .bashrc

איור: התקנת Hadoop - רענון משתני סביבה

כדי לוודא שג'אווה והדופ הותקנו כהלכה במערכת שלך וניתן לגשת אליהם דרך הטרמינל, למשלבצע את פקודות הגירסה Java ו- Hadoop.

פקודה : ג'אווה-גִרְסָה

איור: התקנת Hadoop - בדיקת גרסת Java

פקודה : hadoopגִרְסָה

איור: התקנת Hadoop - בדיקת גרסת Hadoop

שלב 6 : ערוך את .

פקודה: cd hadoop-2.7.3 / etc / hadoop /

פקודה: ls

כל קבצי התצורה של Hadoop נמצאים ב hadoop-2.7.3 / וכו '/ hadoop בספרייה כפי שניתן לראות בתצלום הבא:

איור: התקנת Hadoop - קבצי תצורה של Hadoop

שלב 7 : לִפְתוֹחַ core-site.xml ולערוך את המאפיין המוזכר למטה בתוך תג התצורה:

core-site.xml מודיע לדמון Hadoop היכן רץ NameNode באשכול. הוא מכיל הגדרות תצורה של ליבת Hadoop כגון הגדרות קלט / פלט המשותפות ל- HDFS & MapReduce.

פקודה : vi core-site.xml

איור: התקנת Hadoop - קביעת תצורה של core-site.xml

fs.default.name hdfs: // localhost: 9000

שלב 8: לַעֲרוֹך hdfs-site.xml ולערוך את המאפיין המוזכר למטה בתוך תג התצורה:

hdfs-site.xml מכיל הגדרות תצורה של הדמונים של HDFS (כלומר NameNode, DataNode, SecondName Name). זה כולל גם את גורם השכפול וגודל החסימה של HDFS.

פקודה : vi hdfs-site.xml

איור: התקנת Hadoop - קביעת תצורה של hdfs-site.xml

dfs.replication 1 dfs.permission false

שלב 9 : ערוך את mapred-site.xml קבץ וערוך את המאפיין המוזכר למטה בתוך תג התצורה:

mapred-site.xml מכיל הגדרות תצורה של יישום MapReduce כמו מספר JVM שיכול לרוץ במקביל, גודל המפות ותהליך המפחית, ליבות מעבד זמינות לתהליך וכו '.

בחלק מהמקרים, קובץ mapred-site.xml אינו זמין. אז עלינו ליצור את הקובץ mapred-site.xmlבאמצעות תבנית mapred-site.xml.

פקודה : cp mapred-site.xml.template mapred-site.xml

פקודה : אָנוּ ממפות-אֲתַר.xml.

איור: התקנת Hadoop - קביעת תצורה של mapred-site.xml

חוט mapreduce.framework.name

שלב 10: לַעֲרוֹך yarn-site.xml ולערוך את המאפיין המוזכר למטה בתוך תג התצורה:

yarn-site.xml מכיל הגדרות תצורה של ResourceManager ו- NodeManager כמו גודל ניהול זיכרון היישומים, הפעולה הנדרשת בתכנית ואלגוריתם וכו '.

פקודה : vi yarn-site.xml

איור: התקנת Hadoop - קביעת תצורה של yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

שלב 11: לַעֲרוֹך hadoop- env.sh והוסף את נתיב Java כאמור להלן:

hadoop- env.sh מכיל את משתני הסביבה המשמשים בתסריט להפעלת Hadoop כמו נתיב ביתי של Java וכו '.

פקודה : אָנוּ hadoop-env.ש

איור: התקנת Hadoop - קביעת תצורה של hadoop-env.sh

php להפוך מחרוזת למערך

שלב 12: עבור לספריית הבית של Hadoop ועצב את ה- NameNode.

פקודה : CD

פקודה : cd hadoop-2.7.3

פקודה : bin / hadoop purpose -format

איור: התקנת Hadoop - עיצוב NameNode

זה פורמט HDFS באמצעות NameNode. פקודה זו מבוצעת רק בפעם הראשונה. עיצוב מערכת הקבצים פירושו לאתחל את הספרייה שצוינה על ידי המשתנה dfs.name.dir.

לעולם אל תפרמט את מערכת הקבצים של Hadoop והפעל אותה. תאבד את כל הנתונים המאוחסנים ב- HDFS.

שלב 13: לאחר עיצוב ה- NameNode, עבור לספריית hadoop-2.7.3 / sbin והתחל את כל הדמונים.

פקודה: cd hadoop-2.7.3 / sbin

או שתוכל להתחיל את כל הדמונים בפקודה אחת או לעשות זאת בנפרד.

פקודה: ./ התחל-all.sh

הפקודה הנ'ל היא שילוב של start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh

לחלופין, תוכל להפעיל את כל השירותים בנפרד כמפורט להלן:

התחל שם שם:

ה- NameNode הוא המרכזי במערכת קבצי HDFS. זה שומר על עץ הספריות של כל הקבצים המאוחסנים ב- HDFS ועוקב אחר כל הקבצים המאוחסנים ברחבי האשכול.

פקודה: ./מטרת ההתחלה של hadoop-daemon.sh

איור: התקנת Hadoop - התחלת NameNode

התחל את DataNode:

בעת ההפעלה, DataNode מתחבר ל- Namenode והוא נענה לבקשות ה- Namenode לפעולות שונות.

פקודה: ./hadoop-daemon.sh התחל את ה- datanode

איור: התקנת Hadoop - הפעלת DataNode

התחל את ResourceManager:

ResourceManager הוא המאסטר הבורר את כל משאבי האשכול הזמינים ובכך מסייע בניהול היישומים המבוזרים הפועלים במערכת YARN. עבודתו היא לנהל כל NodeManagers ואת ApplicationMaster של כל יישום.

פקודה: ./חוּט-daemon.sh התחל משאבי משאבים

איור: התקנת Hadoop - הפעלת ResourceManager

התחל את NodeManager:

ה- NodeManager בכל מסגרת מכונה הוא הסוכן שאחראי על ניהול מכולות, מעקב אחר השימוש במשאבים שלהם ודיווח זהה ל- ResourceManager.

פקודה: ./חוּט-daemon.sh התחל מנהל ניוד

איור: התקנת Hadoop - הפעלת NodeManager

התחל את JobHistoryServer:

JobHistoryServer אחראי על טיפול בכל הבקשות הקשורות להיסטוריה של הלקוחות.

פקודה : ./mr-jobhistory-daemon.sh התחל שרת היסטורי

שלב 14: כדי לבדוק שכל שירותי Hadoop פועלים, הפעל את הפקודה למטה.

פקודה: jps

איור: התקנת Hadoop - בדיקת שדים

שלב 15: כעת פתח את דפדפן מוזילה ועבור אל מארח מקומי : 50070 / dfshealth.html כדי לבדוק את ממשק NameNode.

איור: התקנת Hadoop - הפעלת WebUI

מזל טוב, התקנת בהצלחה אשכול Hadoop של צומת יחיד במכה אחת.בבלוג הבא שלנו של , נסקור כיצד להתקין את Hadoop גם באשכול רב-צמתים.

כעת לאחר שהבנת כיצד להתקין את Hadoop, בדוק את מאת אדוריקה, חברת למידה מקוונת מהימנה עם רשת של יותר מ -250,000 לומדים מרוצים הפזורים ברחבי העולם. קורס הכשרת ההסמכה של אדוריקה ביג דאטה Hadoop עוזר ללומדים להיות מומחים בתחום HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume ו- Sqoop תוך שימוש במקרי שימוש בזמן אמת בתחום הקמעונאות, מדיה חברתית, תעופה, תיירות, פיננסים.

יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.