תכנות חזיר: צור את סקריפט החזיר הראשון של אפאצ'י

תכנות חזיר: צור את סקריפט החזיר הראשון של אפאצ'י

בשלנו , נלמד כעת כיצד ליצור סקריפט אפאצ'י חזיר. סקריפטים של אפאצ'י חזיר משמשים לביצוע קבוצה של פקודות אפאצ'י חזיר באופן קולקטיבי. זה עוזר בהפחתת הזמן והמאמץ שהושקעו בכתיבה וביצוע של כל פקודה באופן ידני תוך כדי פעולה זו בתכנות חזיר.זה גם חלק בלתי נפרד מה- .בלוג זה הוא מדריך צעד אחר צעד שיעזור לך ליצור את סקריפט ה- Apache Pig הראשון שלך.

מצבי ביצוע של תסריט אפאצ'י חזיר

מצב מקומי : ב'מצב מקומי ', אתה יכול לבצע את סקריפט החזיר במערכת קבצים מקומית. במקרה זה, אינך צריך לאחסן את הנתונים במערכת הקבצים Hadoop HDFS, במקום זאת תוכל לעבוד עם הנתונים המאוחסנים במערכת הקבצים המקומית עצמה.

MapReduce Mode : ב'מצב MapReduce ', הנתונים צריכים להיות מאוחסנים במערכת קבצים HDFS ותוכלו לעבד את הנתונים בעזרת סקריפט חזיר.

תסריט חזיר אפאצ'י במצב MapReduce

בואו נגיד שהמשימה שלנו היא לקרוא נתונים מקובץ נתונים ולהציג את התוכן הנדרש במסוף כפלט.

קובץ הנתונים לדוגמה מכיל את הנתונים הבאים:

שמור את קובץ הטקסט בשם 'information.txt'

קובץ הנתונים לדוגמא מכיל חמש עמודות שם פרטי , שם משפחה , MobileNo , עִיר , ו מִקצוֹעַ מופרד על ידי מקש Tab . המשימה שלנו היא לקרוא את התוכן של הקובץ הזה מ- HDFS ולהציג את כל העמודות של הרשומות האלה.

כדי לעבד נתונים אלה באמצעות חזיר, קובץ זה צריך להיות קיים ב- Apache Hadoop HDFS.

קבל גודל של JavaScript

פקודה : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

שלב 1: כתיבת תסריט חזיר

צור ופתח קובץ סקריפט של Apache Pig בעורך (למשל gedit).

פקודה : sudo gedit /home/edureka/output.pig

פקודה זו תיצור קובץ 'output.pig' בתוך ספריית הבית של משתמש edureka.

בואו נכתוב כמה פקודות PIG בקובץ output.pig.

A = LOAD '/edureka/information.txt' באמצעות PigStorage ('') כ- (FName: chararray, LName: chararray, MobileNo: chararray, עיר: chararray, מקצוע: chararray) B = FOREACH A ליצור FName, MobileNo, מקצוע DUMP ב

שמור וסגר את הקובץ.

• הפקודה הראשונה טוענת את הקובץ 'information.txt' למשתנה A עם סכימה עקיפה (FName, LName, MobileNo, City, Profession).
• הפקודה השנייה טוענת את הנתונים הנדרשים ממשתנה A למשתנה B.
• השורה השלישית מציגה את התוכן של המשתנה B במסוף / קונסולה.

שלב 2: בצע את סקריפט החזיר של אפאצ'י

להפעלת סקריפט החזיר במצב HDFS, הפעל את הפקודה הבאה:

הוא אטום טוב לפיתון

פקודה : חזיר /home/edureka/output.pig

לאחר סיום הביצוע, בדוק את התוצאה. תמונות אלה למטה מציגות את התוצאות ואת מפת הביניים שלהן ומפחיתות פונקציות.

התמונה למטה מראה כי התסריט בוצע בהצלחה.

בתמונה למטה מוצגת התוצאה של התסריט שלנו.

ברכות על ביצוע הסקריפט הראשון של אפאצ'י חזיר בהצלחה!

עכשיו אתה יודע, כיצד ליצור ולהפעיל סקריפט Apache Pig. לפיכך, הבלוג הבא שלנו ב יכסה כיצד צור UDF (פונקציות שהוגדרו על ידי המשתמש) בחזיר אפאצ'י ולבצע אותו במצב MapReduce / HDFS.

צד מפה מצטרף לכוורת

כעת לאחר שיצרת וביצעת את סקריפט החזיר של אפאצ'י, עיין ב מאת אדוריקה, חברת למידה מקוונת מהימנה עם רשת של יותר מ -250,000 לומדים מרוצים הפזורים ברחבי העולם. קורס הכשרת ההסמכה של אדוריקה ביג דאטה Hadoop עוזר ללומדים להיות מומחים בתחום HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume ו- Sqoop תוך שימוש במקרי שימוש בזמן אמת בתחום הקמעונאות, מדיה חברתית, תעופה, תיירות, פיננסים.

יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.