בפוסט זה אדבר על התקנת Apache Pig על לינוקס . נתחיל בהגדרה הבסיסית של אפאצ'י חזיר ולטיני חזיר.
אפאצ'י חזיר הוא כלי / פלטפורמה ליצירה והפעלה של תוכנית Map Reduce המשמשת עם Hadoop. זהו כלי / פלטפורמה לניתוח סטים גדולים של נתונים. אתה יכול לומר, אפאצ'י חזיר הוא מופשט על פני MapReduce. מתכנתים שאינם כל כך טובים ב- Java נהגו להתאמץ בעבודה על Hadoop, בעיקר בזמן כתיבת עבודות MapReduce.לכן, זהו נושא חשוב ללמוד ולשלוט בו .לאפצ'י חזיר יש שפה משלו חזיר לטיני שהוא ברכה למתכנתים גרועים.
מבוא בסיסי לטיני חזירים יעזור לך להבין טוב יותר:
השפה הפרוצדוראלית ברמה הגבוהה בה משתמשים בפלטפורמת Apache Pig נקראת חזיר לטיני . Apache Pig כולל 'חזיר לטיני' שהיא שפה פשוטה יחסית שיכולה להריץ מערכי נתונים מבוזרים במערכת הקבצים של Hadoop (HDFS). ב- Apache Pig, עליך לכתוב סקריפטים של חזיר בשפת לטינית חזיר, אשר מומר לעבודת MapReduce כאשר אתה מריץ את תסריט החזיר שלך.. ל- Apache Pig יש אופרטורים שונים המשמשים לביצוע המשימות כמו קריאה, כתיבה, עיבוד הנתונים. כדי ללמוד על מפעילי Apache Pig, היכנס לבלוג שלנו ' מפעילים בחזיר אפאצ'י: חלק 1 - מפעילים יחסיים ”.
עכשיו שיש לך הבנה בסיסית של Apache Pig, בוא נתחיל בהתקנת Apache Pig ב- Linux.
התקנת חזיר אפאצ'י בלינוקס:
להלן השלבים להתקנת חזיר אפאצ'י בלינוקס (ubuntu / centos / windows באמצעות לינוקס VM). אני משתמש באובונטו 16.04 בהגדרה למטה.
שלב 1: הורד חֲזִיר זֶפֶת קוֹבֶץ.
פקודה: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
שלב 2: חלץ את זֶפֶת קובץ באמצעות פקודת זפת. בהמשך לפקודת הזפת, איקס פירושו לחלץ קובץ ארכיון, עם פירושו לסנן ארכיון דרך gzip, f פירושו שם קובץ של קובץ ארכיון.
פקודה: זפת -xzf חזיר-0.16.0.tar.gz
פקודה: ls
שלב 3: ערוך את ' .bashrc קובץ 'לעדכון משתני הסביבה של Apache Pig. אנו מגדירים זאת כך שנוכל לגשת לחזיר מכל ספריה, איננו צריכים לעבור לספריית החזירים כדי לבצע פקודות חזיר. כמו כן, אם יישום אחר מחפש חזיר, הוא יכיר את דרכו של אפאצ'י חזיר מקובץ זה.
פקודה: sudo gedit .bashrc
הוסף את הדברים הבאים בסוף הקובץ:
# הגדר את PIG_HOME
ייצא PIG_HOME = / home / edureka / pig-0.16.0
ייצא PATH = $ PATH: /home/edureka/pig-0.16.0/bin
ייצא PIG_CLASSPATH = $ HADOOP_CONF_DIR
כמו כן, וודא כי נתיב Hadoop מוגדר גם כן.
הפעל מתחת לפקודה כדי לעדכן את השינויים באותו מסוף.
פקודה: מקור .bashrc
שלב 4: בדוק גרסת חזיר. זה כדי לבדוק שאפצ'י חזיר הותקן כהלכה. במקרה שאינך מקבל את גרסת ה- Apache Pig, עליך לוודא שביצעת כהלכה את השלבים שלעיל.
פקודה: חזיר -הפוך
שלב 5 :בדוק את עזרת החזירים כדי לראות את כל אפשרויות הפקודה של חזיר.
פקודה: חזיר -עזרה
שלב 6 :הפעל את חזיר כדי להפעיל את קליפת הגירור. קליפת גראנט משמשת להפעלת סקריפטים לטיניים חזיריים.
פקודה: חֲזִיר
כיצד לבצע טבלאות מקוננות ב- html - -
אם אתה מסתכל כראוי על התמונה לעיל, ל- Apache Pig יש שני מצבים שבהם היא יכולה לפעול, כברירת מחדל היא בוחרת במצב MapReduce. המצב האחר בו ניתן להריץ חזיר הוא מצב מקומי. תן לי לספר לך עוד על זה.
מצבי ביצוע ב- Apache Pig:
- MapReduce Mode - זהו מצב ברירת המחדל, הדורש גישה לאשכול Hadoop ולהתקנת HDFS. מכיוון שמדובר במצב ברירת מחדל, אין צורך לציין דגל -x (אתה יכול לבצע חֲזִיר אוֹ חזיר -x mapreduce ). הקלט והפלט במצב זה קיימים ב- HDFS.
- מצב מקומי - עם גישה למכונה אחת, כל הקבצים מותקנים ומופעלים באמצעות מארח מקומי ומערכת קבצים. כאן מצוין המצב המקומי באמצעות '-x flag' ( חזיר -x מקומי ). הקלט והפלט במצב זה קיימים במערכת קבצים מקומית.
פקודה: חזיר -x מקומי
תוכלו לעבור על הסרטון למטה כדי לצפות בהתקנת חזיר אפאצ'י בלינוקס:
התקנת חזיר אפאצ'י | התקנת חזיר בלינוקס | אדוריקה
עכשיו כשסיימתם את התקנת החזיר של אפאצ'י בלינוקס, הצעד הבא קדימה הוא לנסות כמה מפעילי חזיר יחסיים על מעטפת החזיר. מכאן, הבלוג הבא “ מפעילים בחזיר אפאצ'י: חלק 1 - מפעילים יחסיים ”יעזור לך לשלוט במפעילי חזירים.
כעת לאחר שהתקנת את Apache Pig ב- Linux, עיין ב- מאת אדוריקה, חברת למידה מקוונת מהימנה עם רשת של יותר מ -250,000 לומדים מרוצים הפרוסים ברחבי העולם. קורס הכשרת ההסמכה של אדורקה ביג דאטה Hadoop עוזר ללומדים להיות מומחים בתחום HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume ו- Sqoop תוך שימוש במקרי שימוש בזמן אמת בתחום הקמעונאות, מדיה חברתית, תעופה, תיירות, פיננסים.
יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.