אפאצ'י פלקון: פלטפורמת ניהול נתונים חדשה למערכת האקולוגית של Hadoop



אפאצ'י פלקון היא פלטפורמה חדשה לניהול נתונים עבור המערכת האקולוגית של Hadoop, המפשטת את עיבוד הזנות וניהול הזנות באשכולות Hadoop. למד כיצד להגדיר אותו.

מה זה פוג'ו באביב

אפאצ'י פלקון היא מסגרת לניהול מחזור חיי נתונים באשכולות Hadoop. הוא קובע קשר בין נתונים ואלמנטים שונים בעיבוד בסביבת Hadoop, ומספק גם שירותי ניהול הזנות כגון שימור הזנות, שכפולות על פני אשכולות, ארכיון וכו '.





בואו נדון תחילה כיצד להתקין את Apache Falcon. הפעל את הפקודה הבאה להורדת מאגר git של פלקון:

פקודה: שיבוט גיט https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

כדי להפעיל בז, עליך לבנות אותו תחילה.

פקודה: בז CD



פקודה: ייצא MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn התקנה נקייה -DskipTests

פקודה: הרכבה נקייה mvn: הרכבה -DskipTests -DskipITs

לאחר שבניתם בז, תוכלו למצוא חבילת בז בתוך / falcon / distro / target / directory.

הפקודות לבניית בז נראות קלות מאוד, אך לפני שתראה את ההודעה Build Success, תיתקל בבעיות רבות. התמודדתי עם הרבה בעיות בעת בנייתו ל- Hadoop-2.2.0

אז כדי לדלג על הכאב שבבניית פלקון, אני נותן לכם חבילת בז שנבנתה בהצלחה, אותה תוכלו להוריד באמצעות הקישור הבא.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

פתח את הקובץ כדי לקבל ספריית falcon-0.10.

פקודה: unzip falcon-0.10-SNAPSHOT.zip

הגדר משתני סביבת flacon בקובץ .bashrc.

פקודה: sudo gedit .bashrc

פקודה: מקור .bashrc

אתה יכול ללכת לספריית הבז ולראות את הקבצים והספריות שבתוכה.

פקודה: cd falcon-0.10-SNAPSHOT /

פקודה: ls

אתה יכול למצוא סקריפטים של בז בתוך ספריית סל.

הפעל מתחת לפקודה כדי להפעיל את פלקון.

פקודה: ./bin/falcon-start

תראה שדון חדש FalconServer פועל כעת.

פקודה: jps

פקודה: ./bin/falcon admin -version

פתח את הדפדפן שלך ועבור אל אירוח מקומי: 15000 . אתה יכול לראות ממשק משתמש של פלקון.

יש לך שאלה עבורנו? הזכר אותם בסעיף ההערות ונחזור אליך.

פוסטים קשורים:

קידוח על תרגיל אפאצ'י