בבלוג זה, הבה נראה כיצד לבנות את Spark לגרסת Hadoop ספציפית.
נלמד גם כיצד לבנות ניצוץ עם HIVE ו- YARN.
כיצד ללמוד pl sql
בהתחשב בכך שיש לך Hadoop, jdk, mvn ו ללכת מותקן מראש ומוגדר מראש במערכת שלך.
לִפְתוֹחַ דפדפן מוזילה והורד לְעוֹרֵר באמצעות הקישור למטה.
https://edureka.wistia.com/medias/k14eamzaza/
מסוף פתוח.
פקודה: tar -xvf הורדות / spark-1.1.1.tgz
פקודה: ls
פתח את ספריית הניצוץ 1.1.1.
אתה יכול לפתוח pom.xml קוֹבֶץ. קובץ זה נותן לך מידע על כל תלות אתה צריך.
אל תערוך אותו כדי להישאר מחוץ לצרות.
פקודה: cd spark-1.1.1 /
פקודה: sudo gedit sbt / sbt-launch-lib.bash
ערוך את הקובץ כמו בתצלום המצולם, שמור אותו וסגור אותו.
אנו מצמצמים את הזיכרון כדי להימנע מבעיה של שטח ערימת אובייקטים, כפי שצוין בתצלום הבא.
כעת, הפעל את הפקודה הבאה במסוף כדי לבנות ניצוץ עבור Hadoop 2.2.0 עם HIVE ו- YARN.
פקודה: ./sbt/sbt -P חוּט -P כוורת -פאדופ -2.2 -ד hadoop.version = 2.2.0 -D skipTests הַרכָּבָה
הערה: גרסת Hadoop שלי היא 2.2.0, תוכלו לשנות אותה על פי גרסת Hadoop שלכם.
לגרסאות אחרות של Hadoop
# אפאצ'י Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-אלפא
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# אפאצ'י Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# אפאצ'י Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# אפאצ'י Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
ייקח לאריזה ואריזה זמן מה, אנא המתן עד לסיומה.
שתי צנצנות ניצוץ-הרכבה-1.1.1-hadoop2.2.0.jar ו ניצוץ-דוגמאות-1.1.1-hadoop2.2.0.jar נוצר.
הנתיב של ניצוץ-הרכבה-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
הנתיב של ניצוץ-דוגמאות-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
מזל טוב, בנית בהצלחה את Spark for Hive & Yarn.
יש לך שאלה עבורנו? אנא הזכר אותם בסעיף ההערות ונחזור אליך.
פוסטים קשורים:
Apache Spark with Hadoop - למה זה חשוב?