דוגמאות כוורת וחוט על ספארק

למדנו כיצד בנה כוורת וחוט על ניצוץ . עכשיו בואו ננסה דוגמאות של כוורת וחוט ב- Spark.

כוורת דוגמה על ניצוץ

נציג דוגמה ל- Hive on Spark. ניצור טבלה, נטען נתונים בטבלה זו ונבצע שאילתה פשוטה. כשעובדים עם כוורת, חייבים לבנות א HiveContext אשר יורש מ SQLContext .

פקודה: תקליטור ניצוץ 1.1.1

פקודה: ./bin/spark-shell

צור קובץ קלט 'לִטעוֹם' בספרייה הביתית שלך כמו תמונה שלמטה (הכרטיסייה מופרדת).

פקודה: val sqlContext = חדש org.apache.spark.sql.hive.HiveContext (sc)

פקודה: sqlContext.sql ('צור טבלה אם לא קיים מבחן (שם STRING, דרגה INT) שורת שורה מופרדת תחומים המושלמים על ידי' 'קווים שהופסקו על ידי'
'')

מהי עומס יתר על השיטה ודרגת שיטה

פקודה: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE TABLE')

פקודה: sqlContext.sql ('SELECT * FROM test WHERE rank<5”).collect().foreach(println)

דוגמת חוט על ניצוץ

נפעיל דוגמה של SparkPi על חוט. אנו יכולים לפרוס חוט על ניצוץ בשני מצבים: מצב אשכול ומצב לקוח. במצב אשכול חוט, מנהל התקן ה- Spark פועל בתוך תהליך מאסטר של יישום אשר מנוהל על ידי חוט באשכול, והלקוח יכול להיעלם לאחר יישום היישום. במצב חוט-לקוח, מנהל ההתקן פועל בתהליך הלקוח, ומנהל היישומים משמש רק לבקשת משאבים מחוט.

פקודה: תקליטור ניצוץ 1.1.1

פקודה: SPARK_JAR =. / הרכבה / מטרה / scala-2.10 / ניצוץ-הרכבה-1.1.1-hadoop2.2.0.jar ./bin/spark- שלח –חוט מאסטר – אשכול מצב פריסה –מקבץ org.apache.spark.examples. SparkPi-מספר-מבצעים 1-זיכרון-נהג 2 גרם-זיכרון-ביצוע 1 גרם-ליבות-ביצוע 1 דוגמאות / target / scala-2.10 / ניצוצות-דוגמאות-1.1.1-hadoop2.2.0.jar

לאחר ביצוע הפקודה שלעיל, אנא המתן זמן מה עד שתקבל הצליח הוֹדָעָה.

לְדַפדֵף localhost: 8088 / אשכול ולחץ על יישום הניצוץ.

לחץ על יומנים .

לחץ על stdout כדי לבדוק את התפוקה.

לפריסת חוט על ניצוץ במצב לקוח, פשוט הכין –מצב פריסה כפי ש 'לָקוּחַ'. עכשיו אתה יודע לבנות כוורת וחוט על ניצוץ. עשינו עליהם גם מעשיים.

יש לך שאלה עבורנו? אנא הזכר אותם בסעיף ההערות ונחזור אליך.

פוסטים קשורים

Apache Spark with Hadoop - למה זה חשוב?

כוורת וחוט מתחשמלים באמצעות ניצוץ