כיצד להריץ סקריפטים של כוורות?

בהיותה חבילת אחסון נתונים שנבנתה על גבי Hadoop, Apache Hive הולכת ומשתמשת יותר ויותר לניתוח נתונים, כריית נתונים ודוגמנות ניבוי. ארגונים מחפשים אנשי מקצוע עם אחיזה איתנה . בפוסט זה, בואו נסתכל כיצד להריץ סקריפטים של כוורת. באופן כללי, אנו משתמשים בתסריטים כדי לבצע סט הצהרות בבת אחת. סקריפטים של כוורות משמשים כמעט באותו אופן. זה יקטין את הזמן והמאמץ שהשקענו לכתיבה והוצאה לפועל של כל פקודה באופן ידני.

סקריפטים של כוורת נתמכים בגרסאות Hive 0.10.0 ומעלה. מכיוון שגרסת Hive 0.90 מותקנת ב- CDH3, איננו יכולים להריץ סקריפטים של Hive ב- CDH3. אתה יכול לנסות את השלבים הבאים ב- CDH4 מכיוון שיש בו גרסת Hive 0.10.0 המותקנת. האם אתה מודע כיצד ליצור סקריפט של כוורת? אם לא, לחץ כדי לקבל הבהרה רבה יותר.

עכשיו, בואו נראה כיצד לכתוב את הסקריפטים ב- Hive ולהפעיל אותם ב- CDH4:

שלב 1: כתיבת תסריט של כוורת.

כדי לכתוב את ה- Hive Script יש לשמור את הקובץ באמצעות סיומת .sql. פתח מסוף בהפצת Cloudera CDH4 שלך ותן את הפקודה הבאה ליצירת סקריפט Hive.
פקודה: sudo gedit sample.sql

בעת ביצוע הפקודה שלעיל, הוא יפתח את הקובץ עם רשימת כל פקודות ה- Hive שיש לבצע.

בסקריפט זה תיווצר טבלה שתתואר ונתונים יטענו ויאוחזרו מהטבלה.

1. יצירת הטבלה בכוורת:

פקודה: צור מוצר טבלה (productid: int, productname: string, price: float, קטגוריה: string) שורות בפורמט שדות מופרדים שהופסקו על ידי ','

כאן המוצר הוא שם הטבלה ו- {productid, productname, price, category} הם העמודות בטבלה זו.

שדות המסתיימים על ידי ',' מציינים כי העמודות בקובץ הקלט מופרדות על ידי הסמל ','.

כברירת מחדל הרשומות בקובץ הקלט מופרדות על ידי שורה חדשה.

2. תיאור הטבלה:

פקודה: לתאר מוצר

3. טעינת הנתונים לטבלה.

כדי לטעון את הנתונים לטבלה תחילה עלינו ליצור קובץ קלט המכיל את הרשומות שיש להכניס לטבלה.

בואו ניצור קובץ קלט.

פקודה: sudo gedit input.txt

ערוך את התוכן בקובץ כפי שמוצג באיור.

4. אחזור הנתונים:

כדי לאחזר את הנתונים, נעשה שימוש בפקודת select.

פקודה: בחר * מתוך המוצר

הפקודה שלעיל משמשת לאחזור הערך של כל העמודות המופיעות בטבלה. התסריט צריך להיות כמו כפי שמוצג בתמונה למטה.

כעת, סיימנו עם כתיבת תסריט הכוורת. כעת ניתן לשמור את הקובץ sample.sql.

שלב 2: הפעלת סקריפט הכוורת

להלן הפקודה להפעלת סקריפט הכוורת:

פקודה: כוורת –f /home/cloudera/sample.sql

בעת ביצוע הסקריפט, ודא שכל הנתיב של מיקום קובץ הסקריפט קיים.

אנו יכולים לראות שכל הפקודות מבוצעות בהצלחה.

כך מתנהלים ומבוצעים סקריפטים של כוורת ב- CDH4.

כוורת היא מרכיב קריטי ב- Hadoop והמומחיות שלך ב- Hive יכולה להעלות לך עבודות Hadoop המשתלמות ביותר! לאדוריקה קורס Hadoop שאוצר במיוחד המסייע לך לשלוט במושגים כגון MapReduce, Yarn, Pig, Hive, HBase, Oozie, Flume ו- Sqoop. לחץ על הכפתור למטה כדי להתחיל.

כיצד להשתמש בחבילה

יש לך שאלה עבורנו? אנא הזכר אותם בסעיף ההערות ונחזור אליך.

פוסטים קשורים:

כוורות פקודות

דגמי כוורת נתונים