פקודות שימושיות של Hadoop



בלוג זה מתאר את כל הפקודות המועילות של Hadoop Shell. לצד פקודות Hadoop Shell, יש לו גם צילומי מסך כדי להפוך את הלמידה לפשוטה. תמשיך לקרוא!

HDFS מייצג ' ה adoop ד מופץ F עם ס ystem '. HDFS הוא פרויקט משנה של פרויקט אפאצ'י Hadoop. פרויקט זה של Apache Software Foundation נועד לספק מערכת קבצים סובלנית לתקלות המיועדת להפעלה על חומרת סחורות. גישה ל- HDFS באמצעות קבוצה של פקודות פגז עליהן יידון בפוסט זה.





הערה קצרה לפני שמתחילים: כל הפקודות של Hadoop Shell מופעלות על ידי סקריפט bin / hadoop.

פקודות משתמש:

  • הפעל את מערכת הקבצים DFS:

שימוש: hadoop fsck - /



מערכת קבצי Run-DFS (1)

  • ג גרסת לעזאזל של Hadoop :

שימוש: גרסת Hadoop



פקודות פגז FS:

הפקודה Hadoop fs מריצה לקוח כללי למשתמש של מערכת קבצים אשר מקיים אינטראקציה עם מערכת הקבצים MapR (MapR-FS).

  • הצג רשימות קבצים:

שימוש: hadoop fs -ls hdfs: /

__init__ פיתון
  • בדוק את מצב הזיכרון:

שימוש: hadoop fs -df hdfs: /

  • ספירת ספריות, קבצים ובאטים בנתיב ובדפוס הקובץ שצוינו:

שימוש: hadoop fs -count hdfs: /

  • העבר קובץ ממיקום אחד למשנהו:

שימוש: -mv

  • העתק קובץ ממקור ליעד :

שימוש: -cp

  • מחק קובץ:

שימוש: -rm

  • שים קובץ ממערכת הקבצים המקומית למערכת הקבצים המבוזרת של Hadoop:

שימוש: -פלט ...

  • העתק קובץ מקומי ל- HDFS:

שימוש: -copyFromLocal ...

  • צפה בקובץ במערכת קבצים מבוזרת של Hadoop :

שימוש: -חתול

פקודות מינהל:

  • לעצב את המטרה :

שימוש: מטרה hadoop - פורמט

  • החל מטרות משניות:

שימוש: hadoop secondrynamenode

  • לרוץ בכוונה :

שימוש: מטרת hadoop

  • לָרוּץ צומת נתונים :

שימוש: hadoop datanode

  • איזון אשכולות :

שימוש: איזופ Hadoop

  • הפעל את צומת מעקב העבודה של MapReduce:

שימוש: מעקב אחר עבודות hadoop

  • הפעל את צומת מעקב המשימות של MapReduce:

שימוש: tasktracker של Hadoop

יש לך שאלה עבורנו? אנא הזכר אותם בסעיף ההערות ונחזור אליך.

פוסטים קשורים:

מפעילים בחזיר אפאצ'י