בהחלט! מעולם לא היה זמן טוב יותר להוסיף מיומנויות Hadoop לקורות החיים שלך. בואו נקבע זאת עם כמה עובדות ודוגמאות.
האם תהיתם פעם מה הטכנולוגיה שמאחורי תכונת התיוג האוטומטי של פייסבוק? מה דעתך על מצלמות מעקב שמסוגלות ליצור תמונות ללא דופי גם באור חלש? התשובה היא Hadoop ויכולותיה פורצות הדרך לאחסון, עיבוד ואחזור נתונים.
אחסון נתונים הוא דבר אחד אך עיבוד ושאילתות עליהם הוא משחק כדור אחר לגמרי. אם ביג דאטה היא קבוצת רוגבי, הרי שהאדופ הוא הקווטרבק הטוב ביותר שתוכלו למצוא!
איך להכין jframe
הודות ל- Hadoop, פייסבוק מסוגלת לאחסן את כל המידע על האדם ומצביעה על השעה והתאריך המדויקים של פעילות בפרופיל שלו. כל המידע על אדם הוא ביג דאטה והדופ עוזר לעבד את כל זה.
כל נתוני Hadoop מאוחסנים על גבי HDFS (מערכת קבצים מבוזרת של Hadoop) שיכולה לארח נתונים מובנים ובלתי מובנים. המתחרים של Hadoop (כגון RDBMS ו- Excel) יכולים לאחסן נתונים מובנים בלבד. זה גורם מרכזי מדוע Hadoop הוא האבא הגדול שנותן כלים לטיפול מסורתי בנתונים להפעיל את הכסף שלהם. Hadoop עושה את העיבוד בסמוך לנתונים בעוד RDBMS זקוקה להעברת הנתונים דרך הרשת דרך ה- I / O כדי לעבד את אותם נתונים.
חומר למחשבה: האם Hadoop יכול לחזות את תוצאות המצב בהתבסס על מערך נתונים?
גרף זה מראה את הצמיחה האקספוננציאלית של הנתונים לאורך השנים. תסתכל על זה מקרוב ותבחין כי נתונים לא מובנים מהווים 90% מכלל הנתונים בעולם. כל שעליך לעשות הוא ליישם את עקרון הביקוש וההיצע, ואנחנו יכולים להבין שיותר ויותר נתונים לא מובנים שמסתובבים רק מולידים אנשי מקצוע שיכולים לתקן את הנתונים האלה. זו סיבה מספקת לאדם לחפש עבודה העוסקת בנתונים לא מובנים, המכונים Big Data. אין לי שום ספק שזה הזמן הנכון ללמוד את Hadoop.
במציאות, עד כמה Hadoop יעיל בהשוואה ל- RDBMS?
Hadoop דופק כל כלי אחר לטיפול בנתונים היישר מהפארק. RDBMS ו- Excel עשויים להיות יעילים בניהול נתונים שלא יעלה על כמה מאות גיליונות אקסל, אך מה עם אלף קבצים כאלה שיש לתחזק? בואו נחזור שוב לדוגמא בפייסבוק. לא ניתן לשמור את יומן הנתונים המכיל את פרטי הפעילות של משתמש פייסבוק ב- Excel, לפחות לא את כל הנתונים ההיסטוריים של משתמש החל משנים עשרות. כמו כן, ב- Hadoop הנתונים יכולים להיות מובנים באופן רופף אך RDBMS דורש שהנתונים יהיו עקביים יותר ובפורמט מזוהה.
בדוק את ההשוואה בין RDBMS לבין Hadoop ותדע בעצמך מה עולה טוב יותר.
יש לי נתון סופי אחד בשבילך אשר יחתום את כל הספקות אם Hadoop הוא בחירת קריירה טובהקרח.
מה זה ביג דאטה והאדופ
גרף זה מהווה המחשה לביקוש הגובר לאנשי מקצוע ב- Hadoop והוא רק יעלה בשבועות הבאים.
למרבה הצער, אני ואני לא יכולים לשנות טכנולוגיה. במקרה הטוב, אנו יכולים לעמוד בקצב וללמוד טכנולוגיות מתפתחות ולהיות חיוניים למקומות העבודה שלנו. זה הזמן הנכון ללמוד את Hadoop ולרכוב על גל ה- Big Data.
יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.
פוסטים קשורים:
מפעיל היקף c ++