אם אתה כבר מה תעשיית ה- IT אתה חייב להיות מודע לכך נתונים גדולים הוא שיחת היום. יהיה זה, סטארטאפים חדשים המציגים מודלים עסקיים חדשניים, או עמיתייך עוברים להצטרף לסטארטאפים האלה, משום מה, היום מרעה ירוק יותר נראה שהוא נתונים גדולים תַעֲשִׂיָה.
אם אתה תוהה מדוע, אני ממליץ לך לקרוא את זה עד הסוף כי זה יכול להיות בלוג לחקר עצמי, המוביל אותך למה שאתה מיועד.
אז למה כל זההתלהבותמַקִיף נתונים גדולים?
לעבור לפי ערך לעבור לפי הפניה
האם זה סתם תחום אחר שעתיד להנחית פליטים מכל התחומים האחרים באופן זמני? או, האם זה יהיה כאן לטווח הרחוק?
אם הייתי מנחש, הייתי אומר את זה, לא רק שזה יהיה כאן לטווח הרחוק, אלא שתעשיית הביג דאטה הולכת להיות במרכז ההתקדמות הטכנולוגית.
כי הכל בערךנתונים!
ממש כמו השמשעולהמ המזרחוסטיםבתוך המַעֲרָב, שימוש מתמשך במכשירי מחשוב / לא מחשוב יביא להתפרצות נתונים בלתי ניתנים לניהול.
כאשר נתונים אלה עוברים את סף הטיפול ב- Excel או בכל מערכת ניהול מסדי נתונים, אנו מכנים אותם נתונים גדולים .
תחשוב, מה היה המוצר האחרון שרכשת מאמזון? איזה יכול להיות המוצר הבא שתוכל לרכוש על סמך פעילות קודמת? התשובות לשאלות כאלה נשמרות בביג דאטה.
האם יש מגמה הולכת וגוברת מאחורי מוצר? או, האם יש מגמת ירידה? האם לקוח יקנה 'גרביים' כשרוכש 'נעליים'? אלו שאלות לפתרון בעיות עסקיות.
ושאלות אלו יכולות להיות בקלות ענה על ידי שימוש ב ניתוח ביג דאטה .
אחרי הכל, מה השימוש בנתונים, כשאתה לא ניתוח זה?
כך גם ביג דאטהלגמרי בערךניתוח?לא לגמרי, אבל אנליטיקס הוא הפרס האולטימטיבי.
זרמים גדולים אחרים בביג דאטה הםאִחסוּןוהַנהָלָה.
זה המקום בו אתה כאיש מקצוע יכול לתרום. אתה יכול לקחת את התפקיד של אחד מהם:
- מהנדס ביג דאטה
- אדריכל פתרונות ביג דאטה
וודא כי הנתונים הגדולים שנוצרים זמינים תמיד וניתן להשתמש בהם לניתוח בשלב מאוחר יותר. אז זה מביא אותנו לשאלה & hellip
היכן מאוחסנים ביג דאטה?
האם ניתן לאחסן אותו בתוךקובץ אקסל? האם ניתן לאחסן אותו באמערכת מסדי נתונים יחסיים?
ממש לא!
אם זה יכול היה להיות, אז זה היה!
ויקראו משהו אחר ביחד. אולי משהו כמוExcel-DataאוֹRDBMS-Data: ד
וזה יחזיר אותנו ל שלב 1 : - מדוע לא ניתן לנהל ביג דאטה באמצעות Excel? כיBig Data פשוט חם מכדי שאקסל יוכל לטפל בו. ואפילו מערכות אחרות לניהול מסדי נתונים לעניין.
אז מה האלטרנטיבה?
מספרי פיבונאצי c ++
לטיפול בביג דאטה, יש לנו HADOOP . אולי גם אתה מודע למילה הזו. אבל, אתם אולי תוהים, איך זה בדיוק עובד?
בתור התחלה, HADOOP הוא תוצר שלקרן אפאצ'ה. אפאצ'י הוא ארגון אמריקאי ללא כוונת רווח התומך בפיתוח תוכנות קוד פתוח.
Hadoop מוגדרת כמסגרת תכנות מבוססת Java פתוחה התומכת בעיבוד ואחסון של מערכי נתונים גדולים במיוחד בסביבת מחשוב מבוזרת.
מה Hadoop יכול לעשות, אבל Excel לא יכול?
לעבד ולהבין נתונים לא מובנים!ניתן לטפל בנתונים מובנים בפורמט טבלאי או אחרת. Excel יכול לעשות את זה, וכך גם כל RDBMS אחר.
אבל כאשר הקריאות מצטמצמת, והנתונים אינם מובנים, זה המקום בו ביג דאטהכלים כמו Hadoopציון. דוגמה לנתונים לא מובנים היא סיסלוג . תמונה לדוגמה נמצאת למטה.
יומנים כאלה בהחלט אינם ניתנים לשאילתה באמצעות Excel.
Hadoop, כמו כלי Big Data, יכול להבין את הנתונים כפי שהם, על ידי גילוי דפוסים ויצירת קשרים בין תחומים שונים. וברגע שיש לנתונים מגע יחסי, הם כןמוכן לניתוח.
אנליטיקס הוא זה שישפיע על העסק על ארגון! הקריירה שלך תרוויח במידה רבה מהמעורבות שלה בתחום ה- Big Data הזה.
' האם אוכל לעשות את זה בתור Hadoop-er? '
... יכולה להיות השאלה הבאה שעומדת בראשך. ובצדק, Big Data הוא שוק חם כתמיד, וחשוב כתמיד.
ללא Hadoop, חברות יתקשו להתמודד עם Big Data. וללא אנשי מקצוע מיומנים כמוך, חברות יתקשו להתמודד עם Hadoop.
יש דוח שאומר, שיש גירעון בכישרון בתחום זה. פירושו של גירעון מתמשך, פחות אנשי מקצוע אבל ביקוש גבוה. וזה בקנה מידה עולמי ואינו מוגבל לגיאוגרפיה מסוימת.
אתה רוצה מספרים?
ל מכון מקינזי העולמי מחקר קובע כי ארה'ב תתמודד עם מחסור של כ -190,000 מדעני נתונים וכ -1.5 מיליון מנהלים ואנליסטים שיכולים להבין ולקבל החלטות באמצעות Big Data עד 2018.
ייעוץ לקריירה עבורך? גלשו כאשר הגאות והשפל נמוכה!
אבל אתה מוגבלת רק Hadoop ?
לא באמת. ישנם מספר כלים לעיבוד ביג דאטה, והדופ נחשב לאחד הטובים ביותר. אבל, לא כל פעם!
יש מקרים שבהם Hadoop לא הכי מתאים. לדוגמא, אם אתה אדם לא טכני שאינו טוב במיוחד בכתיבת תוכניות MapReduce.
במקרים כאלה, אתה יכול להשתמשTALEND, שנותן לך ממשק משתמש גרפי לעשות כל מה שהיית עושה אחרת עם MapReduce.
במאגר קבוע של מחרוזות, לא יהיו שני אובייקטים מחרוזת בעלי תוכן זהה.
לכתיבת קודי Java פשוטים יותר, ניתן להשתמש בהםחֲזִיר.
אם אתה רוצה להריץ שאילתות דמויי SQL ב- Big Data, אזכוורתיכול לשמש.
אם ברצונך להשתמש בנתונים המאוחסנים במסד נתונים NoSQL, אזHBaseיכול לשמש.
לביצוע ניתוח בזמן אמת תוכלו להשתמשלְעוֹרֵר.
אלה כלי ביג דאטה, שהולכים יד ביד עם Hadoop, אך הם אינם מחליפים את Hadoop בכלל. הם תוספות של Hadoop ל- Big Data.
חוץ מזה יש עוד כמה כלים כמו SQOOP, FLUME, OOZIE וכו 'שניתן לשלב במסגרת Hadoop לפיתרון בעיות עסקיות שונות.
מה התעשייה מצפה ממך כמומחה ביג דאטה?
התעשייה זקוקה מאוד אדריכלי נתונים גדולים שיכולים לבנות פתרון Big Data מקצה לקצה עבור הארגונים שלהם. אדריכלי ביג דאטה הם בעלי מומחיות בכל הכלים שהוזכרו לעיל.
הנה עדות של לומד אדוריקה קוּרס:
להפוך ל החל מההדרכה להסמכת Big Data And Hadoop של אדוריקה המסייעת ללומדים להתמחות ב- HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume ו- Sqoop תוך שימוש במקרי שימוש בזמן אמת בתחום הקמעונאות, מדיה חברתית, תעופה, תיירות, פיננסים. .