בדיוק כמו שנאמר שהיקום כולו והגלקסיה שלנו נוצרו עקב התפוצצות המפץ הגדול, באופן דומה, בגלל כל כך הרבה התקדמות טכנולוגית, הנתונים גם גדלו באופן אקספוננציאלי והובילו לפיצוץ הביג דאטה. נתונים אלה מגיעים ממקורות שונים, בעלי פורמטים שונים, נוצרים בקצב משתנה ועשויים להכיל גם סתירות. לפיכך, אנו יכולים פשוט לכנות את התפוצצות הנתונים כגון .אסביר את הנושאים הבאים בבלוג זה כדי לספק לך תובנות לגבי ניתוח נתונים גדולים:
- מדוע ניתוח נתונים גדולים?
- מהי ניתוח נתונים גדולים?
- כלי ביג דאטה
- תחומי ביג דאטה
- מקרי שימוש בביג דאטה
- מגמות ב- Big Data Analytics
מדוע ניתוח נתונים גדולים?
לפני שאני קופץ לספר לך על מה שיש אנליטיקס, תן לי לספר לכם על הסיבה לכך. תן לי גם לגלות בפניכם שאנחנו יוצרים כ -2.5 מיליוני בתים של נתונים מדי יום! אז עכשיו, אחרי שצברנו ביג דאטה, לא נוכל להתעלם ממנו וגם לא להניח לו להישאר בטל ולהפוך אותו לבזבז.
ארגונים ומגזרים שונים ברחבי העולם החלו לאמץ ניתוח נתונים גדולים על מנת להשיג יתרונות רבים. ניתוח Big Data נותן תובנות שחברות רבות הופכות לפעולות ומניבות רווחים עצומים כמו גם תגליות. אני ארשום ארבע סיבות כאלה לצד דוגמאות מעניינות.
הסיבה הראשונה היא,
- הפיכת ארגון חכם ויעיל יותר
תן לי לספר לך על ארגון כזה, משטרת ניו יורק (NYPD). ה- NYPD משתמש בצורה מבריקה בביג דאטה וניתוח כדי לזהות ולזהות פשעים לפני שהם מתרחשים. הם מנתחים דפוסי מעצר היסטוריים ואז ממפים אותם עם אירועים כגון חגים פדרליים, ימי תשלום, זרימת תנועה, גשמים וכו '.זה עוזר להם לנתח את המידע באופן מיידי באמצעות דפוסי נתונים אלה. אסטרטגיית ביג דאטה וניתוחעוזרהם מזהים מיקומי פשע, באמצעותם הם פורסים את קציניהם למיקומים אלה. כך בכך שהם מגיעים למקומות אלה לפני ביצוע הפשעים, הם מונעים התרחשות של פשע.
- ייעל את הפעילות העסקית על ידי ניתוח התנהגות הלקוחות מרבית הארגונים משתמשים בניתוחים התנהגותיים של לקוחות במטרה לספק שביעות רצון לקוחות ומכאן להגדיל את בסיס הלקוחות שלהם. הדוגמה הטובה ביותר לכך היא אמזון. אמזון היא אחד מאתרי המסחר האלקטרוני הטובים והנפוצים ביותר עם בסיס לקוחות של כ -300 מיליון. הם משתמשים בנתוני זרם קליקים של לקוחות ובנתוני רכישה היסטוריים כדי לספק להם תוצאות מותאמות אישית בדפי אינטרנט מותאמים אישית. מנתח הקליקים של כל מבקר באתר שלהם מסייעים להם להבין את התנהגות ניווט האתר שלהם, את הדרכים שהמשתמש עבר לקניית המוצר, את הנתיבים שהובילו אותו לעזוב את האתר ועוד. כל המידע הזה עוזר לאמזון לשפר את חוויית המשתמש שלהם, ובכך לשפר את המכירות והשיווק שלהם.
- הפחתת עלויות טכנולוגיות ביג דאטה והתקדמות טכנולוגית כמו מחשוב ענן מביאות יתרונות עלות משמעותיים בכל הקשור לאחסון ועיבוד ביג דאטה. תן לי לספר לך כיצד שירותי הבריאות משתמשים ב- Big Data Analytics כדי להפחית את עלויותיהם. מטופלים כיום משתמשים במכשירי חיישנים חדשים בבית או בחוץ, אשר שולחים זרמי נתונים קבועים שניתנים לניטור וניתוח בזמן אמת כדי לעזור לחולים להימנע מאשפוז על ידי ניהול עצמי של תנאיהם.עבור חולים המאושפזים, רופאים יכולים להשתמש בניתוח ניבוי כדי לייעל את התוצאות ולהפחית את קבלות הקבלה מחדש.בית החולים פרקלנד משתמש באנליזה ובמודל ניבוי כדי לזהות חולים בסיכון גבוה ולחזות תוצאות סבירות לאחר שמטופלים נשלחים הביתה. כתוצאה מכך, הפחתה פארקלנד ב -31% את הקבלה מחדש של 30 יום לחולים עם אי ספיקת לב.חוסך 500,000 $ בשנה.
מוצרים מהדור החדש
עם היכולת לאמוד את צרכי הלקוח ואת שביעות רצונם באמצעות ניתוח, מגיע הכוח לתת ללקוחות את מבוקשם. מצאתי שלושה מוצרים מעניינים שכאלה לצטט כאן. ראשון , של גוגלנהיגה עצמיתשעושה מיליוני חישובים בכל נסיעה שעוזרים למכונית להחליט מתי ואיפה לפנות, אם להאט או להאיץ ומתי להחליף נתיב - אותן החלטות שנהג אנושי מקבל מאחורי ההגה.
ה שְׁנִיָה אחד הואנטפליקס אשר התחייבה במשך שתי עונות בתכנית הפופולרית ביותר שלה House of Cards, על ידי אמון מוחלט ב- Big Data Analytics! בשנה שעברה הגדילה נטפליקס את בסיס המנויים בארה'ב ב -10% והוסיפה כמעט 20 מיליון מנויים מרחבי העולם.
ה שְׁלִישִׁי דוגמא היא אחד הדברים החדשים והמגניבים שנתקלתי בהם, הוא מזרן יוגה חכם. בפעם הראשונה שתשתמש במזרן החכם שלך, ייקח לך סדרה של תנועות כדי לכייל את צורת גופך, גודלך ומגבלותיך האישיות. מידע על פרופיל אישי זה נשמר באפליקציית Smart Mat שלך ויעזור ל- Smart Mat לזהות מתי אינך נמצא ביישור או באיזון. עם הזמן זה יתפתח באופן אוטומטי עם נתונים מעודכנים ככל שתשפר את תרגול היוגה שלך.
מהי ניתוח נתונים גדולים?
עכשיו נגדיר באופן רשמי 'מהי ניתוח נתונים גדולים?' ניתוח ביג דאטה בוחן סוגים גדולים ושונים של נתונים כדי לחשוף דפוסים מוסתרים, קורלציות ותובנות אחרות. בעיקרון, Big Data Analytics משמש בעיקר חברות כדי להקל על הצמיחה וההתפתחות שלהן. בעיקר מדובר ביישום אלגוריתמים שונים של כריית נתונים על קבוצת הנתונים הנתונה, אשר יסייעו להם בקבלת החלטות טובה יותר.
שלבים ב- Big Data Analytics
אלה השלבים הבאים המעורבים בתהליך ניתוח נתונים גדולים:
סוגי ניתוח נתונים גדולים
ישנם ארבעה סוגים:
- ניתוח תיאורי: היא משתמשת בצבירת נתונים ובכריית נתונים כדי לספק תובנה על העבר ולענות: 'מה קרה?' ניתוח התיאור עושה בדיוק את מה שהשם מרמז שהם 'מתארים' או מסכמים נתונים גולמיים והופכים אותם לפרשניים על ידי בני אדם.
- ניתוח חיזוי: היא משתמשת במודלים סטטיסטיים ובטכניקות תחזיות כדי להבין את העתיד ולענות: 'מה יכול לקרות?' ניתוח חיזוי מספק לחברות תובנות הניתנות לפעולה על סמך נתונים. הוא מספק הערכות לגבי הסבירות לתוצאה עתידית.
- ניתוח מרשם: היא משתמשת באלגוריתמי אופטימיזציה וסימולציה כדי לייעץ לגבי תוצאות ותשובות אפשריות: 'מה עלינו לעשות?' זה מאפשר למשתמשים 'לקבוע' מספר פעולות אפשריות שונות ולהנחות אותם לקראת פיתרון. בקיצור נמרץ, ניתוח זה נוגע למתן ייעוץ.
- ניתוח אבחונים: הוא משמש לקביעת מדוע קרה משהו בעבר. הוא מאופיין בטכניקות כגון קידוח, גילוי נתונים, כריית נתונים וקורלציות. ניתוח אבחוני בוחן נתונים עמוקים יותר כדי להבין את הסיבות הבסיסיות לאירועים.
נתונים גדולים כלים
אלה כמה מהכלים הבאים המשמשים לניתוח נתונים גדולים: Hadoop , , אפאצ'י HBase , ניצוץ אפאצ'י , , , כוורת אפאצ'י , קפקא .
תחומי ביג דאטה
- בריאות: שירותי הבריאות משתמשים בניתוח נתונים גדולים כדי להפחית עלויות, לחזות מגיפות, למנוע מחלות שניתן למנוע ולשפר את איכות החיים באופן כללי. אחד הנפוצים ביותריישומים של נתונים גדולים בתחום הבריאות הם שיא בריאות אלקטרוני (EHR).
- טלקום: הם אחד התורמים המשמעותיים ביותר ל- Big Data. תעשיית הטלקום משפרת את איכות השירותמנתב את התנועה בצורה יעילה יותר. על ידי ניתוח רשומות נתוני שיחות בזמן אמת, חברות אלה יכולות לזהות התנהגות מרמה ולפעול על פיהן באופן מיידי. חטיבת השיווק יכולה לשנות את מסעות הפרסום שלה כדי למקד טוב יותר את לקוחותיה ולהשתמש בתובנות שהושגו לפיתוח מוצרים ושירותים חדשים.
- ביטוח: חברות אלו משתמשות בניתוח נתונים גדולים לצורך הערכת סיכונים, איתור הונאות, שיווק, תובנות לקוחות, חווית לקוח ועוד.
- מֶמְשָׁלָה: ממשלת הודו השתמשה בניתוח נתונים גדולים כדי לקבל אומדן לגבי המסחר במדינה. הם השתמשו בחשבוניות מס מכירה מרכזיות כדי לנתח את המידה בה מדינות נסחרות זו עם זו.
- לְמַמֵן: בנקים וחברות שירותים פיננסיים משתמשים באנליטיקס כדי להבדיל בין אינטראקציות הונאות לבין עסקאות לגיטימיות. מערכות הניתוח מציעות פעולות מיידיות, כמו חסימת עסקאות לא סדירות, המפסיקות הונאה לפני התרחשותה ומשפרות את הרווחיות.
- מְכוֹנִית: רולס רויס שאימצה את הביג דאטה על ידי התאמת מאות חיישנים למנועים ולמערכות ההנעה שלה, המתעדים כל פרט זעיר על פעולתם. השינויים בנתונים בזמן אמת מדווחים למהנדסים שיחליטו על דרך הפעולה הטובה ביותר כגון תזמון תחזוקה או שליחת צוותי הנדסה.
- חינוך: זהו תחום שבו Big Data Analytics נקלט לאט ובהדרגה.הבחירה בטכנולוגיה המופעלת באמצעות ביג דאטה ככלי למידה במקום שיטות הרצאה מסורתיות, שיפרה את למידת התלמידים וכן סייעה למורים לעקוב טוב יותר אחר ביצועיהם.
- קמעונאות: קמעונאות כולל מסחר אלקטרוני וחנויות משתמשים רבות ב- Big Data Analytics כדי לייעל את העסק שלהם. לדוגמא, אמזון, וולמארט וכו '.
מקרי שימוש בביג דאטה
מקרה השימוש הראשון שלקחתי כאן הוא של סטארבקס.
מקרה השימוש השני שאני רוצה לשתף אתכם הוא של פרוקטר אנד גמבל.
מגמות ב- Big Data Analytics
התמונה למטה מתארת את הכנסות השוק של ביג דאטה במיליארדדולר ארה'ב משנת 2011 עד 2027.
הנה כמה עובדות וסטטיסטיקה מאת פורבס :
סיכויי קריירה ב- Big Data Analytics:
- היבטים בשכר: השכר הממוצע של עבודות האנליטיקה הוא סביב 94,167 דולר. מדען הנתונים נבחר למשרה הטובה ביותר באמריקה במשך שלוש שנים ברציפות, עם שכר בסיס חציוני של 110,000 דולר ו -4,524 משרות. בהודו אחוז המקצוענים בתחום האנליטיקה המפקחים על משכורות הנמוכות מ- 10 לאכר INR ירד מאחוז נמוך יותר מאנשי האנליטיקה שמשתכרים יותר מ- 15 לאהר INR עלה מ 17% בשנת 2016 עד עשרים ואחת% בשנת 2017 עד 22.3% בשנת 2018.
- הזדמנויות עבודה ענקיות: חברות כמו גוגל, אפל, יבמ, אדובי, קוואלקום ועוד רבות מעסיקות אנשי מקצוע מביג דאטה אנליטיקס.
אוסף כישורים
אלו הם כמה מהמיומנויות הנדרשות בהתאם לתפקיד בתחום ניתוח נתונים גדולים:
- תכנות בסיסי: צריך להיות בעל ידע לפחות על שפת תכנות למטרות כלליות כגון Java ו- Python.
- ניתוח סטטיסטי וכמותי: רעיון לגבי סטטיסטיקה וניתוח כמותי הוא אידיאלי.
- אחסון נתונים: נדרש ידע במאגרי מידע SQL ו- NoSQL.
- נתונים להדמיה: חשוב מאוד לדעת כיצד לדמיין את הנתונים על מנת להיות מסוגלים להבין את התובנות וליישם אותם בפעולה.
- ידע עסקי ספציפי: חייבים להיות מודעים בהכרח לעסק בו הם מיישמים ניתוחים כדי לייעל את הפעילות שלהם.
- מסגרות חישוביות: רצוי לדעת על לפחות כלי אחד או שניים הנדרשים לצורך ניתוח נתונים גדולים.
עכשיו שאתה מכיר Big Data Analytics, בדוק את מאת אדוריקה, חברת למידה מקוונת מהימנה עם רשת של יותר מ -250,000 לומדים מרוצים הפזורים ברחבי העולם. קורס הכשרת ההסמכה של אדוריקה ביג דאטה Hadoop עוזר ללומדים להיות מומחים בתחום HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume ו- Sqoop תוך שימוש במקרי שימוש בזמן אמת בתחום הקמעונאות, מדיה חברתית, תעופה, תיירות, פיננסים.
מה זה יישומון בג'אווה עם דוגמה
יש לך שאלה עבורנו? אנא הזכיר זאת בסעיף ההערות ונחזור אליך.