מה זה מדע נתונים? מדריך למתחילים למדעי הנתונים

ככל שהעולם נכנס לעידן הביג דאטה, גדל גם הצורך באחסון שלו. זה היה האתגר והדאגה העיקריים של ענפי הארגון עד שנת 2010. הדגש העיקרי היה על בניית מסגרת ופתרונות לאחסון נתונים. כעת, כאשר Hadoop ומסגרות אחרות פתרו בהצלחה את בעיית האחסון, המיקוד עבר לעיבוד נתונים אלה. מדע הנתונים הוא הרוטב הסודי כאן. כל הרעיונות שאתה רואה בסרטי מדע בדיוני בהוליווד יכולים למעשה להפוך למציאות על ידי מדע הנתונים. מדע הנתונים הוא העתיד של בינה מלאכותית. לכן, חשוב מאוד להבין מה זה Data Science ואיך זה יכול להוסיף ערך לעסק שלך.

בבלוג זה אעסוק בנושאים הבאים.

• מה זה מדע נתונים?
• מדוע מדע נתונים?
• מיהו מדעני נתונים?
  • מה עושה מדען נתונים?
• במה זה שונה מבינה עסקית (BI) ומדעי נתונים?
• מחזור החיים של מדע הנתונים בעזרת מקרה שימוש

בסוף הבלוג הזה תוכלו להבין מהו Data Science ותפקידו בהפקת תובנות משמעותיות ממערכי הנתונים המורכבים והגדולים שמסביבנו.כדי לקבל ידע מעמיק במדעי הנתונים, אתה יכול להירשם לשידור חי מאת אדוריקה עם תמיכה 24/7 וגישה לכל החיים.

מה זה מדע נתונים?

מדע הנתונים הוא שילוב של כלים שונים, אלגוריתמים ועקרונות למידת מכונה במטרה לגלות דפוסים נסתרים מהנתונים הגולמיים. אך במה זה שונה ממה שסטטיסטיקאים עושים במשך שנים?

התשובה נעוצה בהבדל בין הסבר לחיזוי.

כפי שניתן לראות מהתמונה לעיל, מנתח נתוניםמסביר בדרך כלל מה קורה על ידי עיבוד היסטוריית הנתונים. מצד שני, Data Scientist לא רק עושה את הניתוח החקרני כדי לגלות תובנות ממנו, אלא גם משתמש באלגוריתמי למידת מכונה מתקדמים שונים כדי לזהות את התרחשותו של אירוע מסוים בעתיד. מדען נתונים יסתכל על הנתונים מזוויות רבות, לפעמים זוויות שלא היו ידועות קודם לכן.

לכן, מדע הנתונים משמש בעיקר לקבלת החלטות ותחזיות תוך שימוש בניתוח סיבתי מנבא, ניתוח מרשם (ניבוי פלוס מדע החלטות) ולמידת מכונה.

• ניתוח סיבתי ניבוי - אם אתה רוצה מודל שיכול לחזות את האפשרויות של אירוע מסוים בעתיד, עליך ליישם ניתוח סיבתי מנבא. נגיד, אם אתה מספק כסף באשראי, אז ההסתברות של לקוחות לבצע תשלומי אשראי עתידיים בזמן היא עניין שמדאיג אותך. כאן תוכלו לבנות מודל שיכול לבצע ניתוח ניבוי על היסטוריית התשלומים של הלקוח כדי לחזות אם התשלומים העתידיים יהיו בזמן או לא.

• ניתוח מרשם: אם אתה רוצה מודל שיש לו אינטליגנציה של קבלת החלטות משלו ויכולת לשנות אותו באמצעות פרמטרים דינמיים, אתה בהחלט זקוק לניתוח מרשם עבורו. תחום חדש יחסית זה מתייחס לייעוץ. במונחים אחרים, זה לא רק מנבא אלא מציע מגוון פעולות שנקבעו ותוצאות נלוות.
  הדוגמה הטובה ביותר לכך היא מכונית הנהיגה העצמית של גוגל עליה עמדתי גם קודם. הנתונים שנאספו על ידי כלי רכב יכולים לשמש להכשרת מכוניות בנהיגה עצמית. אתה יכול להריץ אלגוריתמים על הנתונים האלה כדי להביא אליו מודיעין. זה יאפשר לרכב שלך לקבל החלטות כמו מתי לפנות, באיזה נתיב ללכת,מתי להאט או להאיץ.

• לימוד מכונה לחיזוי - אם יש לך נתוני עסקאות של חברת מימון וצריך לבנות מודל לקביעת המגמה העתידית, אז אלגוריתמי למידת מכונה הם ההימור הטוב ביותר. זה נופל תחת הפרדיגמה של למידה מפוקחת. זה נקרא פיקוח מכיוון שכבר יש לך את הנתונים על פיהם תוכל לאמן את המכונות שלך. לדוגמא, ניתן להכשיר מודל לגילוי הונאות באמצעות תיעוד היסטורי של רכישות הונאה.

• למידת מכונה לגילוי תבניות - אם אין לך את הפרמטרים שעל פיהם אתה יכול לחזות, עליך לברר את הדפוסים הנסתרים בתוך מערך הנתונים כדי להצליח לחזות חיזויים משמעותיים. זה אינו אלא המודל הלא מפוקח מכיוון שאין לך תוויות מוגדרות מראש לקיבוץ. האלגוריתם הנפוץ ביותר המשמש לגילוי תבניות הוא Clustering.
  נניח שאתה עובד בחברת טלפונים ועליך להקים רשת על ידי הצבת מגדלים באזור. לאחר מכן תוכל להשתמש בטכניקת האשכולות כדי למצוא את מיקומי המגדל שיבטיחו שכל המשתמשים יקבלו את עוצמת האות האופטימלית.

בואו נראה כיצד חלק הגישות שתוארו לעיל נבדלים גם בניתוח נתונים וגם במדעי הנתונים. כפי שניתן לראות בתמונה למטה, ניתוח נתוניםכולל ניתוח תיאורתי וחיזוי במידה מסוימת. מצד שני, מדע הנתונים עוסק יותר בניתוח סיבתי חיזוי ולמידת מכונה.

עכשיו שאתה יודע מה זה בדיוק מדע נתונים, בוא עכשיו גלה את הסיבה שבגללה היה צורך בכך מלכתחילה.

מדוע מדע נתונים?

• באופן מסורתי, הנתונים שהיו בידינו היו מובנים וקטן בגודלם, שניתן לנתח אותם באמצעות כלי BI פשוטים.שלא כמו נתונים במערכות מסורתיות שהיו מובנות בעיקר, כיום מרבית הנתונים אינם מובנים או מובנים למחצה. בואו נסתכל על מגמות הנתונים בתמונה המופיעה למטה, שמראה שעד שנת 2020 יותר מ -80% מהנתונים לא יהיו מובנים.
  
  נתונים אלה נוצרים ממקורות שונים כמו יומנים פיננסיים, קבצי טקסט, טפסים מולטימדיה, חיישנים ומכשירים. כלי BI פשוטים אינם מסוגלים לעבד נפח עצום ומגוון נתונים זה. זו הסיבה שאנו זקוקים לכלי אנליזה ואלגוריתמים מורכבים ומתקדמים יותר לעיבוד, ניתוח והוצאת תובנות משמעותיות מתוכם.

זו לא הסיבה היחידה לכך שמדע הנתונים הפך פופולרי כל כך. בואו להעמיק ולראות כיצד משתמשים במדע נתונים בתחומים שונים.

• מה דעתך אם תוכל להבין את הדרישות המדויקות של הלקוחות שלך מהנתונים הקיימים כמו היסטוריית הגלישה בעבר, היסטוריית הרכישה, הגיל וההכנסה של הלקוח. אין ספק שהיו לכם את כל הנתונים הללו גם קודם לכן, אך כעת עם כמות הנתונים והמגוון העצום תוכלו להכשיר דגמים בצורה יעילה יותר ולהמליץ ​​על המוצר ללקוחותי בדיוק רב יותר. האם זה לא יהיה מדהים מכיוון שהוא יביא יותר עסקים לארגון שלך?

• בואו ניקח תרחיש אחר כדי להבין את התפקיד של מדע הנתונים קבלת החלטות.מה דעתך אם למכונית שלך תהיה האינטליגנציה שתסיע אותך הביתה? המכוניות בנהיגה עצמית אוספות נתונים חיים מחיישנים, כולל מכ'מים, מצלמות ולייזרים ליצירת מפה של סביבתה. על סמך נתונים אלה נדרשות החלטות כמו מתי להאיץ, מתי להאיץ, מתי לעקוף, היכן לקחת סיבוב - תוך שימוש באלגוריתמים מתקדמים של למידת מכונה.
• בואו נראה כיצד ניתן להשתמש במדע נתונים בניתוח ניבוי. בואו ניקח דוגמא לחיזוי מזג אוויר. ניתן לאסוף ולנתח נתונים מספינות, מטוסים, מכ'מים, לוויינים כדי לבנות מודלים. מודלים אלה לא רק תחזית את מזג האוויר אלא גם יסייעו בחיזוי המופע של אסונות טבעיים כלשהם. זה יעזור לך לנקוט צעדים מתאימים מראש ולהציל חיים יקרים רבים.

בואו נסתכל על האינפוגרפיקה שלמטה כדי לראות את כל התחומים בהם מדע הנתונים יוצר את הרושם שלו.

מיהו מדעני נתונים?

ישנן מספר הגדרות זמינות במדעני נתונים. במילים פשוטות, מדען נתונים הוא העוסק באומנות מדע הנתונים.המונח 'מדען נתונים' היהטבע לאחר ששקל את העובדה שמדענית נתונים שואבת מידע רב מהתחומים והיישומים המדעיים בין אם מדובר בסטטיסטיקה או במתמטיקה.

מה עושה מדען נתונים?

מדעני נתונים הם אלה שפורצים בעיות נתונים מורכבות עם מומחיותם החזקה בתחומים מדעיים מסוימים. הם עובדים עם כמה אלמנטים הקשורים למתמטיקה, סטטיסטיקה, מדעי המחשב וכו '(אם כי ייתכן שהם אינם מומחים בכל התחומים הללו).הם עושים שימוש רב בטכנולוגיות החדישות ביותר במציאת פתרונות והגעה למסקנות החשובות לצמיחה והתפתחות של הארגון. מדעני נתונים מציגים את הנתונים בצורה הרבה יותר שימושית בהשוואה לנתונים הגולמיים העומדים לרשותם מצורות מובנות כמו גם לא מובנות.

הצהרת c ++

למידע נוסף על מדען נתונים, תוכלו לעיין במאמר זה ב

אם נעבור הלאה, בואו נדון ב BI. אני בטוח שאולי שמעת גם על בינה עסקית (BI). לעתים קרובות מדע הנתונים מתבלבל עם BI. אציין קצת תמציתי וברורניגודים בין השניים שיעזרו לך להשיג הבנה טובה יותר. בוא נראה.

מודיעין עסקי (BI) לעומת מדע נתונים

• בינה עסקית (BI) מנתחת בעצם את הנתונים הקודמים כדי למצוא בדיעבד ותובנה לתיאור מגמות עסקיות. כאן BI מאפשר לך לקחת נתונים ממקורות חיצוניים ופנימיים, להכין אותם, להריץ עליו שאילתות וליצור לוחות מחוונים כדי לענות על שאלות כמוניתוח הכנסות רבעוניאו בעיות עסקיות. BI יכול להעריך את ההשפעה של אירועים מסוימים בעתיד הקרוב.

• מדע הנתונים הוא גישה צופה פני עתיד יותר, דרך חקרנית עם דגש על ניתוח העבר או הנתונים הנוכחיים וניבוי התוצאות העתידיות במטרה לקבל החלטות מושכלות. הוא עונה על השאלות הפתוחות באשר לאירועים 'מה' ו'איך '.

בואו נסתכל על כמה תכונות מנוגדות.

כל זה היה מה זה מדע נתונים, עכשיו בואו נבין את מחזור החיים של מדע הנתונים.

טעות נפוצה שנעשתה בפרויקטים של מדעי הנתונים היא למהר לאיסוף וניתוח נתונים, מבלי להבין את הדרישות או אפילו למסגור את הבעיה העסקית כראוי. לכן חשוב מאוד לעקוב אחר כל השלבים לאורך מחזור החיים של מדע הנתונים כדי להבטיח תפקוד חלק של הפרויקט.

מחזור חיים של מדע הנתונים

הנה סקירה קצרה של השלבים העיקריים של מחזור החיים של מדע הנתונים:

שלב 1 - גילוי: לפני שתתחיל בפרויקט, חשוב להבין את המפרט, הדרישות, העדיפויות והתקציב הנדרש. עליכם להחזיק את היכולת לשאול את השאלות הנכונות.כאן אתה מעריך אם יש לך את המשאבים הנדרשים מבחינת אנשים, טכנולוגיה, זמן ונתונים לתמיכה בפרויקט.בשלב זה עליכם גם למסגר את הבעיה העסקית ולגבש השערות ראשוניות (IH) לבדיקה.

שלב 2 - הכנת נתונים: בשלב זה, אתה זקוק לארגז חול אנליטי בו תוכל לבצע ניתוח במשך כל תקופת הפרויקט. עליכם לחקור, לעבד ולעבד נתונים לפני הדוגמנות. יתר על כן, תבצע ETLT (חילוץ, שינוי, טעינה והפיכה) בכדי להכניס נתונים לארגז החול. בואו נסתכל על זרימת הניתוח הסטטיסטי למטה.

אתה יכול להשתמש ב- R לניקוי נתונים, טרנספורמציה והדמיה. זה יעזור לך לזהות את החריגים וליצור קשר בין המשתנים.לאחר שניקיתם והכנתם את הנתונים, הגיע הזמן לעשות חקרניתוחעל זה. בואו נראה איך תוכלו להשיג זאת.

שלב 3 - תכנון מודל: כאן תקבע את השיטות והטכניקות לרישום היחסים בין משתנים.קשרים אלה יקבעו את הבסיס לאלגוריתמים אותם תטמיעו בשלב הבא.תחיל ניתוח נתונים חקר (EDA) באמצעות נוסחאות סטטיסטיות שונות וכלי הדמיה.

בואו נסתכל על כלי תכנון מודלים שונים.

1. ר בעל מערך שלם של יכולות דוגמנות ומספק סביבה טובה לבניית מודלים פרשניים.
2. שירותי ניתוח SQL יכול לבצע ניתוח בתוך מסד נתונים באמצעות פונקציות נפוצות של כריית נתונים ומודלים ניבוי בסיסיים.
3. SAS / גישה ניתן להשתמש בו כדי לגשת לנתונים מ- Hadoop ומשמש ליצירת דיאגרמות זרימה של מודלים הניתנים לחזרה וניתנת לשימוש חוזר.

אמנם ישנם כלים רבים בשוק אך R הוא הכלי הנפוץ ביותר.

כעת, לאחר שקיבלתם תובנות לגבי אופי הנתונים והחלטתם להשתמש באלגוריתמים. בשלב הבא תעשה זאתלהגיש מועמדותהאלגוריתם ובנה מודל.

שלב 4 - בניית מודלים: בשלב זה תפתח מערכי נתונים למטרות הכשרה ובדיקה. הנה yעליכם לשקול אם הכלים הקיימים שלכם יספיקו להפעלת הדגמים או שיהיה עליהם צורך בסביבה חזקה יותר (כמו עיבוד מהיר ומקביל). תנתח טכניקות למידה שונות כמו סיווג, שיוך ואשכולות כדי לבנות את המודל.

אתה יכול להשיג בניית מודלים באמצעות הכלים הבאים.

שלב 5 - תפעול: בשלב זה אתה מספק דוחות סופיים, תדרוכים, קוד ומסמכים טכניים.בנוסף, לעיתים פרויקט פיילוט מיושם גם בסביבת ייצור בזמן אמת. זה יספק לך תמונה ברורה של הביצועים ואילוצים קשורים אחרים בקנה מידה קטן לפני הפריסה המלאה.

שלב 6 - תקשר תוצאות: כעת חשוב להעריך אם הצלחת להשיג את מטרתך שתכננת בשלב הראשון. לכן, בשלב האחרון אתה מזהה את כל הממצאים העיקריים, מתקשר לבעלי העניין וקובע אם התוצאותשל הפרויקט הם הצלחה או כישלון המבוסס על הקריטריונים שפותחו בשלב 1.

כעת, אקח מחקר מקרה כדי להסביר לך את השלבים השונים שתוארו לעיל.

כיצד לצאת מתוכנית

מחקר מקרה: מניעת סוכרת

מה אם נוכל לחזות את התרחשות הסוכרת ולנקוט צעדים מתאימים מראש כדי למנוע אותה?
במקרה שימוש זה, אנו חוזים את המופע של סוכרת תוך שימוש בכל מחזור החיים עליו דנו קודם. בואו נעבור את השלבים השונים.

שלב 1:

• ראשון,אנו אוספים את הנתונים על סמך ההיסטוריה הרפואיתשל המטופל כפי שנדון בשלב 1. תוכל לעיין בנתוני המדגם שלהלן.

• כפי שאתה יכול לראות, יש לנו את התכונות השונות כפי שהוזכר להלן.

תכונות:

1. npreg - מספר הפעמים בהריון
2. גלוקוז - ריכוז גלוקוז פלזמה
3. bp - לחץ דם
4. עור - תלת ראשי בעובי קיפול העור
5. bmi - אינדקס מסת הגוף
6. ped - תפקוד אילן יוחסין לסוכרת
7. גיל - גיל
8. הכנסה - הכנסה

שלב 2:

• כעת, ברגע שיש לנו את הנתונים, עלינו לנקות ולהכין את הנתונים לניתוח נתונים.
• לנתונים אלה יש הרבה סתירות כמו ערכים חסרים, עמודות ריקות, ערכים פתאומיים ופורמט נתונים שגוי שיש לנקות.
• כאן ארגנו את הנתונים לטבלה אחת בתכונות שונות - מה שהופך אותן למובנות יותר.
• בואו נסתכל על נתוני הדוגמה למטה.

לנתונים אלה יש הרבה סתירות.

1. בטור npreg , 'אחד' כתוב במילים,ואילו זה צריך להיות בצורה מספרית כמו 1.
2. בטור bp אחד הערכים הוא 6600 שזה בלתי אפשרי (לפחות לבני אדם) כמו bp לא יכול לעלות לערך כה עצום.
3. כפי שאתה יכול לראות את הַכנָסָה העמודה ריקה ואינה הגיונית בחיזוי סוכרת. לכן, מיותר שיש את זה כאן ויש להסירו מהשולחן.

• לכן, ננקה ועיבד מראש נתונים אלה על ידי הסרת החריגים, מילוי ערכי ה- null ונורמליזציה של סוג הנתונים. אם אתה זוכר, זה השלב השני שלנו שהוא עיבוד מקדים של נתונים.
• לבסוף, אנו מקבלים את הנתונים הנקיים כמוצג להלן, בהם ניתן להשתמש לניתוח.

שלב 3:

עכשיו בואו נעשה ניתוח כפי שנדון קודם בשלב 3.

• ראשית, נטען את הנתונים לארגז החול האנליטי וניישם עליו פונקציות סטטיסטיות שונות. לדוגמא, ל- R יש פונקציות כמו מתאר מה שנותן לנו את מספר הערכים החסרים והערכים הייחודיים. אנו יכולים גם להשתמש בפונקציית הסיכום שתיתן לנו מידע סטטיסטי כמו ערכי ממוצע, חציון, טווח, מינימום ומקסימום.
• לאחר מכן אנו משתמשים בטכניקות ויזואליזציה כמו היסטוגרמות, גרפי קווים, עלילות תיבות כדי לקבל מושג הוגן על הפצת הנתונים.

שלב 4:

כעת, בהתבסס על תובנות שנגזרו מהשלב הקודם, המתאים ביותר לבעיה מסוג זה הוא עץ ההחלטות. בואו נראה איך?

• מאז, יש לנו כבר את התכונות העיקריות לניתוח כמו npreg, bmi וכו ', כך נשתמשטכניקת למידה מפוקחת לבניית אמודל כאן.
• יתר על כן, השתמשנו במיוחד בעץ החלטות מכיוון שהוא לוקח בחשבון את כל התכונות בבת אחת, כמו אלה שיש להםמערכת יחסים ליניארית כמו גם מערכות יחסים לא ליניאריות. במקרה שלנו, יש לנו קשר לינארי בין npreg ו גיל, ואילו הקשר הלא לינארי בין npreg ו פד .
• מודלים של עץ החלטות הם גם מאוד חזקים מכיוון שנוכל להשתמש בשילוב המאפיינים השונה כדי ליצור עצים שונים ואז סוף סוף ליישם את זה ביעילות המרבית.

בואו נסתכל על עץ ההחלטות שלנו.

כאן, הפרמטר החשוב ביותר הוא רמת הגלוקוז, ולכן זהו צומת השורש שלנו. כעת, הצומת הנוכחי וערכו קובעים את הפרמטר החשוב הבא שיש לקחת. זה נמשך עד שנקבל את התוצאה מבחינת pos אוֹ שלילי . Pos פירושו שהנטייה לחלות בסוכרת היא חיובית ו- neg פירושה הנטייה לסוכרת היא שלילית.

אם ברצונך ללמוד עוד על יישום עץ ההחלטות, עיין בבלוג זה

שלב 5:

בשלב זה נפעיל פרויקט פיילוט קטן כדי לבדוק אם התוצאות שלנו מתאימות. אנו גם נחפש מגבלות ביצועים אם בכלל. אם התוצאות אינן מדויקות, עלינו לתכנן מחדש ולבנות מחדש את המודל.

שלב 6:

לאחר שביצענו את הפרויקט בהצלחה, נשתף את התפוקה לפריסה מלאה.

ההבדלים בין hashap לבין hashtable

להיות קל יותר מאשר לעשות מדען נתונים. אז בואו נראה מה כל מה שאתם צריכים כדי להיות מדען נתונים.מדען נתונים דורש מיומנויות בעצםמשלושה אזורים עיקריים כמוצג להלן.

כפי שניתן לראות בתמונה לעיל, עליכם לרכוש מיומנויות קשות ומיומנויות רכות. אתה צריך להיות טוב ב סטָטִיסטִיקָה ו מָתֵימָטִיקָה לנתח ולהמחיש נתונים. למותר לציין, למידת מכונה מהווה את הלב של מדע הנתונים ודורש ממך להיות טובים בזה. כמו כן, עליכם להבין היטב את ה תְחוּם אתה עובד כדי להבין את הבעיות העסקיות בצורה ברורה. המשימה שלך לא מסתיימת כאן. אתה אמור להיות מסוגל ליישם אלגוריתמים שונים הדורשים טוב סִמוּל כישורים. לבסוף, לאחר שקיבלתם החלטות מפתח מסוימות, חשוב שתמסרו אותן לבעלי העניין. כל כך טוב תִקשׁוֹרֶת בהחלט יוסיף נקודות בראוניז לכישורים שלך.

אני קורא לך לראות את ההדרכה הזו בסרטון מדע הנתונים שמסביר מה זה מדע נתונים וכל מה שדנו בבלוג. קדימה, תהנה מהסרטון ותגיד לי מה אתה חושב.

מה זה מדע נתונים? קורס מדעי נתונים - מדריך מדעי נתונים למתחילים | אדוריקה

סרטון קורס זה של Edureka Data Science ייקח אתכם בצורך במדעי נתונים, מה זה מדעי נתונים, מקרים לשימוש במדעי נתונים לעסקים, BI לעומת מדעי נתונים, כלי ניתוח נתונים, מחזור חיים למדעי נתונים יחד עם הדגמה.

בסופו של דבר, לא יהיה זה נכון לומר שהעתיד שייך למדעני הנתונים. ההערכה היא כי עד סוף שנת 2018 יהיה צורך של כמיליון מדענים נתונים. יותר ויותר נתונים יספקו הזדמנויות להניע החלטות עסקיות מרכזיות. בקרוב זה ישתנה את האופן שבו אנו מסתכלים על העולם המלא בנתונים סביבנו. לכן, מדען נתונים צריך להיות מיומן ובעל מוטיבציה לפתור את הבעיות המורכבות ביותר.

אני מקווה שנהנית לקרוא את הבלוג שלי והבנת מה זה מדע נתונים.בדוק את שלנו כאן, זה מגיע עם הדרכה חיה בהנחיית מדריכים וניסיון פרויקט אמיתי.