מטריקס בלבול בלמידת מכונה: הפיתרון החד-פעמי שלך

ב , בדרך כלל יש לנו שני סוגים שונים של מקרי שימוש, , ו בְּעָיָה. מטריקס בלבול מסייע בחישוב הדיוק של מודל הסיווג המסייע בעקיפין לתיאור ביצועיו של מודל הסיווג. זהו השלב החשוב ביותר בכל הנוגע להערכת מודל. אעסוק בנושאים הבאים במאמר זה:

1. מהי מטריקס בלבול?

2. דיוק ורכיבים של מטריקס בלבול

3. דיוק, זיכרון ומדידת F

מה זה בובה ב- devops

4. יצירת מטריקס בלבול באמצעות פייתון ו- Sklearn

מהי מטריקס בלבול?

מהאיור לעיל:
יש לנו,

• ערך מחלקה 1 בפועל = 1 הדומה לערך חיובי בתוצאה בינארית.
• ערך Class 2 בפועל = 0 הדומה לערך שלילי בתוצאה הבינארית.

אינדקס הצד השמאלי של מטריצת הבלבול מציין בעצם את הערכים האמיתיים והעמודה העליונה מציינת את הערכים החזויים.

ישנם רכיבים שונים שקיימים כשאנחנו יוצרים מטריצת בלבול. הרכיבים מוזכרים להלן

חיובי (P): התוצאה החזויה היא חיובית (דוגמה: תמונה היא חתול)

שלילי (N): התוצאה החזויה היא שלילית (דוגמה: תמונות אינו חתול)

חיובי אמיתי (TP): כאן TP בעצם מציין את החיזוי והערכים בפועל הוא 1 (נכון)

שלילי אמיתי (TN): כאן TN מציין את החיזוי והערך בפועל הוא 0 (שקר)

שלילי כוזב (FN): כאן FN מציין שהערך החזוי הוא 0 (שלילי) והערך האמיתי הוא 1. כאן שני הערכים אינם תואמים. מכאן שהוא שלילי כוזב.

חיובי כוזב (FP): כאן FP מציין שהערך החזוי הוא 1 (חיובי) והערך בפועל הוא 0. כאן שוב שני הערכים אינם תואמים. מכאן שהוא חיובי כוזב.

דיוק ורכיבים של מטריקס בלבול

• דיוק סיווג

מהנוסחה שלעיל, סכום ה- TP (נכון חיובי) וה- TN (נכון שלילי) הם התוצאות החזויות הנכונות. מכאן שכדי לחשב את הדיוק באחוזים, אנו מחלקים עם כל שאר המרכיבים. עם זאת, ישנן כמה בעיות ברמת הדיוק ואיננו יכולים לתלות בכך לחלוטין.

הבה נבחן כי מערך הנתונים שלנו אינו מאוזן לחלוטין. בתרחיש זה, דיוק של 98% יכול להיות טוב או רע בהתבסס על הצהרת הבעיה. לפיכך יש לנו עוד כמה מונחי מפתח שיעזרו לנו להיות בטוחים לגבי הדיוק שאנו מחשבים. התנאים הם כמפורט להלן:

• TPR (שיעור חיובי אמיתי) או רגישות:

שיעור חיובי אמיתי המכונה גם רגישות מודד את אחוז החיובי האמיתי ביחס לסך החיובי האמיתי המצוין על ידי (TP + FN)

• TNR (שיעור שלילי אמיתי) או ספציפיות:

שיעור או ספציפיות שלילית אמיתית מודדים את חלקם השלילי בפועל ביחס לסך הכל השלילי

TNR = נכון שלילי / (נכון שלילי + חיובי כוזב)

• שיעור חיובי כוזב (FPR):

שיעור חיובי כוזב הוא אחוז התוצאות החזויות החזויות (FP) לסך כל התוצאות החיוביות החזויות (TP + FP).

• שיעור שלילי כוזב (FNR):

שיעור שלילי כוזב הוא אחוז המספר החזוי שלילי כוזב (FP) לסך כל התוצאות השליליות החזויות (TN + FN).

דיוק, זיכרון ומדידת F

• לִזכּוֹר:

זיכרון דומה לשיעור חיובי אמיתי וזה היחס בין המספר הכולל של הערכים החיוביים החזויים כהלכה (TP) לכל הערכים החיוביים.

• דיוק:

הדיוק בעצם מציין את כל הנקודות שהמודל חזה לחיוב ואיזה אחוז מהן בפועל חיוביות.

דיוק וזכירה הן תוצאות מדדים המתמקדות בכיתה החיובית כפי שמוצג מהנוסחאות לעיל.

• מידה F

אז F-Measure היא טכניקה המשלבת הן את טכניקת Precision והן Recall והיא משתמשת בממוצע הרמוני במקום הממוצע האריתמטי הרגיל, שבגללו נענשים הערכים הקיצוניים. מדד F נקרא גם ציון F1 וניתן על ידי הנוסחה הבאה.

הבה נבחן דוגמה ונראה כיצד אנו יכולים לחשב את הדיוק, הדיוק, ההיזכרות וציון ה- F1.

• • דיוק = (TP + TN) / (TP + TN + FP + FN) = (150 + 100) / (150 + 100 + 20 + 10) = 0.89
  • נזכר = TP / (TP + FN) = 150 / (150 + 10) = 0.93
  • דיוק: TP / (TP + FP) = 150 / (150 + 20) = 0.88

• מדד F = (2 * זיכרון * דיוק) / (זיכרון + נוכחות) = (2 * 0.93 * 0.88) / (0.93 + 0.88) = 0.90

יצירת מטריצת בלבול באמצעות Python ו- Sklearn

כעת נראה דוגמה כיצד אנו יכולים ליצור מטריצת בלבול באמצעות פיתון יחד עם ספריית sklearn.

אחד. בתחילה ניצור רשימה כלשהי של הנתונים בפועל והנחזה לבדוק את הדיוק כפי שמוצג להלן

# תסריט פייתון ליצירת מטריצות בלבול. actual_data = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicted_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0,1,0,1]

2. עלינו לייבא את מטריצת הבלבול מספריית sklearn כמוצג להלן:

מ- sklearn.metrics יבוא confusion_matrix

3. לאחר מכן, ניצור את מטריצת הבלבול כמוצג להלן:

final_results = confusion_matrix (actual_data, predicted_data)

ארבע. כעת נוכל לחשב את הדיוק על ידי ייבוא ​​הספרייה כמוצג להלן:

מ- sklearn.metrics ייבוא ​​דיוק_סקור דיוק = דיוק_סקור (נתונים_ בפועל, נתונים חזויים)

5. לבסוף, אנו מחשבים את ציון ה- F1 או את ה- F- מידה כמוצג להלן:

מ- sklearn.metrics דוח סיווג סיווג_דיווח = סיווג_דוח (נתונים_אמיתיים, נתונים חזויים)

להלן הקוד השלם:

actual_data = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicted_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0,1,0,1] מ- sklearn.metrics יבוא confusion_matrix final_results = confusion_matrix (actual_data, predicted_data) הדפס (final_results) מ- sklearn.metrics יבוא דיוק_סקור דיוק = דיוק_סקור (נתונים_מעשית, נתונים חזויים) מ- sklearn.metrics ייבוא ​​סיווג_דוח דוח = סיווג_דיווח ( נתונים_אמיתיים, נתונים חזויים) הדפסה (דיוק) הדפסה (דוח)

אז, עם זה, אנו מגיעים לסוף מאמר זה. אני מקווה שכל הבלבול שלך לגבי מטריקס הבלבול ייפתר כעת.