פתרונות - שאלות לדוגמה במדעי הנתונים
מפתח תשובות והסברים לשאלות התרגול
הבהרה חשובה: אלה פתרונות לשאלות לדוגמה בלבד, ולא למבחן לדוגמה. מספר השאלות בבחינה יהיה שונה ממספר השאלות בקובץ זה.
רעיונות לפתרון: איך לגשת לכל סוג שאלה
- איכות נתונים: עברו עמודה-עמודה וחפשו ארבעה סוגי בעיות: ערכים חסרים, ערכים בלתי אפשריים, ערכים חשודים מאוד וטיפוס נתונים שגוי.
- Target, Feature ו-Meta: שאלו קודם מה רוצים לחזות. זהו ה-Target. משתנים שעוזרים לחיזוי הם Features, ומזהים כמו שם או ID הם בדרך כלל Meta.
- CRISP-DM: זכרו שהעבודה מתחילה בהבנת הבעיה העסקית ולא בבניית מודל. התהליך מחזורי, ולכן אפשר לחזור לשלבים קודמים.
- חציון: תמיד ממיינים קודם. אם מספר הערכים זוגי, לוקחים את הממוצע של שני הערכים האמצעיים.
- מתאם פירסון: בדקו תחילה את הכיוון, אחר כך את עוצמת הקשר ולבסוף אם יש חריגים. מתאם אינו מוכיח סיבתיות.
- רגרסיה ליניארית: מפרשים כל מקדם כאשר שאר המשתנים קבועים. בקורס זה איכות הרגרסיה נמדדת באמצעות R².
- Train, Test ו-Cross-Validation: תוצאה גבוהה על Train בלבד אינה מספיקה. להערכת יכולת הכללה מסתכלים על Test או על cross-validation.
- סיווג: בקורס זה מדד האיכות המרכזי הוא AUC. ערך קרוב ל-0.5 דומה לניחוש אקראי, וערך גבוה יותר טוב יותר.
- Bag of Words: הווקטור תמיד נקבע לפי המילון ובאותו סדר. גם מילה שאינה מופיעה במסמך מקבלת רכיב, והוא שווה ל-0.
פתרונות לשאלות האמריקאיות
| שאלה | תשובה | הסבר |
|---|---|---|
| 1 | ג | בטבלה מופיעים ערכים חסרים, cats = -2, האות n בעמודה מספרית, וכן exercise_h = 212 כערך חשוד מאוד. |
| 2 | א | SALARY הוא הערך שרוצים לחזות. מזהים כמו ID ושם אינם אמורים להשתתף כמאפייני חיזוי ולכן מתאימים לתפקיד Meta. |
| 3 | א | זהו הסדר הסטנדרטי של CRISP-DM. בפועל התהליך איטרטיבי וניתן לחזור לשלבים קודמים. |
| 4 | ב | יש שישה ערכים, ולכן החציון הוא ממוצע שני הערכים האמצעיים: (7 + 9) / 2 = 8. |
| 5 | ג | נראית מגמה חיובית ברורה אך לא מושלמת. לכן ערך חיובי בינוני-חזק, בערך 0.6, סביר יותר מ-1 או מערך שלילי. |
| 6 | א | ברגרסיה מרובת משתנים מפרשים כל מקדם כאשר שאר המשתנים נשארים קבועים. |
| 7 | א | R² גבוה יותר מצביע על שיעור גבוה יותר של שונות מוסברת. כאן מודל A מסביר כ-72% מהשונות. |
| 8 | א | מתאם גבוה מאוד בין מאפיינים עלול ליצור מולטיקולינאריות ולפגוע ביציבות ובפרשנות של המקדמים. |
| 9 | ב | רגרסיה לוגיסטית משמשת לסיווג ומחזירה הסתברות להשתייכות למחלקה. |
| 10 | א | AUC גבוה יותר מעיד על יכולת טובה יותר להבחין בין המחלקות. AUC של 0.5 הוא בקירוב רמת ניחוש אקראי. |
| 11 | א | מודל עלול להתאים היטב לנתוני האימון אך להיכשל על נתונים חדשים. לכן משתמשים בקבוצת Test או ב-cross-validation. |
| 12 | א | בכל אחד מחמשת הסבבים חלק אחר משמש לבדיקה. כך כל תצפית משמשת פעם אחת לבדיקה ובשאר הסבבים לאימון. |
פתרונות לשאלות הפתוחות
13. Bag of Words לפי מילון נתון
תשובה: [2, 1, 1, 1, 0].
כל רכיב בווקטור קשור למילה אחת במילון, לפי הסדר המדויק שבו המילים מופיעות במילון: data מופיעה פעמיים, science פעם אחת, orange פעם אחת, model פעם אחת, ו-python אינה מופיעה ולכן הרכיב שלה הוא 0.
גם מילה שאינה מופיעה במסמך נשארת חלק מהווקטור, משום שאורך הווקטור וסדר הרכיבים נקבעים לפי המילון ולא לפי המסמך הבודד.
14. Train לעומת Test
תשובה צפויה: הפער הגדול מצביע על התאמת-יתר אפשרית (overfitting). תוצאת ה-Test, R² = 0.46, משקפת טוב יותר את הביצועים הצפויים על נתונים חדשים.