‫לשימוש פנימי בלבד‬

‫קובץ 5 - ‪ - MSE‬מדד לטיב של אומד‬
‫מהו אומד טוב ? אומד טוב הוא אומד המתקרב ככל האפשר לפרמטר‬ ‫אותו אנו מנסים לאמוד . בשיטת ‪ ,MSE‬נחפש אומד שבתוחלת יהיה‬ ‫קרוב ככל האפשר לפרמטר.‬

‫דוגמה 1:‬
‫נתון משתנה מקרי ‪ X‬אשר מתפלג לפי התפלגות בינומית ‪X ~ Bin  3, p ‬‬

‫ראינו כי אומד הנראות המקסימלית עבור הפרמטר שלא ידוע ‪ p‬הינו‬
‫ˆ‬ ‫‪.P ‬‬ ‫‪X‬‬ ‫3‬

‫נציע אומד נוסף עבור ‪ˆ X  1 : p‬‬ ‫‪P‬‬ ‫1‬ ‫5‬
‫ˆ‬ ‫ˆ‬ ‫איזה אומד טוב יותר לאמידת ‪ P : p‬או 1‪? P‬‬

‫נמצא התפלגות של כל אחד משני האומדים המוצעים .‬ ‫‪ X ~ Bin  3, p ‬ולכן‬
‫‪3‬‬ ‫‪ P( X  x )    p x (1  p )3 x‬לכל 3,2,1,0 ‪x ‬‬ ‫‪ x‬‬

‫ההתפלגות של ‪ X‬תלויה בערך של ‪ p‬אשר אינו ידוע.‬ ‫‪.p‬‬
‫1‬ ‫למשל, נניח כי‬ ‫2‬

‫1‬

‫לשימוש פנימי בלבד‬

‫מכאן, ההתפלגות של ‪ X‬הינה:‬ ‫‪X‬‬ ‫)‪PX(x‬‬ ‫0‬
‫1‬ ‫8‬

‫1‬
‫3‬ ‫8‬

‫2‬
‫3‬ ‫8‬

‫3‬
‫1‬ ‫8‬

‫ˆ‬ ‫‪:P ‬‬

‫‪X‬‬ ‫מכאן, ההתפלגות של האומד‬ ‫3‬
‫2‬ ‫3‬

‫ˆ‬ ‫‪P‬‬
‫) ‪PP ( p‬‬ ‫ˆ ˆ‬

‫0‬
‫1‬ ‫8‬

‫1‬ ‫3‬ ‫3‬ ‫8‬

‫1‬
‫1‬ ‫8‬

‫3‬ ‫8‬

‫ˆ‬ ‫‪: P1 ‬‬
‫ˆ‬ ‫1‪P‬‬

‫1‪X ‬‬ ‫ההתפלגות של האומד‬ ‫5‬ ‫3‬ ‫5‬ ‫3‬ ‫8‬
‫4‬ ‫5‬

‫1‬ ‫5‬ ‫1‬ ‫8‬

‫2‬ ‫5‬

‫) 1‪PP ( p‬‬ ‫ˆ ˆ‬
‫1‬

‫3‬ ‫8‬

‫1‬ ‫8‬

‫ˆ‬ ‫ˆ‬ ‫איזה אומד טוב יותר לאמידת ‪ P : p‬או 1‪ , P‬בהנחה ש ‪ p‬האמיתי שווה‬

‫?‬

‫1‬ ‫ל‬ ‫2‬

‫ˆ‬ ‫ˆ‬ ‫איזה אומד טוב יותר לאמידת ‪ P : p‬או 1‪ , P‬בהנחה ש ‪ p‬האמיתי שונה‬

‫?‬

‫1‬ ‫מ‬ ‫2‬

‫2‬

‫לשימוש פנימי בלבד‬

‫הגדרה‬ ‫נמדוד את טיב האומד לפי‬ ‫‪,‬‬ ‫לפרמטר‬
‫2‬

‫‪T‬‬

‫עבור אומד‬

‫ה ‪ – Mean Square Error‬תוחלת ריבוע השגיאה, המחושב באופן הבא:‬
‫‪MSE T   E T   ‬‬

‫‪‬‬

‫‪‬‬
‫ה ‪ MSE‬הקטן יותר.‬

‫מדד זה מאפשר להשוות שנ י אומדים , כאשר נעדיף את האומד בעל‬

‫דרך נוספת לחשב את ‪MSE‬‬
‫‪MSE T   V T    E T    ‬‬
‫2‬

‫ניתן להראות ש‬ ‫הגדרה‬

‫עבור אומד ‪ T‬לפרמטר ‪ ‬ההטיה של האומד שווה ל ‪. E T   ‬‬ ‫כלומר, תוחלת ריבוע השגיאה, שווה לשונות האומד וריבוע ההטיה .‬

‫דוגמה 2:‬
‫‪ ‬בהתפלגות נורמ לית עבור ה השונות 9.‬
‫2 ‪X1  X‬‬ ‫2‬ ‫3 ‪X1  X 2  X‬‬ ‫3‬

‫נרצה לאמוד את התוחלת‬
‫2 ‪X1  X‬‬ ‫3‬

‫נתונות 3 תצפיות 3 ‪ X 1 , X 2 , X‬עליהן מוגדרים ארבעת האומדים הבאים:‬
‫1 ‪T1  X‬‬ ‫‪T2 ‬‬ ‫‪T3 ‬‬ ‫‪T4 ‬‬

‫נחשב ‪ MSE‬של כל אחד מהאומדים.‬

‫3‬

‫לשימוש פנימי בלבד‬

‫דוגמה 3:‬
‫נתון מ "מ המתפלג בהתפלגות אחידה רציפה ‪ , X ~ U  0, ‬ונתונה תצפית‬ ‫אחת 1 ‪ X‬מתוך ההתפלגות. איזה משלושת האומדים הבאים טוב יותר ?‬
‫ג. 1‪T3  1.5 X‬‬
‫ב. 1 ‪T2  2 X‬‬ ‫א. 1 ‪T1  X‬‬

‫תזכורת‬
‫‪ab‬‬ ‫‪E X  ‬‬ ‫2‬ ‫‪V X ‬‬

‫‪b  a ‬‬ ‫‪‬‬
‫21‬

‫2‬

‫בהתפלגות אחידה ‪: X ~ U  a, b ‬‬ ‫ובמקרה שלנו ‪: X ~ U  0, ‬‬

‫‪0  ‬‬ ‫‪E X  ‬‬ ‫‪‬‬ ‫2‬ ‫2‬

‫‪V X ‬‬

‫‪  0 ‬‬ ‫‪‬‬
‫21‬

‫2‬

‫‪‬‬

‫2‪‬‬
‫21‬

‫4‬

‫לשימוש פנימי בלבד‬

‫אומד חסר הטיה‬
‫הגדרה‬
‫אומד ‪ T‬יקרא אומד חסר הטיה או אומד בלתי מוטה (א.ח.ה) לפרמטר ‪‬‬

‫אם מתקיים ש ‪( E T   ‬לכל ערך אפשרי של ‪.) ‬‬

‫דוגמה 4:‬
‫נתון משתנה מקרי ‪. X ~ B  n, p ‬‬
‫ˆ‬ ‫‪ p ‬הוא אומד חסר הטיה ל - ‪( p‬הסיכוי להצליח)?‬ ‫‪X‬‬ ‫א. האם האומד‬ ‫‪n‬‬

‫ב. מהו אומד חסר הטיה לסיכוי להיכשל ‪?1  p‬‬
‫‪X‬‬ ‫ˆ‬ ‫ג. האם האומד ‪ p   ‬הוא אומד חסר הטיה ל- ‪? p‬‬ ‫‪ ‬‬ ‫‪n‬‬
‫2‬
‫2‬ ‫2‬

‫5‬

‫לשימוש פנימי בלבד‬

‫בכל התפלגות‬
‫אומד חסר הטיה לתוחלת -‬
‫‪X  X2 ‬‬ ‫1 ‪Xn ‬‬ ‫‪n‬‬
‫‪n‬‬

‫‪ Xn‬‬

‫‪‬‬

‫‪X‬‬
‫1‪i ‬‬

‫‪n‬‬

‫‪i‬‬

‫‪n‬‬

‫אומד חסר הטיה לשונות כאשר התוחלת ידועה -‬

‫‪ X‬‬
‫1‪i ‬‬

‫‪i‬‬

‫‪ ‬‬

‫2‬

‫‪n‬‬

‫אומד חסר הטיה לשונות כאשר התוח לת איננה ידועה -‬
‫‪S2 ‬‬

‫‪ X‬‬
‫‪n‬‬ ‫1‪i ‬‬

‫‪i‬‬

‫‪ Xn‬‬

‫‪‬‬

‫2‬

‫1‪n ‬‬

‫6‬

‫לשימוש פנימי בלבד‬

‫דוגמה 5:‬
‫נתון מ"מ ‪ X‬התלוי ב ‪ ‬באופן הבא:‬
‫‪x‬‬

‫0‬

‫1‬

‫2‬

‫3‬

‫)‪P( x‬‬

‫2‬ ‫2 ‪1     1     1    ‬‬

‫לקחו 5 תצפיות 5 ‪ X 1 , X 2 , X 3 , X 4 , X‬מההתפלגות.‬ ‫‪ ˆ1 ‬א.ח.ה. ל- ‪. ‬‬
‫1‪X‬‬ ‫א. הראו ש-‬ ‫3‬

‫‪ ˆ2 ‬א.ח.ה. ל- ‪. ‬‬

‫5‪X‬‬ ‫ב. הראו ש-‬ ‫3‬

‫ג. מצאו את תוחלת ריבוע השגיאה (‪ )MSE‬של 1ˆ‪ ‬ו 2ˆ‪ . ‬איזה משני‬ ‫האומדים האלה טוב יותר ?‬

‫7‬

‫לשימוש פנימי בלבד‬

‫דוגמה 6:‬
‫נתון מ"מ התלוי ב ‪ ‬באופן הבא:‬
‫‪x‬‬

‫1‬

‫2‬
‫‪2‬‬

‫3‬
‫‪1  3‬‬

‫‪P( x) ‬‬

‫כדי לאמוד את ‪ ‬נדגמו ‪ n‬תצפיות ‪ X 1 , X 2 , , X n‬מההתפלגות הנתונה.‬ ‫‪ ˆ1 ‬הינו א.ח.ה. ל- ‪ ? ‬נמקו.‬
‫‪3 Xn‬‬ ‫א. האם האומד‬ ‫4‬

‫‪ ˆ2 ‬אם התקבלה‬

‫1‪3  X‬‬ ‫ב. מה האומדן עבור ‪ ‬המתקבל מהאומד‬ ‫4‬

‫תצפית עם ערך 1?‬

‫ג. נסמן ב- 1‪ N‬את מספר הפעמים שהתקבלה התוצאה 1 ב- ‪n‬‬

‫‪ ˆ3 ‬הינו א.ח.ה. ל- ‪ . ‬חשבו ‪.MSE‬‬

‫1‪N‬‬ ‫התצפיות. הראו שהאומד‬ ‫‪n‬‬

‫8‬