Idan Suliman™ DATA ANALYSIS · EXPERT OPINION

· מאת

איך בית משפט צריך לקרוא ראיה סטטיסטית? מדריך המרכז השיפוטי הפדרלי

עיבוד עברי של המדריך לסטטיסטיקה של קיי ופרידמן למרכז השיפוטי הפדרלי בארה״ב: מה לבדוק בתכנון מחקר, במדגם, בערך p, ברווח סמך וברגרסיה.

״המדריך לסטטיסטיקה״ (Reference Guide on Statistics) של דייוויד קיי, פרופסור למשפטים באוניברסיטת אריזונה סטייט, ודייוויד פרידמן, פרופסור לסטטיסטיקה בברקלי, הוא פרק במדריך לראיות מדעיות (Reference Manual on Scientific Evidence) שפרסם המרכז השיפוטי הפדרלי של ארה״ב בשנת 2000 להכשרת שופטים פדרליים. הפרק בנוי כסדרת שאלות ששופט או עורך דין יכולים להפנות לכל ראיה סטטיסטית: איך נאספו הנתונים, איך הוצגו, אילו מסקנות מותר להסיק מהם ומה מסתתר מאחורי מודל רגרסיה. המחברים מציינים שהמאבק על ראיה סטטיסטית מתנהל בדרך כלל על משקלה ולא על קבילותה, ושתיקים כאלה הם לעיתים קרובות ״תיקי שני מומחים״: מומחה לתחום ומומחה לסטטיסטיקה. העקרונות אינם תלויים בשיטת משפט, והם רלוונטיים גם למי שמגיש או תוקף חוות דעת כמותית בישראל.

איך נאספו הנתונים, והאם המחקר יכול להעיד על סיבתיות?

לדברי המחברים, ניתוח טוב רק כמו הנתונים שעליהם הוא נשען, ותכנון המחקר הוא הגורם החשוב ביותר לאיכות הנתונים. כשמנסים להוכיח סיבתיות עומדים לרשות הצדדים שלושה סוגי מידע: עדות אנקדוטית, מחקר תצפיתי וניסוי מבוקר. דיווחים אנקדוטיים מתאימים כזרז לחקירה ולא כבסיס למסקנה: ילדים שגרים ליד קווי מתח חולים בלוקמיה, אבל גם ילדים שאינם חשופים חולים בה, ולכן יש להשוות שיעורי תחלואה בין קבוצת חשיפה לקבוצת ביקורת. גם השוואה כזו אינה מספיקה אם הקבוצות שונות זו מזו בגורמים נוספים (משתנים מערפלים), כמו רקע משפחתי.

ההבדל המכריע הוא מי קבע מי ייחשף. בניסוי מבוקר החוקרים מקצים את הנבדקים לקבוצות, ואם ההקצאה אקראית, הקבוצות דומות זו לזו בכל פרט לטיפול. במחקר תצפיתי הנבדקים בוחרים את חשיפתם בעצמם, ולכן קשר סטטיסטי אינו סיבתיות. רוב המחקרים שמגיעים לבית המשפט הם תצפיתיים, ומחקר כזה משכנע כשהקשר חוזר במחקרים ובאוכלוסיות שונות, שורד בקרה על משתנים מערפלים סבירים, ויש לו הסבר מנגנוני, כמו הקשר בין עישון לסרטן ריאות. שאלות הבדיקה:

  • האם הייתה קבוצת ביקורת? בלעדיה למחקר אין כמעט מה לומר על סיבתיות.
  • מי הקצה את הנבדקים לקבוצות, החוקר או תהליך שמחוץ לשליטתו? ואם החוקר, האם בהגרלה?
  • אילו גורמים מתערבבים עם הטיפול, אילו תיקונים נעשו בגינם, והאם הם סבירים?
  • האם אפשר להכליל מהנבדקים, מהזמן ומהמקום של המחקר אל המקרה הנדון? התשובה אינה יכולה לבוא מהמחקר עצמו.

מתי מדגם מייצג את האוכלוסייה?

הסקה מן החלק אל השלם מוצדקת רק כשהמדגם מייצג. סקר מדעי מגדיר מסגרת דגימה (רשימת יחידות האוכלוסייה) ובוחר ממנה בהגרלה שנותנת לכל יחידה סיכוי ידוע להיבחר. פער בין המסגרת לאוכלוסייה הוא הטיה שגודל המדגם אינו מתקן: סקר Literary Digest מ-1936 חזה ניצחון של לנדון על רוזוולט ב-57% מול 43% על סמך 2.4 מיליון תשובות, כי הרשימות (ספרי טלפון, חברי מועדונים) ייצגו את האמידים. מדגמי נוחות, כמו ראיונות בקניון, סובלים מהטיית בחירה, ומקרים שנבחרו ביד אינם מדגם: ב-In re Chevron בחרו הצדדים 30 תיקים קיצוניים מתוך 3,000 תביעות, ובית המשפט לערעורים קבע שאי אפשר להסיק מהם על היתר, אף שמדגם אקראי היה מתקבל. גם שיעור אי-היענות גבוה מזהיר מהטיה: בסקר Hite כ-95% מ-100,000 הנשאלות לא השיבו, והדמיון הדמוגרפי בין המשיבות לאוכלוסייה אינו מציל את התוצאה. לצד הדגימה יש לבדוק את המדידה: מהימנות (אותה תוצאה במדידה חוזרת), תקפות (פוליגרף מודד תגובות פיזיולוגיות במהימנות, אך אינו בהכרח מגלה שקרים), ודיוק הרישום.

איך הצגה של נתונים נכונים יכולה להטעות?

סיכום לא נכון מטעה גם כשהנתונים מדויקים. המחברים מציעים לשאול:

  • האם ניתן קנה מידה להשוואה? מספר בודד על תשואת קרנות נאמנות נראה אחרת לצד תשואת המדד כולו באותן שנים.
  • האם שיטת האיסוף השתנתה? מספר הגניבות הקטנות בשיקגו הוכפל בין 1959 ל-1960 בגלל מערכת דיווח חדשה, לא גל פשיעה.
  • האם הקטגוריות אוחדו בנוחות? במבחן טעימה של סיגריות, 36% העדיפו את המותג המפרסם ו-40% את המתחרה, והמפרסם צירף את 24% שאמרו ״אותו דבר״ כדי לטעון ש-60% מצאו אותו טוב לפחות באותה מידה. בית המשפט דחה את התרגיל.
  • האם האיחוד מסתיר את ההפך? באוניברסיטה בדויה 44% מהגברים התקבלו לעומת 33% מהנשים, אף שבכל אחת משתי הפקולטות שיעורי הקבלה זהים: הנשים פנו לפקולטה הסלקטיבית יותר (פרדוקס סימפסון).
  • ממוצע או חציון? ״הפיצוי הממוצע״ בתביעות רשלנות רפואית עלה למעלה ממיליון דולר בגלל כמה פסיקות ענק, כשהחציון היה בוודאי נמוך בהרבה. ועם זאת, אם השאלה היא העלות הכוללת למבטחים, הממוצע הוא המדד הנכון.

מה ערך ה-p באמת אומר, ומה הוא אינו אומר?

הדוגמה המרכזית בפרק: מעסיק בודק מבחן מיון על מדגם אקראי של 50 גברים ו-50 נשים מתוך 10,000 מועמדים; 58% מהגברים עברו ו-38% מהנשים, פער של 20 נקודות אחוז. ערך ה-p עונה על שאלה אחת: אם שיעורי המעבר באוכלוסייה כולה זהים (השערת האפס), מה הסיכוי שמדגם אקראי יפיק פער כזה או גדול ממנו? כאן p = 5%. ערך p קטן מעיד נגד השערת האפס; ערך גדול מעיד שהנתונים מתיישבים עמה. מכאן ארבע אזהרות:

  • ה-p אינו ההסתברות שהשערת האפס נכונה. הוא מחושב בהנחה שהיא נכונה; המקרה פועל על הנתונים, לא על ההשערה. ההחלפה בין הסיכוי לנתונים בהינתן ההשערה לבין הסיכוי להשערה בהינתן הנתונים מכונה כשל ההיפוך, והמחברים מצטטים פסקי דין שנפלו בו.
  • מובהקות אינה חשיבות. ה-p תלוי בגודל המדגם, ולכן פער של נקודת אחוז אחת יכול להיות ״מובהק״ במדגם גדול דיו, ופער גדול יכול להיות ״לא מובהק״ במדגם קטן. יש להבחין בין מובהקות סטטיסטית למובהקות מעשית.
  • היעדר מובהקות אינו הוכחה להיעדר הבדל. עוצמת המבחן (הסיכוי לגלות אפקט כשהוא קיים) בדוגמה, לפער של 10 נקודות, היא כשישית בלבד; תוצאה כזו היא ״לא חד-משמעית״, לא ״שלילית״.
  • כמה מבחנים נערכו? מטבע הוגן יפיק עשרה ״עץ״ רצופים בסיכוי של 1 ל-1,024, אבל באלפי הטלות רצף כזה כמעט מובטח. כשאנליסט ניסה ופסל כמה מודלים לפני שהגיע לתוצאה ״מובהקת״, על בית המשפט לשאול איך פותח המודל.

גם דחיית השערת האפס אינה הופכת את ההסבר של הצד המגיש לאמת היחידה. ב-Mapes Casino הוכיח הקזינו ששיעור הזכייה בשולחנות הקראפס היה 6% במקום 20% הצפויים; בית המשפט הסכים שמשהו אינו כשורה, אך לא קיבל את ההאשמה נגד העובדים, כי היו הסברים אחרים.

למה רווח סמך עדיף על מבחן מובהקות?

אומדן מתוך מדגם תמיד שגוי במקצת, וטעות התקן מודדת את גודל השגיאה הצפוי. בדוגמת המבחן טעות התקן היא כ-10 נקודות אחוז: רווח סמך של 68% משתרע מ-10 עד 30 נקודות, ורווח של 95% מ-0 עד 40. המחברים מעדיפים אומדן עם טעות תקן על פני מבחן, כי הוא מראה גם את גודל האפקט וגם את אי-הוודאות: בגרסה שבה 29 גברים ו-20 נשים עברו, הרווח הוא ממינוס 2 עד 38, כלומר הפער ״לא מובהק״, אך עדיין יכול להיות גדול. כמה דגשים:

  • ״סמך״ הוא מונח טכני. רמת סמך 95% אינה אומרת שיש הסתברות 95% שהערך האמיתי נמצא ברווח, אלא שרווחים שיחושבו ממדגמים חוזרים יכסו את הערך האמיתי ב-95% מהמקרים.
  • רמת סמך בלי רוחב הרווח חסרת משמעות. ב-Hilao v. Estate of Marcos העיד מומחה ש-137 תביעות שנדגמו ייתנו ״95% הסתברות סטטיסטית״ שהאחוז יחול על 9,541 התביעות, בלי לדון ברוחב הרווח. ובכיוון ההפוך, רמת סמך גבוהה יותר אינה ראיה חזקה יותר: ב-Cimino v. Raymark סבר בית המשפט שהתאמה בין המדגם לאוכלוסייה בתוך רווחים של 99% מוכיחה יותר מהתאמה בתוך רווחים של 95%, והמחברים מעירים שזה הפוך, כי רווח של 99% רחב מעצם הגדרתו, ולכן ״התאמה״ בתוכו מרשימה פחות.
  • טעות התקן ורווח הסמך מתעלמים מהטיות שיטתיות: הטיית בחירה, אי-היענות או זיכרון סלקטיבי של אימהות לילדים עם מומים. גם לו נשאלו כל הנשים, טעות התקן הייתה מתאפסת וההטיה נשארת.

מה צריך לבדוק במודל רגרסיה?

מקדם מתאם ושיפוע של קו רגרסיה מודדים קשר ליניארי בלבד, מושפעים מערכים חריגים, ואינם מבקרים משתנים אחרים: בקרב ילדים יש מתאם בין מידת נעליים לאוצר מילים, והמשתנה השלישי הוא הגיל. מתאמים שחושבו מממוצעים (״אקולוגיים״) מפריזים: המתאם בין הכנסה להשכלה בין מדינות ארה״ב הוא 0.66, ובקרב יחידים כ-0.44.

רגרסיה מרובה מנסה לבקר משתנים מערפלים באמצעים סטטיסטיים. בדוגמת הפרק, שכר מוסבר על ידי השכלה, ותק ומשתנה דמה למגדר, והאומדן נותן לגברים פרמיה של 700 דולר בהינתן השכלה וותק זהים. המובהקות נקבעת לפי סטטיסטי t: 700 חלקי טעות תקן של 325 נותן 2.15, מעל 2, ולכן ״מובהק״; עם טעות תקן של 1,400, t = 0.5 וההפרש מוסבר במקרה. אבל כל זה נשען על הנחות: שכל שנת השכלה שווה אותו סכום בכל רמת ותק ולשני המינים, שהשגיאות בלתי תלויות ובעלות התפלגות זהה, ושמשתנים שהושמטו (יכולת, איכות ההשכלה) אינם משנים באופן שיטתי. המחברים מבחינים בין רגרסיה כשטיב הקשר ידוע (חוק הוק לקפיץ) לבין רגרסיה שנועדה לגלות אם קשר קיים בכלל, שבסיסה אנלוגי בלבד. בית המשפט רשאי לשאול מהן הנחות המודל ומדוע הן חלות על התיק. בפועל רוב המחלוקות הן על בחירת המשתנים: מודל אחד מותקף על השמטת משתנים (רמת מיומנות, הערכות קודמות), ואחר על הכללת משתנים ״מזוהמים״ שמשקפים אפליה קודמת. ולבסוף, p קטן מ-5% אינו בהכרח ״מאזן הסתברויות״ נגד השערת האפס, כי אינו ההסתברות שהנתבע חף מאפליה.

איך חוות דעת סטטיסטית מגיעה לבית משפט בישראל?

ניתוח סטטיסטי שמוגש לבית משפט בישראל כחוות דעת מומחה נשען על סעיף 20 לפקודת הראיות, שמתיר לבית המשפט, ״אם אין הוא רואה חשש לעיוות דין״, לקבל כראיה, בכתב, חוות דעת של מומחה ״בשאלה שבמדע, שבמחקר, שבאמנות או שבידיעה מקצועית״. תקנה 88 לתקנות סדר הדין האזרחי מאפשרת לבית המשפט למנות ״בכל עת״ מומחה מטעמו, ובין השיקולים למינוי היא מונה את ״היקף וסוג המחלוקת שבין בעלי הדין או שבין המומחים מטעם בעלי הדין״. השאלות שהמדריך מנסח, על תכנון המחקר, המדגם, ערך ה-p והמודל, הן שאלות שבית המשפט, מומחה מטעמו או הצד שכנגד יכולים להפנות לכל חוות דעת כזו.

מקורות

  • Kaye, D. H. & Freedman, D. A. (2000). Reference Guide on Statistics. בתוך: Reference Manual on Scientific Evidence, Second Edition, עמ׳ 83-178. Federal Judicial Center, Washington, DC. פרסום של המרכז השיפוטי הפדרלי של ארה״ב, נחלת הכלל (עבודה של ממשלת ארה״ב). https://www.fjc.gov/sites/default/files/2012/sciman02.pdf
  • Kaye, D. H. & Freedman, D. A. (2011). Reference Guide on Statistics. בתוך: Reference Manual on Scientific Evidence, Third Edition, עמ׳ 211-302. National Research Council / Federal Judicial Center, National Academies Press. מהדורה מעודכנת של הפרק, זמינה לקריאה חופשית באתר nap.edu; זכויות היוצרים בה שמורות לאקדמיה הלאומית למדעים.
  • Kaye, D. H. & Stern, H. S. (2025). Reference Guide on Statistics and Research Methods. בתוך: Reference Manual on Scientific Evidence, Fourth Edition. National Academies of Sciences, Engineering, and Medicine / Federal Judicial Center, National Academies Press. https://doi.org/10.17226/26919. המהדורה העדכנית של הפרק, פורסמה ב-31 בדצמבר 2025.
  • Freedman, D., Pisani, R. & Purves, R. (1998). Statistics, 3rd ed. W. W. Norton. ספר הלימוד שהפרק מפנה אליו לאורכו.
  • National Research Council, Panel on Statistical Assessments as Evidence in the Courts (1989). The Evolving Role of Statistical Assessments as Evidence in the Courts (S. E. Fienberg, ed.). Springer.
  • Hill, A. B. (1965). The Environment and Disease: Association or Causation? Proceedings of the Royal Society of Medicine 58, 295-300.
  • פקודת הראיות [נוסח חדש], התשל״א-1971, סעיף 20.
  • תקנות סדר הדין האזרחי, התשע״ט-2018, תקנה 88.

פנו אלינו