בשנת 2005 פרסם ג׳ון יואנידיס (John P. A. Ioannidis), רופא ואפידמיולוג, מאמר בכתב העת PLoS Medicine תחת הכותרת הפרובוקטיבית ״מדוע רוב ממצאי המחקר שפורסמו שגויים״ (Why Most Published Research Findings Are False). המאמר, שפורסם ברישיון פתוח (CC-BY), הפך מאז לטקסט יסוד בדיון על אמינותם של ממצאים סטטיסטיים. נקודת המוצא שלו: ממצאים שפורסמו מופרכים שוב ושוב על ידי ראיות מאוחרות יותר, מניסויים קליניים ועד גנטיקה מולקולרית, ואין בכך הפתעה. לטענתו, מודל הסתברותי קצר מראה שבהנחות שהוא מציע לגבי הסיכוי המוקדם, העוצמה וההטיה, ברוב תחומי המחקר וברוב סוגי התכנון ממצא ״מובהק״ בודד צפוי להיות שגוי יותר מאשר נכון. לכל מי שמתבקש להכריע אם פער שנמצא בנתונים הוא אמיתי, בהליך משפטי או בארגון, המודל הזה הוא כלי עבודה ולא קוריוז אקדמי.
מה קובע אם ממצא מובהק הוא אמיתי?
יואנידיס מגדיר ״ממצא מחקרי״ כקשר שהגיע למובהקות סטטיסטית פורמלית, בדרך כלל ערך p קטן מ-0.05: טיפול יעיל, מנבא, גורם סיכון או מתאם. שיעור אי השחזור הגבוה נובע, לדבריו, מהנוהג הנוח אך חסר הבסיס להכריז על ממצא מוחלט על סמך מחקר יחיד שעבר את סף המובהקות.
ההסתברות שממצא מובהק הוא אכן נכון תלויה בשלושה גורמים: ההסתברות המוקדמת שהקשר קיים (לפני המחקר), העוצמה הסטטיסטית של המחקר, ורמת המובהקות. המודל בנוי כטבלת 2 על 2 שמשווה בין מה שהמחקר ״מצא״ לבין האמת. נסמן ב-R את היחס בין מספר הקשרים האמיתיים למספר הקשרים שאינם קיימים, מתוך כלל הקשרים שנבדקים בתחום. R הוא תכונה של התחום: הוא גבוה כשבודקים השערות סבירות מאוד, ונמוך מאוד כשמחפשים קשר אמיתי אחד או שניים בין אלפי השערות אפשריות. ההסתברות המוקדמת שקשר נבדק הוא אמיתי היא R חלקי (R + 1). העוצמה, 1 פחות בטא, היא הסיכוי לגלות קשר אמיתי; אלפא היא הסיכוי להכריז על קשר שאינו קיים.
במילים: מתוך כל הממצאים שהוכרזו כמובהקים, חלקם קשרים אמיתיים שהתגלו (הסתברות מוקדמת כפול עוצמה), וחלקם קשרים שאינם קיימים שעברו את הסף במקרה (הסתברות מוקדמת משלימה כפול אלפא). ערך הניבוי החיובי, PPV, הוא חלקם של הראשונים מתוך הסכום של שניהם:
- PPV = (1 - β)R / (R - βR + α)
מכאן נובע כלל אצבע: ממצא סביר יותר כנכון מאשר כשגוי רק כאשר העוצמה כפול R גדולה מאלפא, כלומר, ברוב המקרים, גדולה מ-0.05. בעוצמה של 80%, למשל, הסף הוא R של 1 ל-16, כלומר כ-6% השערות נכונות מכלל הנבדקות: רק בתחום שבו השיעור נמוך מזה, אפילו מחקר מתוכנן היטב מניב ממצאים מובהקים שרובם שגויים. גם כשרוב ההשערות שגויות, למשל R של 1 ל-3, ערך הניבוי עדיין כ-84%.
מה ההטיה עושה למשוואה?
יואנידיס מגדיר הטיה כצירוף של גורמי תכנון, נתונים, ניתוח והצגה שנוטים לייצר ממצאים כשלא היו צריכים להיווצר. זו אינה שונות מקרית, שקיימת גם כשהכל מושלם, אלא דיווח סלקטיבי או מעוות, מניפולציה בניתוח ובדיווח. נסמן ב-u את שיעור הניתוחים שלא היו הופכים ל״ממצא״ אלמלא ההטיה, ובכל זאת דווחו ככאלה. בהנחה ש-u אינו תלוי בשאלה אם הקשר אמיתי (שהרי בדרך כלל איננו יודעים זאת), מתקבלת נוסחה מורחבת:
- PPV = ((1 - β)R + uβR) / (R + α - βR + u - uα + uβR)
ערך הניבוי יורד ככל ש-u עולה, בכל מצב שבו העוצמה גבוהה מאלפא. קיימת גם הטיה הפוכה, כמו שגיאות מדידה שמטביעות קשר אמיתי ברעש, אך היא לדעתו נפוצה פחות.
מה קורה כשצוותים רבים בודקים את אותה שאלה?
כמעט כל שאלה נבדקת כיום על ידי כמה צוותים, לעתים עשרות, ובכל זאת הנטייה היא להתמקד בתגלית בודדת ולפרש כל ניסוי בנפרד. כאשר n מחקרים בלתי תלויים ושווי עוצמה בודקים את אותה שאלה, ההסתברות שלפחות אחד מהם יכריז על ממצא מובהק קלה לחישוב, וערך הניבוי של ממצא בודד כזה הוא:
- PPV = R(1 - β^n) / (R + 1 - (1 - α)^n - Rβ^n)
ככל שמספר המחקרים גדל, ערך הניבוי של הממצא הבודד יורד. הדוגמה שבמאמר מדגימה את הכוח המשולב של שלושת הגורמים. צוות בודק אם מי מבין 100,000 וריאנטים גנטיים קשור לסכיזופרניה. על פי הידוע על תורשתיות המחלה, סביר שכעשרה מהם קשורים באמת, כלומר R = 1 ל-10,000. בעוצמה של 60 אחוזים ואלפא של 0.05, ממצא שחצה בקושי את סף המובהקות מעלה את ההסתברות פי 12 לעומת נקודת המוצא, אך היא עדיין רק 12 ל-10,000. בנוכחות הטיה של u = 0.10 היא יורדת ל-4.4 ל-10,000. וכאשר עשרה צוותים בלתי תלויים מבצעים ניסוי דומה ולפחות אחד מהם מוצא קשר מובהק, גם בלי שום הטיה, הצבה בנוסחה שלמעלה נותנת הסתברות של כ-2.5 ל-10,000 שהממצא נכון (במאמר המקורי מופיע 1.5 ל-10,000), כלומר קרוב מאוד לנקודת המוצא.
מהן שש המסקנות?
מהמודל נגזרות שש מסקנות (corollaries), שכל אחת מהן תנאי שמוריד את הסיכוי שממצא מובהק הוא נכון:
- ככל שהמחקרים בתחום קטנים יותר, הממצאים פחות סבירים כנכונים. מדגם קטן פירושו עוצמה נמוכה, וערך הניבוי יורד איתה. ניסויים בקרדיולוגיה עם אלפי משתתפים אמינים יותר ממחקרי סמנים מולקולריים עם מדגמים קטנים פי מאה.
- ככל שגודל האפקט בתחום קטן יותר, הממצאים פחות סבירים כנכונים. אפקטים גדולים, כמו השפעת העישון על סרטן (סיכון יחסי 3 עד 20), אמינים יותר מגורמי סיכון גנטיים למחלות מורכבות (סיכון יחסי 1.1 עד 1.5).
- ככל שבודקים יותר קשרים ועם פחות סינון מוקדם, הממצאים פחות סבירים כנכונים. תכנון מאשש, כמו ניסוי שלב 3 גדול או מטא-אנליזה שלו, עדיף על ניסוי מחולל השערות. מחקר תגליות בקנה מידה גדול אמור להניב ערך ניבוי נמוך במיוחד.
- ככל שיש יותר גמישות בתכנון, בהגדרות, בתוצאים ובשיטות הניתוח, הממצאים פחות סבירים כנכונים. גמישות מאפשרת להפוך תוצאה ״שלילית״ ל״חיובית״, כלומר היא מגדילה את u. תוצאים חד משמעיים ומוסכמים (כמו מוות) ושיטות ניתוח מקובלות ומוכרות מניבים יותר ממצאים אמיתיים מאשר סולמות מרובים ושיטות שעדיין בניסוי, שבהן מדווחות רק התוצאות ״הטובות ביותר״.
- ככל שיש יותר אינטרסים כלכליים ואחרים ודעות קדומות, הממצאים פחות סבירים כנכונים. ניגודי עניינים נפוצים ומדווחים בחסר, והדעה הקדומה אינה חייבת להיות כספית: אמונה בתיאוריה, מחויבות לממצאים קודמים, או צורך בפרסומים לצורכי קידום.
- ככל שהתחום ״חם״ יותר ויותר צוותים פועלים בו, הממצאים פחות סבירים כנכונים. מסקנה שנראית פרדוקסלית, אך נובעת ישירות מנוסחת n המחקרים. כשהזמן קובע, כל צוות ממהר לפרסם את תוצאותיו ה״חיוביות״ המרשימות ביותר, ותוצאה ״שלילית״ נעשית מעניינת רק כהפרכה של ממצא קודם. יואנידיס מכנה זאת תופעת פרוטאוס: טענות קיצוניות והפרכות קיצוניות המתחלפות במהירות.
הגורמים האלה משפיעים זה על זה: תחום חם, למשל, עשוי למשוך גם דעות קדומות וגם תקנים משופרים.
עד כמה זה גרוע בפועל?
יואנידיס מציג טבלה של סימולציות, תחת אלפא של 0.05, לתרחישים אופייניים. ניסוי מבוקר אקראי עם עוצמה 0.80, סיכוי מוקדם של 1 ל-1 והטיה מעטה (u = 0.10): ממצא נכון בכ-85 אחוזים מהמקרים. מטא-אנליזה מאששת של ניסויים איכותיים (עוצמה 0.95, R של 2 ל-1, u = 0.30): גם כן כ-85 אחוזים. מטא-אנליזה של מחקרים קטנים ולא חד משמעיים (עוצמה 0.80, R של 1 ל-3, u = 0.40): 41 אחוזים, כלומר כנראה שגוי. ניסוי שלב 1 או 2 בעוצמה נמוכה (0.20) ו-R של 1 ל-5: 23 אחוזים כשהוא מבוצע היטב, 17 אחוזים כשהוא מבוצע גרוע. מחקר אפידמיולוגי חקרני עם R של 1 ל-10: 20 אחוזים גם בעוצמה טובה, 12 אחוזים בעוצמה נמוכה. ומחקר תגליות עם בדיקה המונית, שבו הקשרים הנבדקים עולים פי אלף על האמיתיים: ערך ניבוי של 0.10 עד 0.15 אחוזים, גם עם תקינה ניכרת של השיטות.
מכאן מגיע יואנידיס לטיעון שהופך את האינטואיציה המקובלת. בתחום שבו אין בכלל ממצאים אמיתיים לגלות (״תחום ריק״), האפקטים הנצפים אמורים להתפזר סביב האפס, ולכן המרחק שלהם מהצפוי במקרה הוא מדד טהור להטיה השוררת בתחום. אם הספרות בדקה 60 רכיבי תזונה ומצאה שכולם קשורים לגידול מסוים בסיכון יחסי של 1.2 עד 1.4, גודלי האפקט המדווחים מודדים את ההטיה נטו, ולא דבר אחר. לכן אפקט גדול במיוחד ומובהק במיוחד צריך לעורר דווקא חשד, ולא התלהבות, ולהוביל לבדיקה מה השתבש בנתונים ובניתוח.
מה אפשר לעשות, ומה זה אומר על בדיקת פער בנתונים?
אי אפשר לדעת את האמת בוודאות מלאה, אבל אפשר לשפר את ההסתברות שלאחר המחקר. יואנידיס מציע: ראיות בעוצמה גבוהה, כמו מחקרים גדולים ומטא-אנליזות נטולות הטיה, שימוקדו בשאלות שההסתברות המוקדמת שלהן כבר גבוהה ובמושגים רחבים ולא בשאלות צרות; שקילת מכלול הראיות במקום ממצא מובהק של צוות בודד; צמצום הטיה באמצעות תקנים, רישום מוקדם של מחקרים ונאמנות לפרוטוקול; ושקילה מפורשת, לפני כל ניתוח, של הסיכוי שהקשר הנבדק הוא אמיתי. הוא מזהיר גם שמחקר עצום עלול להכריז כמובהק על אפקט זניח, ושתיקוני ריבוי השוואות אינם עוזרים כשאי אפשר לדעת כמה חיפוש קדם לממצא המדווח.
לנו, הבודקים אם פער בנתונים הוא אמיתי, המאמר מספק רשימת שאלות שאינן תלויות בערך ה-p: כמה השוואות נבדקו לפני שנמצאה זו המדווחת, עד כמה היו ההגדרות והתוצאים גמישים, מה היה הסיכוי המוקדם שהפער קיים, ולמי היה אינטרס בתוצאה. ממצא שנולד מחיפוש רחב, מהגדרות שנבחרו בדיעבד ומאפקט גדול להפתיע, דורש אישוש בנתונים חדשים ובפרוטוקול שנקבע מראש, לפני שמסתמכים עליו.
מה בודק בית המשפט בשלב אישור תובענה ייצוגית?
סעיף 8(א)(1) לחוק תובענות ייצוגיות מתנה את אישור התובענה, בין השאר, בכך ש״התובענה מעוררת שאלות מהותיות של עובדה או משפט המשותפות לכלל חברי הקבוצה, ויש אפשרות סבירה שהן יוכרעו בתובענה לטובת הקבוצה״. תקנה 2(א)(9) לתקנות תובענות ייצוגיות מחייבת לפרט בבקשה לאישור את השאלות האלה ״והנימוקים המצביעים על כך שקיימת אפשרות סבירה״ שיוכרעו לטובת הקבוצה. כשהנימוק הוא פער שנמצא בנתונים, השאלות שיואנידיס מציע, כמה השוואות נבדקו לפני שנמצא הפער, האם ההגדרות נקבעו מראש ומה היה הסיכוי המוקדם שהוא קיים, הן הדרך לבדוק אם הפער יחזיק מעמד גם בבחינה של הצד שכנגד.
מקורות
- Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine 2(8): e124. https://doi.org/10.1371/journal.pmed.0020124. רישיון Creative Commons Attribution (CC-BY).
- Wacholder, S., Chanock, S., Garcia-Closas, M., Elghormli, L., Rothman, N. (2004). Assessing the probability that a positive report is false: An approach for molecular epidemiology studies. Journal of the National Cancer Institute 96: 434-442.
- Sterne, J. A., Davey Smith, G. (2001). Sifting the evidence - What׳s wrong with significance tests. BMJ 322: 226-231.
- Ioannidis, J. P. A. (2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA 294: 218-228.
- חוק תובענות ייצוגיות, התשס״ו-2006, סעיף 8(א)(1).
- תקנות תובענות ייצוגיות, התש״ע-2010, תקנה 2(א)(9).