Idan Suliman™ DATA ANALYSIS · EXPERT OPINION

· מאת

אומדן כטווח ולא כמספר יחיד: עקרונות ה-EPA לניתוח מונטה קרלו

עיבוד עברי למסמך ה-EPA משנת 1997: מתי ניתוח הסתברותי מוצדק, 16 העקרונות לבחירת התפלגויות, הפרדת שונות מאי-ודאות, והצגת טווח למקבלי החלטות.

בשנת 1997 פרסם פורום הערכת הסיכונים של הסוכנות האמריקאית להגנת הסביבה (EPA) מסמך בשם ״עקרונות מנחים לניתוח מונטה קרלו״ (EPA/630/R-97/001). המסמך נכתב על ידי צוות טכני בראשות מייקל פיירסטון, על בסיס סדנת מומחים שכינס הפורום במאי 1996, והוא מצורף כנספח למדיניות הרשמית של הסוכנות בדבר שימוש בניתוח הסתברותי בהערכות סיכון. אף שההקשר המקורי הוא חשיפה לחומרים מזהמים, המסמך נותר אחד הניסוחים הבהירים ביותר לשאלה כללית הרבה יותר: מתי ראוי להחליף אומדן נקודתי יחיד בהתפלגות של תוצאות אפשריות, ומה נדרש כדי שניתוח כזה יהיה שקוף, ניתן לשחזור ומובן למי שמקבל על פיו החלטות.

המסמך מגדיר ניתוח מונטה קרלו כשיטה ממוחשבת, שפותחה בשנות הארבעים, המשתמשת בדגימה סטטיסטית כדי לקבל קירוב הסתברותי לפתרון של מודל מתמטי: במקום ערך יחיד לכל משתנה מציבים התפלגות, מריצים את המודל פעמים רבות עם ערכים שנדגמו באקראי, ומקבלים התפלגות של התוצאה. המטרה הראשית היא לאפיין כמותית את השונות ואת אי-הודאות באומדן; המטרה המשנית היא לזהות את המקורות העיקריים להן ולכמת את תרומתם היחסית. המסמך מדגיש שהתובנות שניתוח כזה מספק הן בדרך כלל איכותיות באופיין, גם כשהמודל כמותי לחלוטין: אילו הנחות קריטיות, אילו אינן חשובות ומדוע, ובאיזו מידה הנחות חלופיות סבירות עשויות לשנות את המסקנות.

מתי ניתוח הסתברותי מוצדק, ומתי הוא מיותר?

לא כל הערכה מצדיקה אפיון כמותי של אי-ודאות. המסמך מביא שתי דוגמאות שבהן ניתוח מונטה קרלו עשוי להיות מיותר: כאשר חישוב סינון שמרני מראה שהחשיפה נמוכה בבירור מסף הדאגה, וכאשר עלות הטיפול נמוכה ממילא. מנגד, הניתוח עשוי להוסיף ערך כאשר:

  • חישובי סינון באומדנים נקודתיים שמרניים נופלים מעל סף הדאגה;
  • יש צורך לחשוף את מידת ההטיה שבאומדנים נקודתיים;
  • יש צורך לדרג חשיפות, מסלולים, אתרים או מזהמים זה מול זה;
  • עלות הפעולה הרגולטורית או התיקון גבוהה והחשיפות שוליות;
  • התוצאות של אומדן פשטני אינן מקובלות.

המסמך ממליץ על ״גישה מדורגת״: מתחילים במודל סינון פשוט ועוברים למודלים מתוחכמים יותר רק כאשר הממצאים והערך המוסף להחלטה מצדיקים זאת. ההחלטה היא בסופו של דבר עניין של שיקול דעת, ובין השאלות שיש לשאול בתחילת הדרך: האם ניתוח כמותי של אי-ודאות ישפר את ההחלטה, האם יש זמן ומשאבים לניתוח מורכב, ואיך הניתוח יתוקשר לציבור ולמקבלי ההחלטות.

מה ההבדל בין שונות לאי-ודאות, ולמה חייבים להפריד ביניהן?

ההבחנה הזו עומדת במרכז המסמך. שונות (variability) היא הטרוגניות אמיתית באוכלוסייה או בפרמטר: הבדלים במשקל גוף, בצריכת מים, בתנאי מזג אוויר. היא אינה ניתנת לצמצום על ידי מדידה נוספת, אם כי אפשר לאפיין אותה טוב יותר. אי-ודאות (uncertainty) היא חוסר ידע: על ערכו של פרמטר (שגיאות מדידה ודגימה), על המודל עצמו (פישוט יתר, מבנה שגוי, משתנים מחליפים לא מתאימים) ועל התרחיש (תיאור חסר, שגיאות באגרגציה, שגיאות בשיקול דעת מקצועי). אי-ודאות ניתנת לעתים לצמצום על ידי מחקר נוסף.

עיקרון 7 קובע שהפרדה בין השתיים נחוצה לשם אחריות ושקיפות, ושהיא מאפשרת לזהות אילו פרמטרים מצריכים נתונים נוספים. עיקרון 8 מזהיר מפני שני כשלים של ניתוח נתונים רגיל: הוא נוטה להמעיט באי-ודאות, משום שהוא מתמקד בשגיאה האקראית שבתוך סט הנתונים בלבד, ונוטה להגזים בשונות, משום שהוא כולל בה במובלע גם שגיאות מדידה. חוסר ייצוגיות של הנתונים הוא, לפי המסמך, האיום העיקרי על דיוקו של ניתוח שונות.

איך בוחרים ומתעדים את ההתפלגויות של ההנחות?

ששת העקרונות הראשונים עוסקים בבחירת נתוני הקלט וההתפלגויות:

  • ניתוח רגישות מקדים (עיקרון 1): לפני הניתוח המלא בודקים בניסויים נומריים אילו מבני מודל, מסלולים ופרמטרים תורמים תרומה משמעותית לתוצאה ולשונותה, כולל מודלים חלופיים, הנחות שונות על צורת ההתפלגויות, ותלויות בין פרמטרים. המסמך מזהיר שלא לפסול פרמטרים בטרם עת, ודורש לתעד ולנמק כל פרמטר שהוצא מטיפול הסתברותי מלא.
  • צמצום לפרמטרים המשמעותיים (עיקרון 2): ניתוח יכול לשלב אומדנים נקודתיים והתפלגויות, אך יש לבחון שוב ושוב את ההצדקה ל״קיבוע״ של פרמטר, כדי שלא ייווצר הרושם שמדובר בקבוע שאינו נתון לשינוי.
  • נתונים לפני נוחות (עיקרון 3): בחירת ההתפלגות מתבססת על כל המידע הזמין, כמותי ואיכותי: האם יש בסיס פיזיקלי או ביולוגי לבחירת משפחת ההתפלגויות, האם המשתנה בדיד או רציף, מהם גבולותיו, והאם הוא סימטרי או מוטה ולאיזה כיוון. כשהנתונים מוגבלים, בוחרים את המשפחה הרחבה ביותר שמתיישבת עם מצב הידע ובודקים את רגישות המסקנות לצורת ההתפלגות.
  • נתונים מחליפים (עיקרון 4): מותר להשתמש בנתונים שנאספו באוכלוסייה או בתנאים אחרים, אם מנמקים זאת, מזהים את ההטיות האפשריות ואוספים, ככל האפשר, נתונים ספציפיים למקרה, אפילו בכמות מוגבלת, כדי לבדוק את סבירות ההתפלגות.
  • איכות הזנבות (עיקרון 5): המידע בקצוות ההתפלגות בדרך כלל ירוד מזה שבמרכז, ויש לתת על כך את הדעת כבר בתכנון איסוף הנתונים.
  • שיקול דעת מומחה (עיקרון 6): אפשר לשלב שיקול דעת מומחה, אך יש להיות מפורשים לחלוטין לגבי השימוש בו. התפלגויות המבוססות בעיקר על דעת מומחים עלולות להיות מוטות, ובלי תיעוד מפורש הן עלולות להיראות שקולות לכאלה המבוססות על נתונים קשים.

הנספח מוסיף אזהרה על מבחני טיב התאמה (chi-square, Kolmogorov-Smirnov, Anderson-Darling): כוחם נמוך, הם טובים בעיקר לפסילת התאמות גרועות ולא לזיהוי התאמות טובות, ולכן אסור שיהיו השיקול היחיד בבחירת צורת ההתפלגות. הרצת מבחנים מול רשימה ארוכה של התפלגויות ובחירת ״המנצחת״ היא, לפי המסמך, פרקטיקה שגויה מבחינה סטטיסטית. שיטות גרפיות כמו תרשימי P-P ו-Q-Q משכנעות לעתים יותר.

עיקרון 9 דורש לבדוק את היציבות הנומרית של הממוצע, השונות והאחוזונים של הפלט ככל שמספר הסימולציות גדל: להריץ תמיד יותר סימולציות ממה שנראה נחוץ, לחזור על הסימולציה בכמה תת-סדרות שאינן חופפות, ולרשום תמיד את זרעי המספרים האקראיים. כאשר הזנבות אינם מתייצבים, יש לחזור ולבחון את איכות המידע בזנבות הקלט. עיקרון 10 מוסיף שאי אפשר לאפיין את כל מקורות אי-הודאות, ולכן יש להצהיר במפורש מה הניתוח מייצג ומה לא, גם אם רק באופן איכותי או כדירוג יחסי.

איך מציגים את התוצאות למי שמקבל את ההחלטה?

העקרונות 11 עד 16 עוסקים בהצגה, והם בעלי הרלוונטיות הרחבה ביותר:

  • תיאור מלא של המודל (עיקרון 11): כל הנוסחאות, הגדרת כל המונחים, הפניות מלאות, שם וגרסה של כל תוכנה, ודיון במגבלות, כך שגורם בלתי תלוי יוכל לשחזר ולאמת את הניתוח.
  • פירוט התפלגויות הקלט והפלט (עקרונות 12 ו-13): לכל קלט יש לציין אם הוא מייצג בעיקר שונות, בעיקר אי-ודאות או שילוב, ולהציג גרפים של פונקציית הצפיפות ושל ההתפלגות המצטברת, זה מעל זה, באותו ציר אופקי, עם סימון ברור של הממוצע, ולצדם טבלת סיכום. באותו אופן לכל תוצאה.
  • תלויות ומתאמים (עיקרון 14): יש לדון בנוכחותם או בהיעדרם, ובייחוד כשהעניין הוא בקצה העליון של ההתפלגות. כאשר חושדים בתלות אך אין נתונים, מדווחים את רגישות הממצאים לטווח של הנחות תלות.
  • אומדנים נקודתיים לצד ההתפלגות (עיקרון 15): מחשבים גם את האומדן הדטרמיניסטי המסורתי, מראים היכן הוא נופל על ההתפלגות, ומסבירים אילו הנחות קובעות את מיקומו. פער גדול בין השניים מעיד בדרך כלל על שינוי יסודי בנתונים או בשיטות, ויש להסביר אותו. אומדנים נקודתיים לתרחישים שהקהל מזדהה איתם מסייעים להבהיר את משמעות ההתפלגות.
  • הצגה מדורגת (עיקרון 16): מדענים ירצו פירוט רב; מקבלי החלטות זקוקים לפחות; הציבור לעוד פחות. המסמך מציע שלוש שכבות: סיכום בן עמוד אחד עם גרף וכמה פסקאות, תקציר מנהלים, ודוח מלא. לקהל שאינו טכני מתאימים סטטיסטיקה תיאורית ותרשימי קופסה וזקן; תרשימי צפיפות והתפלגות מצטברת מתאימים לאנליסטים.

ההנחיות הגרפיות ישירות: להימנע מגרפים מסובכים, מתרשימי עוגה ומתרשימים תלת-ממדיים; להשתמש בצבע ובהצללה רק כשצריך ובזהירות; לצרף לכל גרף טבלה של הנתונים; ולעולם לא לסמוך על הקהל שיפרש נכון תצוגה חזותית, אלא לצרף תמיד נרטיב שמפרש את ההיבטים החשובים של הגרף.

מה זה אומר לחוות דעת כמותית בהליך משפטי או בארגון?

שבעה משמונת התנאים שהמדיניות של ה-EPA קובעת לקבלת ניתוח הסתברותי (השמיני, התאמת אומדני החשיפה למדדי הרעילות, ייחודי לתחום הסביבתי) הם למעשה רשימת בדיקה למי שמגיש או בוחן אומדן כמותי: ניסוח ברור של השאלה והיקפה; תיעוד של כל המודלים, הנתונים וההנחות המשמעותיות, כולל שמות התוכנות, במידה המאפשרת שחזור בלתי תלוי; הצגת ניתוחי רגישות; דיון בתלויות בין משתנים; מידע טבלאי וגרפי על כל התפלגות קלט ופלט; דיון ביציבות הנומרית של המרכז והזנבות; והצגת אומדנים נקודתיים להשוואה. אנו רואים ברשימה הזו תקן ראוי גם מחוץ לתחום הסביבתי: אומדן המוצג כטווח עם תיעוד כזה עמיד הרבה יותר בבחינה נגדית מאומדן נקודתי שאינו חושף את הנחותיו, משום שההנחות המרכזיות כבר נבדקו בניתוח הרגישות, והשאלה ״מה אם ההנחה הזו שגויה״ קיבלה לגביהן תשובה כמותית מראש. עם זאת, כפי שעיקרון 10 מזכיר, הטווח טוב רק כמו ההתפלגויות והתלויות שהוזנו למודל, ולכן יש לומר במפורש מה הוא אינו מכסה.

מה דורשות התקנות מאומדן בבקשה לאישור תובענה ייצוגית?

תקנה 2(א)(6) ו-(7) לתקנות תובענות ייצוגיות מחייבת לפרט בבקשה לאישור את ״המספר המשוער״ של חברי הקבוצה ואת ״הסכום או השווי המשוערים של תביעותיהם של כל הנמנים עם הקבוצה והאופן שבו חושב או הוערך סכום התביעה״, ומבקש הסבור שלא ניתן לשער אותם צריך לפרט את הסיבה לכך. התקנה אינה קובעת שיטת אומדן, אבל היא דורשת לחשוף את אופן החישוב, ואומדן כטווח, עם הנחות מתועדות וניתוח רגישות, הוא דרך שקופה לעשות זאת כשהנתונים עוד חלקיים. בשלב ההכרעה הדרישה שונה: פיצוי בסכום כולל לפי סעיף 20(א)(3) לחוק תובענות ייצוגיות מותנה בכך ש״סכום הפיצוי הכולל ניתן לחישוב מדויק על יסוד הראיות שבפני בית המשפט״.

מקורות

  • U.S. Environmental Protection Agency, Risk Assessment Forum (1997). Guiding Principles for Monte Carlo Analysis. EPA/630/R-97/001, Washington, DC. צוות טכני בראשות Michael Firestone. נחלת הכלל (עבודה של ממשלת ארה״ב).
  • U.S. Environmental Protection Agency (1997). Policy for Use of Probabilistic Analysis in Risk Assessment. Office of the Administrator, Washington, DC. נחלת הכלל.
  • U.S. Environmental Protection Agency (1996). Summary Report for the Workshop on Monte Carlo Analysis. EPA/630/R-96/010. נחלת הכלל.
  • Morgan, M. G. and Henrion, M. (1990). Uncertainty: A Guide to Dealing with Uncertainty in Quantitative Risk and Policy Analysis. Cambridge University Press.
  • Burmaster, D. E. and Anderson, P. D. (1994). Principles of Good Practice for the Use of Monte Carlo Techniques in Human Health and Ecological Risk Assessments. Risk Analysis 14(4), 477-481.
  • תקנות תובענות ייצוגיות, התש״ע-2010, תקנה 2(א)(6)-(7).
  • חוק תובענות ייצוגיות, התשס״ו-2006, סעיף 20(א)(3).

פנו אלינו