Idan Suliman™ DATA ANALYSIS · EXPERT OPINION

· מאת

איך בונים מערכת ניתוח או אוטומציה שמחזיקה לאורך זמן?

עיבוד עברי לשמונת העקרונות ו-24 ההמלצות של Wilson ואח׳ (2014) לתוכנה מדעית, ומה הם אומרים למערכות נתונים בארגון ולניתוח שניתן לשחזר בחוות דעת.

בשנת 2014 פרסמו גרג וילסון, מייסד Software Carpentry, ושנים עשר שותפים מאמר בכתב העת PLOS Biology בשם ״Best Practices for Scientific Computing״. נקודת המוצא שלהם מטרידה: מדענים מקדישים 30% ויותר מזמנם לפיתוח תוכנה, אך 90% מהם ויותר לימדו את עצמם, ומעולם לא נחשפו לנהלים בסיסיים כמו ניהול גרסאות, בדיקות אוטומטיות וסקירת קוד. התוצאה היא תוכנה שאיש אינו יודע אם היא נכונה, ושורה של תיקונים ומשיכות של מאמרים בכתבי עת כמו Science ו-PNAS בעקבות טעויות חישוב. הטענה המרכזית של המאמר היא שתוכנה היא ״עוד סוג של מכשור ניסויי״, ויש לבדוק אותה בקפדנות שבה בודקים ציוד מעבדה. המחברים מרכזים שמונה עקרונות ו-24 המלצות, שנשענות על ניסיון הוראה רב שנים, על הנחיות מהתעשייה ומקהילות הקוד הפתוח ועל מחקרים אמפיריים. אנו רואים ברשימה הזו רשימת תיוג מדויקת גם למערכת ניתוח או אוטומציה בארגון וגם לקוד שעומד מאחורי חוות דעת מומחה: בשני המקרים השאלה אינה רק אם התוצאה נכונה היום, אלא אם אפשר לשחזר אותה, להסביר אותה ולהגן עליה גם בעוד שנתיים, מול אדם אחר.

למי כותבים את הקוד, ולמה זה משנה?

העיקרון הראשון: כותבים תוכניות לאנשים, לא למחשבים. המחברים מזכירים שלוש עובדות על הקוגניציה האנושית: זיכרון העבודה מחזיק רק קומץ פריטים בבת אחת, זיהוי התבניות שלנו מכוון היטב, וטווח הקשב קצר. מכאן שלוש ההמלצות:

  • תוכנית לא תדרוש מקוראיה להחזיק בזיכרון יותר מקומץ עובדות בבת אחת. בפועל, מפצלים את הקוד לפונקציות קטנות, שכל אחת מבצעת משימה אחת שקל להבין.
  • שמות עקביים, ייחודיים ובעלי משמעות. שמות כמו a ו-foo, או results ו-results2, אינם אומרים דבר לקורא.
  • סגנון ועיצוב קוד עקביים. מחקרים שהמאמר מצטט מראים ששמות ועיצוב לא עקביים מאטים את ההבנה.

בחוות דעת, הקורא של הקוד אינו רק מי שכתב אותו, אלא גם מומחה מטעם הצד השני ולעיתים בית המשפט. קוד שקריא לאדם זר הוא קוד שאפשר להגן עליו.

איך מונעים את הטעויות שנולדות מעבודה ידנית?

העיקרון השני: נותנים למחשב לעשות את העבודה. חזרה ידנית על פעולות מבזבזת זמן ומזמינה טעויות. ההמלצות: להפוך משימות חוזרות לסקריפטים, לשמור את הפקודות האחרונות בקובץ לשימוש חוזר, ולהשתמש בכלי בנייה, ובראשם Make, שבו מגדירים איך קובצי ביניים ותוצאות סופיות תלויים זה בזה, כך שפקודה אחת מחדשת את כל התוצרים. המאמר מוסיף דרישה שאנו רואים בה את המפתח לשחזור: לתעד את מוצא הנתונים (provenance), כלומר מזהים ייחודיים ומספרי גרסה של נתוני הגלם, של התוכניות ושל הספריות, וערכי הפרמטרים ששימשו בכל ריצה.

העיקרון הרביעי משלים אותו: לא לחזור על עצמך, ולא על אחרים. שכפול מגדיל את עלות התחזוקה ואת שיעור השגיאות, ולכן:

  • לכל פריט נתונים ייצוג מוסמך יחיד במערכת. קבועים פיזיקליים, למשל, מוגדרים פעם אחת בלבד, וכל התוכנית משתמשת באותו ערך.
  • מודולריות במקום העתק-הדבק של קטעי קוד.
  • שימוש חוזר בספריות קיימות לבעיות נפוצות, כמו אינטגרציה נומרית, במקום לכתוב אותן מחדש.

במערכת ארגונית, ״ייצוג מוסמך יחיד״ פירושו שתעריף, סף או נוסחה חיים במקום אחד, ולא בחמישה גיליונות שמתעדכנים בנפרד.

איך מתקדמים בלי לאבד את הדרך?

העיקרון השלישי: שינויים הדרגתיים. במדע, ולדעתנו גם ברוב פרויקטי הניתוח בארגון, הדרישות מתבררות רק אחרי שרואים תוצאות ראשונות, ולכן תכנון מלא מראש אינו מעשי. המחברים ממליצים לעבוד בצעדים של כשעה, המקובצים לאיטרציות של כשבוע, עם משוב ותיקון כיוון תכופים, ברוח הפיתוח הזריז. שתי ההמלצות הנוספות נוגעות לניהול גרסאות:

  • להשתמש במערכת ניהול גרסאות כמו Git, Subversion או Mercurial. לעומתה, משלוח קבצים בדוא״ל או העתקה לתיקייה משותפת הם שיטות שבריריות: שינויים נדרסים, עבודה אובדת, וקשה לדעת איזה שינוי נכנס לאיזו גרסה.
  • להכניס לניהול גרסאות כל מה שנוצר ידנית, מקובצי מקור ועד רישומי תצפיות. קבצים בינאריים, כמו תמונות ושמע, לעיתים קרובות עדיף לשמור בארכיון ייעודי, ואת המטא-דאטה שלהם לנהל בניהול גרסאות.

בהליך משפטי, היסטוריית הגרסאות מתעדת את הדרך לתוצאה, ומאפשרת להראות איזו גרסה של הקוד ושל הנתונים הפיקה כל מספר בחוות הדעת. כדי שתיעוד כזה יעמוד גם בבדיקה של הצד שכנגד, משלבים אותו בטביעת אצבע (hash) של נתוני הגלם ובעותק נפרד ומוגן, שכן שמות ותאריכים ב-Git נקבעים במחשב של הכותב וניתנים לשינוי.

איך מתכננים מראש לטעויות?

העיקרון החמישי: מתכננים לטעויות. שלושה כלים פועלים יחד: תכנות הגנתי, בדיקות אוטומטיות וניפוי שגיאות.

  • הוספת assertions לתוכנית. הן עוצרות את הריצה מיד בנקודת הכשל, מה שמפשט את ניפוי השגיאות, ומשמשות ״תיעוד בר-ביצוע״: הן מסבירות מה התוכנית מניחה ובודקות זאת בפועל.
  • שימוש בספריית בדיקות יחידה מוכנה. המאמר מבחין בין בדיקות יחידה (רכיב בודד מחזיר תוצאה נכונה), בדיקות אינטגרציה (הרכיבים עובדים יחד) ובדיקות רגרסיה (ההתנהגות אינה משתנה כשמשנים פרטים). התוצאות הצפויות מגיעות ממקרים מפושטים, מנתוני ניסוי או מתוכניות ותיקות שסומכים עליהן.
  • הפיכת כל באג למקרה בדיקה, כדי שבאג שתוקן לא יחזור בלי שיבחינו בו.
  • שימוש בדיבאגר סימבולי, שלפי הספרות שהמאמר מצטט פרודוקטיבי בדרך כלל יותר מהדפסות מפוזרות בקוד.

העיקרון השישי נובע מכאן: מייעלים תוכנה רק אחרי שהיא עובדת נכון. קשה לנבא היכן צוואר הבקבוק, ולכן קודם מוודאים נכונות ואז מאתרים אותו עם פרופיילר. בנוסף, כותבים בשפה ברמה הגבוהה ביותר האפשרית: מתכנתים כותבים בערך אותו מספר שורות ליחידת זמן בכל שפה, ולכן שפה גבוהה פרודוקטיבית יותר. אב-טיפוס ברמה גבוהה יכול לשמש ״אורקל בדיקה״ למימוש מהיר ברמה נמוכה, כשמשווים את הפלטים של השניים.

מה מתעדים, ואיך עובדים יחד?

העיקרון השביעי: מתעדים תכנון ותכלית, לא מכניקה. התיעוד מסביר ממשקים ואת הסיבות להחלטות, ולא חוזר על מה שהקוד כבר אומר. כשקטע קוד דורש הסבר ארוך על אופן פעולתו, עדיף לשכתב אותו כך שיהיה ברור מאליו. את התיעוד מטמיעים בתוך התוכנה עצמה, בכלים כמו Javadoc, Doxygen או Sphinx, או בתכנות ״ספרותי״ עם knitr ו-IPython Notebook, שבו הקוד משובץ במסמך שמסביר אותו. תיעוד שחי לצד הקוד מתעדכן איתו, ותיעוד נפרד נשכח.

העיקרון השמיני: משתפים פעולה. סקירת קוד היא לדברי המחברים הדרך החסכונית ביותר למצוא באגים, והיא גם מפיצה ידע בצוות. הסקירה צריכה להתבצע לפני מיזוג, כי סקירה שאינה חובה ״תחדל במהרה להיעשות״. תכנות בזוגות משפר פרודוקטיביות לפי כמה מחקרים, אך רבים חשים בו חדירה למרחבם, ולכן ממליצים עליו בעיקר לקליטת אדם חדש ולבעיות קשות במיוחד. וכלי למעקב אחר משימות ותקלות מונע עבודה כפולה.

מה המסקנה לארגון ולחוות דעת?

המחברים מסכמים שהנהלים מחזקים זה את זה ושהם תנאי מוקדם למחקר חישובי שניתן לשחזר. הם מודים שהרשימה עלולה להרתיע, ולכן ממליצים לא לאמץ את הכול בבת אחת אלא להכניס את הכלים בהדרגה, לאורך זמן. סדנאות כמו אלו של Software Carpentry הוכיחו את עצמן כדרך יעילה ללמוד, ואוניברסיטאות וגופי מימון צריכים לתמוך בהכשרה הזו ובהשקעה בתוכנה מדעית טובה יותר.

אנו קוראים את המאמר כהגדרה מעשית של מערכת שמחזיקה לאורך זמן: מערכת שאפשר להריץ מחדש בפקודה אחת, שכל נתון בה מוגדר במקום אחד, שההיסטוריה שלה שמורה, שיש לה בדיקות שחוזרות על כל באג שנמצא, ושאדם זר מבין אותה בלי להחזיק את הכול בראש. אלה גם בדיוק התכונות שעליהן נשאלים בחקירה נגדית על ניתוח כמותי.

מה דורש הדין הישראלי מרשומה שהפיקה מערכת ממוחשבת?

פקודת הראיות מאפשרת להגיש ״רשומה מוסדית״, כלומר מסמך, ״לרבות פלט״, שנערך על ידי מוסד ״במהלך פעילותו הרגילה״, כראיה לאמיתות תוכנה, אם התקיימו התנאים שבסעיף 36 (ההגדרות בסעיף 35). כשהרשומה היא פלט, סעיף 36(א)(3) דורש להוכיח בנוסף ש״דרך הפקת הרשומה יש בה כדי להעיד על אמינותה״ ושהמוסד ״נוקט, באורח סדיר, אמצעי הגנה סבירים מפני חדירה לחומר מחשב ומפני שיבוש בעבודת המחשב״. מערכת שבנויה לפי העקרונות שבמאמר, עם הרצה אוטומטית, היסטוריית שינויים ובדיקות, היא מערכת שקל יותר להסביר איך הפיקה כל רשומה כשהפלט שלה מגיע לבית המשפט.

מקורות

  • Wilson G., Aruliah D.A., Brown C.T., Chue Hong N.P., Davis M., Guy R.T., Haddock S.H.D., Huff K.D., Mitchell I.M., Plumbley M.D., Waugh B., White E.P., Wilson P. (2014). Best Practices for Scientific Computing. PLOS Biology 12(1): e1001745. רישיון Creative Commons Attribution (CC-BY 4.0).
  • Hannay J.E., Langtangen H.P., MacLeod C., Pfahl D., Singer J. et al. (2009). How do scientists develop and use scientific software? Proceedings of the Second International Workshop on Software Engineering for Computational Science and Engineering, pp. 1-8.
  • Merali Z. (2010). Error: why scientific programming does not compute. Nature 467: 775-777.
  • Fagan M.E. (1976). Design and code inspections to reduce errors in program development. IBM Systems Journal 15: 182-211.
  • פקודת הראיות [נוסח חדש], התשל״א-1971, סעיפים 35-36.

פנו אלינו