המומחים במבחן: האם תחזיותיהם טובות מניחוש פרוע?

אם אנשי המדע יודעים לדבר בביטחון כה גדול על מה שהיה לפני מיליארד שנה, סביר שהתחזיות שלהם למה שיקרה על פי המדע בקרוב, אמורות להיות מציאותיות, לא?

לעתים רחוקות קורה שאחד מאנשי מדעי החברה מפנה את הזרקור הדיסציפלינרי הביקורתי ואת כלי העבודה של מדעי החברה לעבר מדעי החברה עצמם. פרופסור פיליפ טֶטלוֹק, מדען מדינה מאוניברסיטת פנסילבניה, הוא אחד מהם, ולזכותו רשומה הבחינה היסודית ביותר של יכולתם של בעלי היומרה למומחיות במדעי החברה לחזות אירועים עתידיים.

במשך 20 שנה, בין 1984 ל-2003, ערך טטלוק תחרויות חיזוי ענפות. הוא אסף כמעט 300 מומחים מתחומים שונים, אקדמאים, אנשי ממשל, עיתונאים וכדו', וביקש מהם לתת תחזיות כלליות במגוון תרחישים פוליטיים וכלכליים בתחומים שונים, כולל אלו שבהתמחותם. למשל, טטלוק ביקש מן המומחים לבחור בין שלוש תוצאות אפשריות ביחס לעתיד כלשהו, כמו לגבי כלכלה של מדינה כלשהי: האם הם צופים צמיחה, סטטוס קוו או שקיעה.

בסה"כ בחן טטלוק מעל ל-80 אלף תחזיות – והתוצאות היו קודרות מאוד. הניבויים בטווח של שנים ספורות היו כמעט שקולים למזל, או במילים אחרות, לא ניכרה בהם שום מומחיות או מקצועיות, גם בתחומי המומחיות (לכאורה) של נותני התחזית. הם היו משיגים תוצאות טובות יותר לוּ היו קובעים ששלוש התוצאות שמכסות את תחום הניבוי אפשריות באותה מידה.

טטלוק כותב: "התחזיות של מומחים בתחום הידע שלהם לא היו מוכוונות ומובחנות יותר מאשר של מסיגי-גבול חובבנים… בכל הנוגע לידע, אנו מגיעים לנקודה של תשואה שולית פוחתת לתחזית באופן מטריד". יתר על כן, אולי עצוב מעט לשמוע, אבל ככל שהחוזה היה אדם בעל פרופיל ציבורי גבוה יותר, כך התחזיות שלו נטו להיות גרועות מהממוצע, או במילים אחרות, ה"מומחיות" שלו הייתה להיכשל בתחזיות.

ממצא מרתק נוסף של טטלוק נוגע לפער הביטחון העצמי של ה"מומחים". אף שכמעט לא הצליחו בתחזיותיהם יותר מחובבנים, המומחים (בעיני עצמם) נהנו מביטחון עצמי גדול. כאשר ביקש מהם טטלוק לנמק את הבחירות שלהם, ל"מומחים" היו הסברים ענפים ומורכבים הרבה יותר מאשר לחובבנים. אבל כשבוחנים את התוצאות המעשיות, מתברר שהסיפורים האלה היו הטיה, יומרה לידע – שלא לומר הונאה עצמית.

אם כן, ה"מומחים" במדעי החברה נשמעים טוב. יש להם ז'רגון, תיאוריות, סטטיסטיקות ומודלים, והרבה מאוד ידע בתחום המחקר שלהם. אבל מבחינה מעשית, אין להם שום יתרון בתחזיות על פני הלא-מומחה.

המסקנות של טטלוק אמורות להיות מטלטלות. לדבריו: "בעידן של היפר-התמחות אקדמית, אין שום סיבה להניח שהכותבים בכתבי-עת יוקרתיים – מדעני מדינה מכובדים, מומחים בתחום מחקר, כלכלנים, וכד' –טובים יותר מעיתונאים או קוראים קשובים של הניו-יורק טיימס בפירושם של מצבים מתפתחים… הכישורים האנליטיים העומדים בבסיס התהילה האקדמית לא תורגמו ליתרון בחיזוי ותרגילי עדכון-אמונות…".

עצוב, ודורש קצת ענווה...