אל תתלהבו: מחקר חדש קובע שמחקר חדש לא קובע

מדי פעם אנו מתבשרים על "מחקר חדש" שמתיימר להסביר באופן פשוט ומדעי, כביכול, איך נוצרו פלאים שונים בבריאה: איך קופים נהפכו לאנשים, איך הגוף יודע להתמודד מול מחלות וחיידקים, וכו'.

מתברר כי יש כאלו שסבורים כי היד לפרסום "מחקרים חדשים" קלה מדי על ההדק, וכך התפרסמה הכותרת האירונית באחד העיתונים: "מחקר חדש קובע – אל תאמינו למחקרים". הסיבה היא: הם פשוט לא אמינים, אנשים מפרסמים נתונים בדוקים לכאורה, ולך תוכיח שהם לא נכונים.

יש כאלו שטרחו וניסו לבדוק, מספר לנו העיתון המפורסם ה"גרדיאן": "מחקר חדש קובע כי", נאמר לא אחת במהדורות חדשות, בעיתונים ואף בפרסומות. אלא שמבדיקה מעמיקה שבוצעה לעשרות מסקנות שהתפרסמו בכתבי עת העוסקים במחקר בתחום הפסיכולוגיה, עולה תמונה עגומה בנוגע למצבו של מדע זה. צוות חוקרים בינלאומי, שכלל 270 מדענים בחמש יבשות, וחזר על 100 ניסויים שתוצאותיהם פורסמו בעבר בכתבי עת מובילים בתחום, הצליח לשחזר רק 36% מהתוצאות המקוריות. "ברור שהייתי שמח לו אותן תוצאות היו מתקבלות שוב", אומר בריאן נוסק, מרצה לפסיכולוגיה שהוביל את המחקר באוניברסיטת וירג'יניה, "אני מאוכזב…".

המחקר טוען לתוצאות, אבל כשחוזרים ובודקים, ברוב מוחלט של המקרים זה פשוט לא נכון, חוזרים על המחקר, ואין כאלה תוצאות...

דורון חלוץ כותב בעיתון "הארץ": "לפני 30 שנה התפרסם בכתב העת היוקרתי 'Nature' מחקר שבחן את השאלה בכלים מדעיים, תוך שיתוף פעולה בין פסיכולוגים, סטטיסטיקאים ואסטרולוגים מוערכים. כל אסטרולוג קיבל מפת לידה של נבדק רנדומלי, והתבקש להכריע בעזרתה איזה משלושה ניתוחי אישיות, המבוססים על מבחן פסיכולוגי סטנדרטי, שייך לבעל המפה. הסיכוי לענות נכונה על סמך ניחוש מקרי: שליש. שיעור ההתאמות המוצלחות במחקר: שליש. המדע קובע: אסטרולוגיה זה הבל.

"בשלהי הקיץ האחרון התפרסם בכתב עת מקביל, 'Science', מאמר שסיכם פרויקט מחקר בן ארבע שנים, שבחן בכלים מדעיים את מידת הדיוק של מחקרים מדעיים. התוצאות, אפעס, לא מעודדות.

"'פרויקט הרפליקציות', בראשותו של פרופ' בריאן נוסק, פסיכולוג חברתי מאוניברסיטת וירג'יניה, הזמין חוקרים לבחור מאמר, שפורסם באחד משלושה כתבי עת מובילים לפסיכולוגיה ב–2008 ולהריץ מחדש את הניסוי האחרון המתואר בו. 270 החוקרים שהתנדבו למשימה התבקשו להיצמד ככל הניתן למערך המחקר המקורי.

"השורה התחתונה: רק כ–40% מהשחזורים (רפליקציות, בז'רגון) הניבו תוצאות דומות לאלה שדווחו במאמרים המקוריים... אם פחות ממחצית מהמחקרים המדווחים בספרות המקצועית — אבני הפינה של מה שנחשב ל"אמת" מדעית — מניבים תוצאות עקביות בהרצות חוזרות, עד כמה ניתן לסמוך עליהם? ואם לא ניתן לסמוך עליהם, מה בכלל שווה כל המדע הזה?

"השאלה טובה, התשובה מורכבת, מה שברור, אל תמהרו להתלהב מ'מחקר חדש קובע'".