Savantul de renume mondial a tras metodologia științifică pe picioare

JAMA, editorul celor mai citite reviste științifice din lume, a retras șase studii publicate de dietistul Brian Wansink. În calitate de director al Food and Brand Lab de la Universitatea Cornell, Wansink a publicat o serie de publicații care l-au făcut popular pe neașteptate.

Consiliul de Supravegheri al Universității Cornell a anunțat joi trecut că Wansink a comis erori metodologice științifice și că colaborarea sa cu Cornell se va încheia pe 30 iunie 2019; el își va petrece perioada rămasă examinând proiectele existente.

Nu a existat nicio fraudă, nu am trimis un raport falsificat în mod deliberat, nu am copiat pe nimeni și nu din neglijență lucrurile s-au desfășurat așa. Cred că descoperirile mele vor fi susținute, extinse sau modificate de alte grupuri de cercetare în timp.

Wansink i-a spus lui Vox despre incident.

Cine este Brian Wansink?

Retragerea studiilor Wansink a devenit un scandal deoarece Wansink este un expert de renume mondial în știința nutriției. Poate că nu a auzit încă de asta, dar trebuie să-și fi îndeplinit ideile. Wansink a publicat sute de studii care au fost citate de peste douăzeci de mii de ori. În numele Casei Albe, el a participat, de asemenea, la dezvoltarea Ghidurilor Dietetice Americane între 2007 și 2009. Cele două cărți ale sale - Mindless Eating și Slim by Design - au devenit bestselleruri și a fost un vorbitor vedetă la conferințe dietetice. Deoarece a fost implicat și în dezvoltarea ghidurilor USDA, cercetările sale nutriționale au avut, de asemenea, un impact socio-politic - companiile din SUA, de exemplu, au început să vândă dulciuri și chipsuri în pachete mai mici sub influența sa. Mai mult, nu doar guvernul SUA, ci și Google și armata SUA au solicitat elaborarea unor linii directoare pentru o nutriție bună.

Încrederea în Wansink a fost zdruncinată atunci când cercetătorul a publicat o postare pe blog în 2016 (încă ștearsă, dar totuși disponibilă într-o versiune arhivată) numită Studentul de grad, care nu a spus niciodată. Intrarea a stârnit mult praf datorită sfaturilor profesionale pe care le-a inclus și metodelor de cercetare îndoielnice.

Trei experți - Nick Brown, Jordan Anaya și Tim van der Zee - l-au contactat pe Wansink la scurt timp după publicarea postului, descoperind mai multe erori și neconcordanțe în cele patru studii ale sale citate în post. Wansink a răspuns, de asemenea, la e-mailurile lor la început; el a ridicat chiar posibilitatea unui studiu coautor. După ce cercetătorii au arătat clar că doresc să vadă datele utilizate pentru studiile citate, care ar fi putut duce la descoperiri eronate, Wansink nu a mai răspuns la e-mailuri.

Cercetătorii au decis atunci să facă publice bugurile descoperite. Dosarul Wansink (care de atunci a crescut la o dimensiune respectabilă) detaliază în ce studiu cercetătorul a făcut erori profesionale și care acuzații pot fi nefondate. Presa a început să abordeze defectele metodologice ale lui Wansink în februarie anul trecut. În cele din urmă, activitatea de investigație a reporterului Buzzfeed Stephanie Lee a oferit ultimul impuls pentru a scoate la iveală aceste defecte. În timpul unei vizite la Food and Brand Lab, Lee a analizat cercetările lui Wansink și a constatat că datele au fost utilizate în mod abuziv în mai multe cazuri.

După aceea, revizuirea profesională nu a mai putut fi evitată. În cele din urmă, un total de 13 studii Wansink au fost retrase, împreună cu cele a căror revocare a fost anunțată de JAMA miercurea trecută. Printre ei se număra unul care se ocupa de asta

Într-un comunicat de presă privind retragerea studiilor, JAMA a menționat pe scurt că Cornell nu a putut furniza suficient material pentru a asigura validitatea științifică a celor șase studii amintite, deoarece nu au putut accesa datele de la care a lucrat Wansink. Înseamnă și asta

Teoriile lui Wansink s-ar putea să nu fie nefondate, dar el nu are suficiente dovezi științifice care să le susțină.

Cu toate acestea, un purtător de cuvânt al lui Cornell consideră că Wansink comite mai multe greșeli profesionale. Rezultatele cercetărilor raportate fals; au existat probleme cu metodologia statistică; nu a documentat și stocat corect datele de cercetare; a făcut rapoarte eronate cu privire la datele de cercetare; iar metodologia statistică a fost, de asemenea, inacceptabilă.

Dar povestea a scos în evidență deficiențele nu numai ale lui Wansink, ci și ale sistemului academic de publicare.

Wansink a ales deseori domenii de cercetare din care se suspecta că mass-media va primi și studii în acest sens. Într-un studiu din 2009, el a dedus că legendara carte de bucate, Bucuria de a găti, era responsabilă pentru obezitatea Americii. Wansink a susținut că în edițiile recente ale cărții, care a fost publicată în mai multe ediții din 1936 și a vândut 18 milioane de exemplare, unele rețete conțin mai multe calorii decât versiunile mai vechi. Pentru cele 18 rețete clasice selectate, Wansink a observat o creștere de 35% a caloriilor. Numele lui Wansink este, de asemenea, asociat cu celebra teorie a plăcilor de jos, care sugerează că oamenii vor înghiți supa dintr-o farfurie reumplută automat fără gât.

Toate aceste cercetări se încadrează în imaginea generală pe care Wansink a gândit-o despre știința nutriției: factorii de mediu influențează ce, cât și cum mâncăm. Dar Wansink și-a ales domeniile de cercetare și a lucrat cu o metodologie care să sprijine ipotezele sale de bază.

Wansink și doi dintre colegii săi, Collin. R. Payne și David R. Tocmai au publicat studiul lor comun (Can Branding Improve School Prânzele?) În 2012, care a analizat reformarea meselor școlare. Potrivit cercetărilor lor, școlarii pot fi obișnuiți cu o alimentație sănătoasă în moduri simple - de exemplu, un școlar va alege un măr în loc de un prăjitură dacă lipesc o imagine a lui Elmo cunoscută din Sesame Street.

Primele studii au fost efectuate în 2008, dar rezultatele la acel moment erau cu o lărgime de păr sub marja statistică de eroare, ceea ce ar fi furnizat o bază științifică pentru concluzie. Wansink apoi a împachetat-răsucit-sortat datele pentru a obține un rezultat care acceptă declarația originală. Acest lucru a fost realizat luând în considerare, pe lângă școlarii cu vârsta cuprinsă între 8 și 11 ani, copiii mici din cercetare, care au fost aparent mai electrizați de autocolantele Elmo decât elevii inferiori.

Wansink a folosit această metodă de mai multe ori, dar tocmai din această cauză au început să pună la îndoială fiabilitatea cercetărilor sale.

Dar ce l-ar fi putut convinge pe unul dintre cei mai cunoscuți dieteticieni din lume să recurgă la astfel de metode discutabile? Unul dintre motive este că mulți oameni încearcă să-și facă un nume în viața științifică ocolind sistemul publicațiilor științifice - așa cum demonstrează exemplul lui Wansink, cu succes.

P-hacking - acesta este numele dat abuzului sistemului de publicare în viața științifică. Din faptul că are un nume separat, s-ar fi putut ghici că cazul lui Wansink nu este nicidecum unic - nu atât de mult încât PLOS a publicat, de asemenea, un studiu privind amploarea și consecințele p-hacking în Știință.

În viața științifică, „valoarea” cercetătorilor individuali este determinată de numărul publicațiilor lor. Pentru a fi considerat un savant recunoscut, trebuie să publicați multe în cele mai prestigioase reviste științifice din lume. Publicarea, însă, necesită rezultate semnificative statistic. În numele p-hacking, p (ca probabilitate) se referă la valorile p; este o unitate cu așa-numita semnificație statistică. Mai simplu spus, ideea este că

dacă p este mai mic de 0,05, rezultatul este semnificativ statistic; cu cât valoarea lui p este mai mică, cu atât este mai probabilă ipoteza inițială corectă.

Scopul p-hacking este să aibă întotdeauna o valoare de p mai mică de 0,05. De asemenea, se consideră hacking P dacă un cercetător oprește studiul dacă atinge limita .05. Cercetătorii care lucrează cu cantități mari de date riscă întotdeauna să răsucească setul de date disponibile până când observă un tipar în ele care ar putea susține ipoteza. Dar nu trebuie să distorsionați datele atât de intenționat. Dacă avem suficiente date și efectuăm suficiente analize, este doar o chestiune de timp să găsim o corelație.

Lee, care avea acces și la e-mailurile lui Wansink, a scris în articolul său despre acest subiect că Wansink, în loc să-și testeze ipotezele și să comunice ceea ce stabilise, și-a încurajat adesea subordonații să analizeze datele până când vor da peste un rezultat aparent interesant. Adică, el nu a făcut nicio lucrare de cercetare, ci a comutat p-hacking în modul biturbo.

Lee a spus că acest lucru a fost conștient din partea cercetătorilor. Între 2008 și 2016, Wansink și echipa sa au urmat strategia de a publica rezultate bune de sunet de interes public în reviste științifice cu criterii de revizuire mai puțin stricte, care au fost apoi preluate de mass-media. Nana: Toată lumea este implicată în dietetică, la urma urmei, toată lumea este obișnuită să mănânce și, dacă un om de știință de renume mondial spune că dieta noastră este determinată de acești și de acești parametri, toată lumea îi va acorda atenție. Cu toate acestea, problema cu aceasta este că

STUDIILE CONSTRUITE PE P-HACKING POT ȘTI UN ȘTIINȚIST, DAR POATE DESTROIA TOATE ȘTIINȚELE.

Studiile individuale sunt considerate fiabile dacă rezultatele lor sunt reproductibile. Fiabilitatea lor este importantă, deoarece nu numai studiile de sine stătătoare sunt importante în viața științifică, ci și meta-analize bazate pe date din mii de studii. Analiza fenomenelor complexe, cum ar fi schimbările climatice, se bazează adesea pe prelucrarea a mii de studii și, dacă există un singur hack între ele, aceasta poate distorsiona întreaga imagine.

Viața științifică are o metodă de autoapărare împotriva unor astfel de publicații: evaluarea inter pares, adică instituția evaluării inter pares. În acest caz, rezultatele cercetării vor fi revizuite de alți experți din domeniu care pot decide dacă studiul poate fi publicat; dacă anumite corecții sau revizuiri trebuie făcute înainte de publicare; sau trebuie să o aruncați tot așa cum este. Nu întâmplător au început să organizeze o mișcare care dorește să alunge metodele de cercetare specifice Wansink din viața științifică. Există mai multe moduri de a face acest lucru:

Soluția finală ar fi probabil doar schimbarea sistemului de publicare academică. Dacă viața științifică nu ar recompensa numărul de publicații, poate ar putea apărea o cultură în care studiile populare, nu cele realizate cu o metodologie greșită, sunt recompensate, dar sunt apreciate și experimentele desfășurate pe pistele oarbe. Viața științifică poate produce mai puține stele în acest fel, dar o mie de ipoteze false te vor aduce totuși mai aproape de adevăr decât o singură publicație cu metodologia greșită.

(Imagine de copertă: Cornell University Food and Brand Lab)