Molte volte abbiamo segnalato studi o ricerche che rivelano frodi scientifiche più o meno spettacolari: da Francesca Gino a Diderik Stapel a Didier Raoult. Abbiamo parlato di “investigatori della scienza”, ricercatori che hanno deciso di dedicare il proprio tempo e le proprie competenze alla ricerca e denuncia delle frodi scientifiche: invenzione di dati e loro manipolazione, un fenomeno dei nostri tempi. Tempi in cui i ricercatori sono spesso spinti a “tagliare gli angoli” in nome di una economia del prestigio da cui dipende la loro sopravvivenza.
Ma accanto a frodi plateali che sono di fatto solo la “punta della punta dell’iceberg”, c’è un fenomeno più “normale” e diffuso: il cosiddetto “tweaking”, cioè l’aggiustamento strategico dei modelli e dei disegni di ricerca per ottenere i risultati desiderati.
Ne parlano Thomas Plümper ed Eric Neumayer sul blog della LSE riportando i contenuti del loro recente libro pubblicato da MIT press The Credibility Crisis in Science Tweakers, Fraudsters, and the Manipulation of Empirical Results.
Il fenomeno che descrivono è molto più pervasivo è diffuso della frode scientifica. Gli autori spiegano come molti ricercatori, pur lavorando con dati reali, modificano vari aspetti dell’analisi (come le variabili di controllo, il campione o la forma del modello) finché non ottengono risultati significativi o coerenti con le proprie aspettative. In pratica escludono i risultati negativi o quelli che contraddicono la ipotesi iniziale o non la confermano. Il tweaking è difficile da distinguere da scelte metodologiche legittime e questa ambiguità lo rende particolarmente insidioso, è difficile da dimostrare e proprio per questo probabilmente molto più diffuso delle frode scientifica, raramente comporta sanzioni perché non lascia prove evidenti.
Gli strumenti tradizionali della scienza aperta, come la trasparenza e fairness nella gestione dei dati e la preregistrazione sono senz’altro utili, ma la trasparenza nella gestione dei dati non impedisce la presentazione selettiva dei risultati e anche la preregistrazione potrebbe essere fatta una volta che i risultati sono già noti.
La proposta degli autori è quella che revisori e riviste conducano test di robustezza sui risultati scegliendo le specifiche alternative che desiderano vengano testate.
This proposal changes the implicit contract between authors and journals. Currently, authors present their best case; reviewers evaluate it. Under our approach, authors would need to show their findings survive scrutiny they couldn’t anticipate or game.
Gli autori invitano a prendere molto seriamente in considerazione il fenomeno che descrivono, perché la crisi della credibilità della scienza non si risolverà disvelando più frodi (la punta della punta dell’iceberg appunto) ma evitando di pubblicare risultati poco robusti o selettivi.
Se riviste e revisori possono avere un ruolo nella identificazione (e non pubblicazione) di ricerche troppo fragili, una grossa responsabilità spetta anche ad autori, istituzioni ed enti finaziatori. Il tema è etico, e di formazione e consapevolezza da parte di tutti gli attori del sistema della comunicazione scientifica.