Paul Sutter è un astrofisico e giornalista scientifico, autore di un bel libro dal titolo Rescuing Science: Restoring Trust in an Age of Doubt che commenteremo nelle prossime settimane, ha pubblicato un estratto da questo libro su Arstecnica. Tema dell’articolo è la peer review e il suo valore e la sua efficacia in un contesto che si basa sempre più sull’uso del computer, che non riconosce il lavoro dei revisori e dove il sistema del publish or perish (affrontato in maniera approfondita nel libro) immette sul mercato una quantità di articoli scientifici difficilmente gestibile (e anche leggibile) da revisori che sono anche e soprattutto autori sottoposti al giogo del publish or perish.

Riguardo al primo punto l’autore sottolinea il fatto che migliaia di pubblicazioni si basano sull’uso di software e codici che non vengono resi pubblici (neppure ai revisori) per cui risulta difficile valutare i risultati descritti nelle pubblicazioni. Perché codice e software non vengono resi pubblici? Perché a nessuno a quanto pare importa di ciò, perché la attività di renderli pubblici costa tempo che non viene impiegato nella stesura di articoli e perché non c’è un riconoscimento del tempo speso in questa attività.

La indisponibilità di codice e software non solo non permette ai revisori di individuare eventuali frodi intenzionali, ma neppure errori casuali, e questo rende la revisione una attività che parte da un atto di fede nella impostazione della macchina da parte dell’autore.

As long as the results look correct, you’ll go ahead and publish it and the peer reviewer will go ahead and accept it. And science is worse off for it.

Una alternativa ad una peer review che sembra non riuscire più ad individuare gli errori (sia quelli casuali che quelli volontari, che prendono il nome di frode scientifica) sono i replication studies.

Nel 2012 Beagley e Ellis pubblicano un articolo su Nature in cui denunciano la irriproducibilità di 47 su 53 importanti studi sul cancro prodotti dal Dana Farber Cancer Institute (Boston).

Sutter ci dice però che i replication studies non sono molto interessanti per i ricercatori, perché non portano ad un avanzamento della scienza, ma nel migliore dei casi confermano lo stato dell’arte, richiedono molto tempo, sono poco citati e non sempre tutta la documentazione per la replica di un esperimento è a disposizione.

Replication studies do not get published in high-impact-factor journals, and authors of replication studies do not get as many citations for their work. This means that their h-index is lower, which lowers their chances of getting grants and promotions.

Abbiamo visto in queste pagine come la scienza abbia i propri meccanismi di autocorrezione, ma retractions o corrections, esito di analisi ex-post, richiedono moltissimo tempo, e non possono cancellare gli effetti della applicazione di una ricerca errata. Inoltre non è detto che la peer review ex post funzioni davvero, perché i ricercatori non hanno assolutamente il tempo di leggere approfonditamente neppure ciò che citano.

Nobody has the time to read every important paper in their field. It’s a nonstop tidal wave of analysis, math, jargon, plots, and words, words, words. Every scientist writes as much as possible, without really digging into the existing literature, adding to the noise. 

Questo apre la strada alla frode scientifica. La testimonianza di Diederik Stapel nel libro che racconta la sua storia è emblematica

I was alone in my fancy office at University of Groningen.… I opened the file that contained research data I had entered and changed an unexpected 2 into a 4.… I looked at the door. It was closed.… I looked at the matrix with data and clicked my mouse to execute the relevant statistical analyses. When I saw the new results, the world had returned to being logical (Diederik Stapel Ontsporing]

Spesso il confine fra scienza buona e cattiva non è completamente chiaro

If you refuse to make your code public for scrutiny, are you committing fraud? Or righteously protecting your research investment? If you had to twist the analysis to get a publishable result, are you committing fraud? Or just finally arriving at the answer you knew you were going to get anyway? If you stop checking your work for mistakes, are you committing fraud? Or are you just… finally done, after months of hard work? If you withdraw your article from submission because the referee was getting too critical, are you committing fraud? Or are you protesting an unreasonable peer reviewer?

Nessuno sembra avere interesse a cambiare o rendere migliore il sistema attuale. Fintanto che gli avanzamenti di carriera e i finanziamenti sono assicurati né i ricercatori né le loro istituzioni sono incentivati a cambiare le cose, e meno di tutti lo sono gli editori, i quali da questo sistema malato incassano miliardi ogni anno.

Ciononostante qualche segno, per lo meno di una presa di coscienza che esiste un problema, lo possiamo individuare nel lavoro scrupoloso fatto dai science sleuths come Bik, Albakina, Bishop ecc., nelle dimissioni di interi editorial board e nella decisione di fondare iniziative interamente gestite dalle istituzioni.

Bisognerà cercare di capire se e come queste iniziative saranno sostenibili, ma anche e soprattutto formare i giovani ricercatori sottolineando la necessità di una ricerca che sia accessibile, trasparente, replicabile/riproducibile, il cui scopo sia il progresso delle conoscenze  e non l’aumento indiscriminato delle righe del proprio cv