Così viene definita la letteratura scientifica su the Atlantic da parte dei due fondatori di Retraction watch, Adam Marcus e Ivan Oransky. Gli autori raccontano del nuovo segretario degli Stati Uniti alla salute (Robert F. Kennedy Jr.) che cita un articolo “scientifico” peer reviewed a conferma delle proprie affermazioni.

Ad una analisi più attenta si scopre che l’autore dell’articolo ha pubblicato una serie di lavori sul presunto legame fra vaccini e autismo, l’ultimo dei quali, quello appunto citato dal Segretario RFK jr., è apparso su una rivista che non è indicizzata in nessun database e nel cui editorial board siedono membri tristemente noti per essere campioni di retraction (come ad esempio Didier Raoult).

Oransky e Marcus usano questo esempio per fare una raccomandazione importante: un politico (soprattutto uno che aspira a costruire e indirizzare le politiche sanitarie di un paese) dovrebbe essere cauto nel citare studi scientifici, ed essere ben sicuro che ciò che si cita a supporto delle proprie affermazioni o future politiche sia davvero uno studio solido e soprattutto non sia già stato smentito da decine di altri studi.

Il panorama descritto è piuttosto sconfortante, perché la peer review, definita come il gold standard, sembra non essere in grado di separare la buona dalla cattiva scienza.

Una delle cause di questa produzione massiva di letteratura inconsistente sembra essere identificata nell’open access, non nella sua versione green, ma in quella gold che una volta nelle mani degli editori commerciali è diventata una (ulteriore) fonte di profittto.

Certamente quando ci si accorge della inaffidabilità di una ricerca il lavoro può essere oggetto di retraction (ex post), ma il processo è molto lungo

No one likes to admit an error—not scientists, not publishers, not universities, not funders.

e nel frattempo una ricerca circola, viene citata, viene usata da altri per elaborare nuove ricerche.

Gli autori non stanno parlando qui della cosiddetta editoria predatoria: nessuno la cita, nessuno la usa, sta semplicemente lì e probabilmente la si dimentica in fretta. Parlano invece delle riviste cosiddette “di qualità” che in nome del profitto tendono ad allargare le maglie validando più o meno qualsiasi cosa.

Profit motive can sometimes trump quality control even at the world’s largest publishers, which earn billions annually. It also fuels a ravenous pack of “paper mills” that publish scientific work with barely any standards whatsoever, including those that might be used to screen out AI-generated scientific slop.

Una possibile soluzione, sempre secondo gli autori, potrebbe essere quella di una maggiore trasparenza nei processi di revisione delle ricerche, che possa tracciare il processo che ha condotto alla accettazione e alla pubblicazione di un lavoro.

Oransky e Marcus auspicano che gli editori siano in futuro maggiormente in grado di riconscere i limiti del proprio sistema di validazione, dimostrandosi più disponibili a ritrattare articoli di cui viene dimostrata la inconsistenza. La apertura dei processi di ricerca potrebbe essere un altro strumento utile, ma tutto ciò richiede tempo.

Purtroppo lo stato attuale della ricerca è quello descritto nel sottotitolo dell’articolo su The Atlantic

You can cite peer-reviewed research in support of almost any claim, no matter how absurd.