In un recente articolo pubblicato da PNAS e subito ripreso da Science si descrivono gli esiti di una ricerca che mira a tracciare i contorni della frode scientifica e che da attività individuale sembra invece essersi trasformata in un business vero e proprio.
Le fonti. Gli autori utilizzano dati di Scopus, WOS, Open Alex e Pubmed, dati derivati dal database di Retraction watch e dai commenti di PubPeer, ove possibile dati sugli editor che hanno curato una pubblicazione (ad es. PLOS e Hindawi), dati sulle conferenze di IEEE (e relative retractions). Dati sulle immagini duplicate come risulta da PubPeer, articoli e journal pubblicati da Academic research and development association (considerato un paper mill).
I risultati delle analisi che possono essere verificate perché tutti i dati sono messi a disposizione, sono piuttosto spaventosi, perché quando si pensa alla ricerca scientifica si pensa ad una attività virtuosa. Invece le analisi fatte ad es. sui dati di PLOS (che li mette a disposizione) identificano un network di editor (45) che hanno accettato lavori che poi sono stati per lo più ritirati e un gruppo di autori i cui lavori sono stati principalmente curati da questi editor (21). Sono stati anche isolati cluster di articoli validati in tempi brevissimi, anche se questo indicatore risulta essere meno robusto.
Sono stati individuati articoli prodotti da paper mill e la presenza di intermediari che hanno facilitato la pubblicazione di articoli fake in specifiche riviste. E’ stata anche sottolineata la flessibilità dei paper mill rispetto alle riviste target quando queste vengono deindicizzate e la capacità di trovare nuove riviste target in sostituzione.
Il quadro che esce da questa analisi è quello di una serie di attività ben coordinate (non casuali). Un affare dunque per chi le gestisce.
Si è calcolato che il numero di retractions e quello delle segnalazioni in PubPeer è in crescita ad una velocità maggiore di quanto crescano le pubblicazioni scientifiche. Lo spauracchio della deindicizzazione dalle banche dati, quello delle sanzioni da parte delle istituzione o della esclusione dai bandi per finanziamenti non sembra essere sufficientemente efficace, perché riguarda una piccola parte dei journals e degli autori. La punta dell’iceberg.
Le cause di tutto ciò le conosciamo: la competizione per finanziamenti limitati, la ricerca del raggiungimento di indici bibliometrici tipici di sistemi di valutazione performance based, dove la qualità conta meno della quantità.
A chi ritiene che la cattiva condotta scientifica sia probabilmente dettata anche dal fatto di avere minori opportunità o minore formazione rispetto all’etica i dati dimostrano che il fenomeno è globale e che la tendenza a prendere scorciatoie è diffusa anche in situazioni in cui i ricercatori sono ben finanziati.
I risultati di questa ricerca ci dicono dunque che la frode scientifica è un fenomeno molto diffuso di cui solo una piccola parte viene a galla (anche attraverso l’impegno di ricercatori che dedicano a questo la propria attività, spesso senza riconoscimento e spesso diventando oggetto di minacce legali); che il fenomeno è in rapida crescita, che non è più qualcosa che riguarda i singoli, ma è diventata una attività ben organizzata e coordinata, un vero business e che i meccanismi di autocorrezione della scienza sono troppo lenti e comunque inefficaci per contrastarla.
Da ultimo un riferimento ai LLM, che non sono in grado di distinguere fra buona e cattiva scienza e che inevitabilmente finiranno per restituire informazioni di cattiva qualità. Garbage in, garbage out.