Un breve articolo pubblicato sul blog della LSE discute il ruolo della peer review come strumento di validazione scientifica, sostenendo che nel modello attuale essa viene impropriamente confusa con una certificazione di verità.
Va detto che gli autori dell’articolo hanno una posizione molto netta rispetto alla tematica di cui scrivono. Entrambi lavorano per Elife che da qualche anno ha adottato un modello molto particolare di pubblicazione che esce dallo schema binario (qui criticato) accettato/respinto.
La scienza è un processo dinamico e cumulativo, fondato su risultati provvisori, replicazione e continuo scrutinio, mentre il sistema editoriale si basa su decisioni binarie di accettazione o rifiuto che non sono in grado di rappresentare le diverse sfaccettature di una ricerca e l’incertezza che ad essa può essere collegata.
Tre (secondo gli autori) sono i miti dominanti nel sistema della comunicazione scientifica attuale.
Il primo mito è che le decisioni binarie siano affidabili: l’aumento delle ritrattazioni e le distorsioni legate alla logica del publish or perish mostrano che la peer review non è un filtro infallibile e che lavori problematici possono comunque essere pubblicati.
Retractions have increased in recent years, including cases of serious error and misconduct, demonstrating that flawed or fabricated work can and does pass peer review.
Il secondo mito è che la validazione sia realmente binaria. Nella pratica, il valore della ricerca viene spesso misurato attraverso il prestigio delle riviste, più che sulla qualità dei singoli articoli, creando una gerarchia di legittimità che confonde il valore di una ricerca con la reputazione delle sedi editoriali.
Binary journal decisions therefore serve less as markers of validation than as points of entry into a prestige hierarchy that determines how much weight research is given.
Il terzo mito è che la ricerca sia semplicemente “valida” o “non valida”. In realtà, l’affidabilità delle evidenze scientifiche si colloca su uno spettro molto ampio: studi diversi (su scala diversa), pur metodologicamente corretti, possono offrire livelli di certezza molto differenti. Il sistema binario tende inoltre a favorire risultati positivi o statisticamente significativi, rafforzando il bias di pubblicazione e dando un’apparente certezza a un processo intrinsecamente incerto.
This preference, reinforced by opaque editorial decision-making, entrenches publication bias and skews the scholarly record toward apparent consensus. Evidence also suggests that reviewer judgments are often uncertain and probabilistic, but the system forces this nuance into a binary outcome
Per superare i limiti derivanti dai tre miti sopra citati, gli autori propongono modelli di peer review aperta e iterativa, in cui le valutazioni siano pubbliche, tracciabili e indipendenti dalla decisione di pubblicare o meno. La peer review diventa in questo contesto un processo continuo di discussione, critica e miglioramento, in grado di rendere visibili incertezze, divergenze e gradi di fiducia.
By exposing reasoning, disagreements, and degrees of confidence, open review shifts validation from a single binary outcome to an ongoing process
La trasparenza consente inoltre di riconoscere il valore della peer review anche in assenza di pubblicazione, evitando la dispersione del lavoro dei revisori e la duplicazione delle valutazioni in caso di sottomissioni successive.
In conclusione, pur riconoscendo che le decisioni binarie restano inevitabili nelle scelte individuali di lettura e citazione, l’articolo sostiene che esse non siano adeguate come indicatori di validità scientifica. Sistemi di revisione aperti e trasparenti permettono di distinguere tra i diversi momenti (e le diverse funzioni) di pubblicazione, valutazione e validazione, offrendo una rappresentazione più realistica e cumulativa del progresso scientifico.