Basare la valutazione sugli output condivisi dai ricercatori

By in ,

Nel sistema attuale della comunicazione scientifica, le pubblicazioni su riviste e gli indicatori basati sulle riviste (prestigio, Impact Factor, numero di articoli) sono diventati il principale metro di valutazione dei ricercatori. Quando una misura diventa un obiettivo, però, smette di essere una buona misura (Goodhart docet) e questo ha condotto  a distorsioni nei comportamenti, sia dei ricercatori sia delle riviste.

I ricercatori sono spinti a massimizzare il numero di articoli e a puntare su riviste selettive, spesso dilatando tempi di pubblicazione e “confezionando” i risultati per soddisfare le aspettative editoriali. Le riviste, a loro volta, legano il proprio modello economico e reputazionale alla selezione esclusiva degli articoli, aumentando a dismisura tempi e costi (abbonamenti o APC).

E così ci troviamo in un contesto che porta a ritardi nella pubblicazione, bias verso risultati “positivi”, sovraccarico della peer review, crescita di letteratura di bassa qualità e ritrattazioni. Anche quando tutti gli attori agiscono in buona fede, il sistema nel suo complesso resta inefficiente e poco affidabile.

Stern e O’Shea, nel loro preprint Rialigning incentives for biomedical researchers and journals through researchers-shared outputs propongono di spostare il focus della valutazione dagli articoli selezionati dalle riviste o sulla base delle metriche delle riviste stesse, agli output condivisi direttamente dai ricercatori (researcher-shared outputs), in primo luogo i preprint, intesi come articoli pubblicati e aggiornati autonomamente dagli autori anche dopo la peer review e supportati da evidenze (dati della ricerca, codice software). Questa modalità di valutazione permetterebbe a chi deve distribuire fondi di vedere il ricercatore attraverso tutte le attività svolte, senza la lente delle scelte editoriali. Ampliando la tipologia di oggetti che possono essere valutati è possibile includere tipologie non considerate dalle riviste come risultati negativi, dataset, software ecc.

Ciò porta a separare il momento della pubblicazione (che viene per primo) da quello della validazione e della curation per la conservazione a lungo termine.Il modello presentato è quello del Publish–Review–Curate (PRC) che prevede la pubblicazione immediata dei risultati in repository aperti, peer review trasparente come servizio che può anche essere offerto da un editore, cura e selezione dei contenuti come servizio editoriale distinto.
In questo modo si separano disseminazione, valutazione e cura (che possono anche essere svolti da soggetti diversi), riducendo i conflitti di interesse.

Le decisioni sul reclutamento e finanziamento dovrebbero basarsi secondo gli autori (entrambi affiliati allo Howard Hughes medical institute) sui contenuti effettivi dei lavori di ricerca condivisi (articoli, dati, software, peer review), supportati da CV narrativi, selezione ragionata di output significativi, report di peer review pubblici e sintetizzati (anche con l’ausilio di strumenti di AI). Questo favorisce una valutazione più equa, trasparente e fedele alla qualità scientifica.

Le riviste dovrebbero essere compensate per i servizi che offrono, non per l’esclusività dei lavori pubblicati: servizi di appraisal (peer review, controlli di qualità), servizi di curation (selezione, sintesi, valorizzazione dei contenuti).
I costi dovrebbero essere scollegati dall’accettazione degli articoli.

Gli autori propongono inoltre un “core” della comunicazione scientifica costituito da repository aperti, finanziati collettivamente, su cui si innestano servizi di valutazione e curatela, sia no profit sia commerciali.

Un sistema basato su output condivisi e peer review trasparente incentiva correzioni tempestive della letteratura, maggiore responsabilità di autori e revisori, riconoscimento della peer review come contributo scientifico.

Per migliorare l’integrità, l’efficienza e l’equità della scienza non servono solo più strumenti, ma un riallineamento degli incentivi: valutare i ricercatori per ciò che scelgono di condividere e compensare le riviste per il valore reale dei servizi che offrono, non per il controllo dell’accesso.

La proposta a enti finanziatori e istituzioni è quella di richiedere il deposito di tutte le ricerche in forma di preprint, e di valutare i preprint come output, di valorizzare tempi e modi di risposta alla open peer review, di considerare le open peer review come un prodotto della ricerca, di insegnare nei corsi di dottorato e post doc l’open peer review dei preprint (sul modello di quanto fatto dal Fraser Lab), arrivano persino a suggerire di citare il lavoro non la sede di pubblicazione (cite scholarship, not the publication venue).

Il preprint dei due autori non si limita a rappresentare una situazione senza dubbio problematica, ma cerca anche di proporre un modello diverso, la cui realizzazione non dipende certo da strumenti o infrastrutture ma è culturale e si lega ad altre iniziative in atto come la progressiva adozione dei CV narrativi per una valutazione complessiva delle attività di ricerca svolte.