In un Opinion article dello scorso anno Ivan Oransky, Adam Marcus e Alison Abritis descrivono un fenomeno che ha ormai assunto dimensioni preoccupanti.

L’enfasi posta sulle citazioni per la promozione delle carriere, per la assegnazione di finanziamenti e per il reclutamento ha portato infatti a comportamenti adattivi quali (per citarne solo alcuni) incremento immotivato delle autocitazioni, network citazionali ecc.

Such metrics can reap huge rewards but, unfortunately, they’re also simple to game. And so, following Goodhart’s law—“When a measure becomes a target, it ceases to be a good measure”—citations are gamed, in increasingly cunning ways

Sul numero di citazioni e numero di pubblicazioni si basano la maggior parte dei ranking purtroppo purtroppo (e nonostante decine di articoli e libri che ne denunciano l’inconsistenza e la manipolabilità) ancora oggi ritenuti un riferimento.

Sul numero di citazioni vengono anche costruiti ranking di riviste (di cui è stata dimostrata la inconsistenza) e in alcuni paesi i ricercatori che pubblicano in queste riviste cosiddette “top” ricevono dei bonus extra.

Una delle conseguenze di questa fiducia nel numero è lo sviluppo dei paper mills.

Uno degli effetti perversi di questo conteggio acritico delle citazioni (o delle pubblicazioni) è che quando un articolo viene ritirato la rivista in cui è stato pubblicato continua a mantenere le citazioni e gli indici che ne derivano (come l’impact factor), mentre il CV del ricercatore che ha una pubblicazione oggetto di retraction risulta irrimediabilmente compromesso. Per questo motivo le retraction che dovrebbero essere l’indice di un sistema efficace di autocorrezione della scienza

are “slow, opaque and inconsistent”when they happen at all

Anche gli editori rispondono in maniera adattiva alla enfasi posta sui numeri

Publishers respond to demand by creating an astronomical number of “special issues,” and paper mills target those vulnerable issues. More and more junk is published, drowning out the better science in a sea of noisy nonsense

Nonostante le cautele rispetto al valore delle citazioni siano aumentate nelle comunità scientifiche

Any approach to solving this problem cannot succeed without tackling the incentives themselves. A good place to start is by deflating the importance of citations in the promotion, funding, and hiring of scientists.

Qualche segno di assunzione di responsabilità lo vediamo ad esempio nel ritiro di alcune prestigiose università US dal ranking US News, dal ritiro di alcune università europee dai maggiori ranking internazionali, dalla creazione di COARA.

If we want science with impact, we need to reward behaviour that is consistent with good research practices, not impact factors.