Segnalo un articolo di Serhii Nazarovetz pubblicato su Research evaluation (Beyond metric reductionism: assessment creep as an emerging risk of research evaluation reform) che pur avendo (a mio parere) grossi limiti (uno per tutti: trascura completamente il fatto che l’uso della bibliometria non ha rappresentato solo una eccessiva semplificazione della valutazione, ma ha creato comportamenti opportunistici come frode scientifica, pubblicazioni strategiche, salami slicing, citation cartels ecc.) ha il (l’unico) pregio di descrivere chiaramente un problema che dovranno affrontare i firmatari di CoARA.

Il valore dell’articolo, non sta tanto nella dimostrazione del fenomeno dell’assessment creep (ipertrofia valutativa) quanto nella sfida che pone al movimento della riforma della valutazione. Viene infatti posto l’accento su una possibile vulnerabilità di molte iniziative CoARA: la tendenza ad ampliare continuamente ciò che viene considerato rilevante senza interrogarsi abbastanza su come i diversi elementi debbano essere integrati in un giudizio coerente.

Molti Action Plan di CoARA introducono nuove dimensioni valutative: open science, citizen science, leadership, mentoring, collaborazione interdisciplinare, impatto sociale, team science, ricerca responsabile, equità e inclusione, attività dedicate alla cura.L’autore osserva che ciascuno di questi criteri è legittimo se considerato singolarmente; il problema nasce quando vengono semplicemente aggiunti uno all’altro. In questo senso, l’articolo suggerisce che alcune organizzazioni potrebbero aver interpretato la riforma come un esercizio di “addizione di criteri” piuttosto che di riprogettazione dei sistemi di valutazione.

L’autore pone una domanda scomoda: quando aumentano le dimensioni valutative, come si può verificare che il giudizio finale sia coerente e non arbitrario? Come si rapportano fra loro le diverse dimensioni? Molti sistemi riformati non forniscono ancora una risposta sufficientemente chiara a queste domande.

Ogni nuovo criterio introdotto dovrebbe essere accompagnato da una chiara teoria del giudizio valutativo. In sostanza cosa conta, perché conta e rispetto a cosa e come interagisce con gli altri criteri.

Il rischio è certamente quello di un accumulo dei criteri. Ma per CoARA se ne può individuare un altro: l’assenza di meccanismi adeguati per controllare il potere discrezionale delle commissioni.

In questa lettura, il problema non è avere troppi criteri, bensì il fatto che criteri sempre più qualitativi possano rendere più difficile individuare favoritismi, conformismo disciplinare o bias istituzionali.

Paradossalmente, il contributo più interessante dell’articolo potrebbe quindi non essere la nozione di assessment creep, ma il richiamo a una questione ancora poco discussa nel dibattito CoARA: come garantire accountability e verificabilità delle decisioni quando il peso delle metriche diminuisce e aumenta quello del giudizio esperto.