COARA si pone come la risposta europea (ma non solo) ad una ricerca fortemente influenzata da sistemi di valutazione cosiddetti performance based. Nel corso di questi ultimi 20 anni in molti hanno preso posizione rispetto ad una valutazione della ricerca meramente quantitativa, e a quei nefarious numbers che sono diventati lo scopo dei ricercatori (ce lo dice Goodhart che questo non va affatto bene), favorendo comportamenti non sempre etici. COARA sembra suggerire che migliorando la tecnica della valutazione si potrebbero evitare tutti quei fenomeni di inquinamento e corruzione della scienza causati da oltre 40 anni di valutazione quantitativa creando un sistema più equo e inclusivo. In un recente preprint pubblicato su Arxiv, Alberto Baccini riflette sul perché COARA non rappresenti una vera alternativa ai sistemi di valutazione attuali (in particolare quelli performance based) e ai comportamenti adattivi (spesso non virtuosi) che ne derivano.
Uno dei principi fondanti di COARA (che riprende principi del Manifesto di Leiden e della San Francisco Declaration) è il rifiuto di una valutazione che sia esclusivamente basata su indicatori bibliometrici, soprattutto quando si valutano le persone.
[…]Assessment should rely on qualitative judgement for which peer review is central, supported by responsibly used quantitative indicators where appropriate (dal 1. principio)
Ma la sostituzione degli indicatori bibliometrici con la peer review informata (condotta dai pari) e con delle buone tecniche di valutazione non è sufficiente a garantire la qualità (di reclutamento, progetti o pubblicazioni), né il superamento dei bias che hanno portato a comportamenti adattivi. La visione della scienza di COARA è quella di un sistema produttivo efficiente in cui alla scienza vengono posti specifici obiettivi (dalla politica, da enti sovranazionali o da gruppi di esperti) che devono essere raggiunti per poter ottenere fondi e avanzamenti di carriera.
La alternativa proposta da Baccini è quella della scienza ben ordinata di Kitcher secondo processi a quattro step:
investigation, submission, certification and transmission of knowledge, elaborated in different ways in different societies
In un sistema di scienza ben ordinata in una società democratica non c’è nessuna autorità che può arrogarsi il diritto di decidere l’oggetto di investigazione (cosa che invece COARA dà per scontata).
La sottomissione e la certificazione sono soggette a discussione pubblica (quello che per le pubblicazioni scientifiche è definito il modello publish, review, curate), e questo è un modello ben diverso da quello di COARA che invece prevede semplicemente un cambio della tecnica di valutazione ma nello stesso contesto.
Basandosi sul concetto di scienza ben ordinata come auspicabile, la proposta di Baccini è di limitare fortemente l’uso della valutazione amministrativa (quella che deriva dal New public management) alle sole procedure di reclutamento e di finanziamento dei progetti, lasciando alla discussione pubblica fra gli esperti la certificazione (almeno temporanea) delle ricerche e la definizione dei temi di investigazione.
Le idee e le proposte contenute nell’articolo sono certamente degne di riflessioni da parte del neonato National Chapter di COARA e saranno anche oggetto di discussione nell’incontro di Milano del 22 novembre dal titolo: Ricerca, pubblicazioni carriere e risorse: verso una valutazione responsabile