In questo post apparso sul blog della LSE gi autori individuano gli effetti della introduzione di una nuova politica editoriale che chiede agli autori di fornire insieme agli articoli tutti i materiali necessari a riprodurne i risultati (codice, script, dati ecc.). La nuova politica sulla condivisione di dati e codice è stata introdotta nella rivista Management Science nel 2019. Gli effetti della politica sono stati studiati in un progetto ad hoc e riportati in un articolo
I risultati della analisi erano prevedibili. Prima della introduzione della politica solo una parte molto piccola delle pubblicazioni è risultata riproducibile (il 7% delle pubblicazioni per cui non erano stati forniti dati e il 55% delle pubblicazioni per cui i dati erano disponibili). Dopo la introduzione della policy il quadro è sensibilmente cambiato, con il 68% degli articoli riproducibili nel caso di dati forniti parzialmente e invece con il 95% di riproducibilità quando tutte informazioni erano state fornite (codice, hardware, software e dati).
Lo studio dimostra come le politiche editoriali siano fondamentali per la credibilità, integrità e trasparenza di quanto viene pubblicato:
Our findings emphasise the critical importance of data and code disclosure policies in academic journals. Such policies seem not only to be associated with a considerably higher rate of reproducibility, but also encourage a culture of openness and integrity in academic publishing. They are essential for producing reliable and trustworthy research, which in turn informs sound decision-making in practice.
Nel post si forniscono anche alcune indicazioni su come una maggiore riproducibilità delle rcerche potrebbe essere garantita:
rendendo disponibili i dati ance quando non possono essere aperti
migliorando i processi di revisione di codice e dati (anche attraverso la creazione di professionalità ad hoc a cui rivolgersi per questa part della peer review).
Il post si conclude con una opportuna distinzione fra riproducibilità (essenziale per l’affidabilità dei risultati) e replicabilità (che non può essere garantita dalla riproducibilità).
However, reproducibility lays the foundations, ensuring validity of reported results and provision of materials that enable replication attempts and robustness checks, thus supporting our aspiration of reliable and credible scientific evidence.
dio dimostra come le politiche editoriali siano fondamentali per la credibilità, integrità e trasparenza di quanto viene pubblicato:
Our findings emphasise the critical importance of data and code disclosure policies in academic journals. Such policies seem not only to be associated with a considerably higher rate of reproducibility, but also encourage a culture of openness and integrity in academic publishing. They are essential for producing reliable and trustworthy research, which in turn informs sound decision-making in practice.
Nel post si forniscono anche alcune indicazioni su come una maggiore riproducibilità delle rcerche potrebbe essere garantita:
rendendo disponibili i dati ance quando non possono essere aperti
migliorando i processi di revisione di codice e dati (anche attraverso la creazione di professionalità ad hoc a cui rivolgersi per questa part della peer review).
Il post si conclude con una opportuna distinzione fra riproducibilità (essenziale per l’affidabilità dei risultati) e replicabilità (che non può essere garantita dalla riproducibilità).
However, reproducibility lays the foundations, ensuring validity of reported results and provision of materials that enable replication attempts and robustness checks, thus supporting our aspiration of reliable and credible scientific evidence.