Quando un risultato è veramente riproducibile?

In un commento apparso su The Lancet Regional Health – Southeast Asia gli autori raccontano le difficoltà incontrate nel riprodurre una ricerca sull’obesità addominale in India, anche quando i dati e il metodo sono liberamente accessibili e disponibili.

Una rappresentazione parziale dei processi, del codice, delle scelte effettuate, risulta insufficiente per coloro che intendono replicare un risultato.

 It is often impossible to reproduce the results without knowing all the steps followed in the analysis, even when a detailed methodology is provided.

Gli autori mettono in rilievo le differenze nei risultati raggiunti nel tentativo di replica dei risultati cercando di trovare una spiegazione e alla fine forniscono tre suggerimenti davvero fondamentali, perché sono ormai in molti a condividere dati e metodi utilizzati, ma garantire la riproducibilità richiede uno sforzo ulteriore nella messa a disposizione della comunità scientifica di tutti i dettagli e di tutti i passi compiuti, perché la scienza sia veramente aperta.

First, the journal needs to articulate policies on research reproducibility while engaging with the authors and readers to incorporate their views. Second, create meaningful incentives for researchers to share their code and data, for example, by inviting reproducibility studies. Third, make code sharing a mandatory requirement for publishing articles using publicly available data.