mercoledì 23 aprile 2014

Frodi scientifiche

Qualche anno fa, alcuni studenti di computer science del MIT hanno scritto per burla un generatore automatico di articoli scientific, chiamato SCIGen.
E' sempre disponibile, eccolo qui se volete divertirvi a generare degli articoli con il vostro nome.

Se avete provato, avrete notato subito che gli articoli prodotti dal programma sono un assoluto non-sense. A uno sguardo superficiale, sembrano articoli veri, ma poi uno legge qualche frase e si mette a ridere. Credo che nessuno nel mondo accademico potrebbe prenderli seriamente.

SCIGen fu scritto per dimostrare che alcune conferenze venivano organizzate al solo scopo di guadagnare soldi, e accettavano qualunque cosa pur di avere più autori. Gli autori usarono il programma per generare un articolo e inviarlo a una conferenza che diceva di utilizzare un sistema di peer-review. Ovvero, 2 o 3 revisori avrebbero letto e valutato l'articolo, che poteva essere quindi accettato (e gli autori sarebbero stati invitati alla conferenza a loro spese) oppure rifiutato. Bene, il loro paper, pieno di frasi completamente non-sense, fu accettato. Gli autori smascherarono e svergognarono dunque gli organizzatori. Trovate tutta la storia sul sito di SCIGen.

La cosa sembrava finita li. Pensai "chissà se, dopo questa figuraccia, gli organizzatori di altre conferenze-vacanze si periteranno di leggersi almeno qualche pagina degli articoli che gli venivano inviati!"

E invece il fenomeno, lungi dal diminuire, è aumentato vertiginosamente. Tanto che recentemente è stato prodotto un programma per analizzare automaticamente una serie di articoli pubblicati in rete da prestigiose catene editoriali (IEEE e Springer tra tutte) e segnalare quelli che potrebbero essere stati generati automaticamente. Ed è saltato fuori di tutto. 

Per esempio, Springer ha ammesso di aver trovato ben 18 articoli generati automaticamente con SCIGen. Ecco un aggiornamento dal sito "retraction watch" su questo caso:
    Those authors of the 18 articles that we have been in contact with have confirmed that their submissions were not intended as a hoax. The intention seems to have been to increase their publication numbers and to increase their standing in their respective disciplines and at their institutions.

    There will always be individuals who try to undermine existing processes in order to benefit personally and, unfortunately, scientific publishing is not immune to fraud. We are taking this issue very seriously, and have implemented the measures below.

    Additional measures taken:

    1. More rigorous minimum requirements have been implemented and will apply to all new conference proceedings projects.

    2. Springer’s editorial processes for conference proceedings are being intensified, and the monitoring of the peer review process of conference proceedings manuscripts accepted for publication will be increased.

    3. An automatic SCIgen detection system is being integrated in Springer’s submission check system, and we will offer this system to our conference proceedings partners, who will be trained in its use.

    We would like to stress that the investigation continues apace, and once it is concluded, a final report will be issued publicly.


Ora, con tutto il rispetto che uno può avere per Springer (*), che vuol dire il punto 3? Possibile che ci sia bisogno di un sistema automatico per decidere se un articolo è stato generato automaticamente? Non basta leggerselo? Non basterebbe semplicemente fare un po' di sana peer-review? Non basterebbe mettere in black-list gli organizzatori che non fanno il loro lavoro di peer-review seriamente? È possibile che il mondo accademico mondiale sia caduto così in basso?




(*) Molto poco, a dire la verità, almeno da parte mia.

Nessun commento:

Posta un commento

Attenzione: I commenti a vecchi post potrebbero essere moderati