Peer review

Dato che ho una certa esperienza in materia, stasera vi spiego come funziona il peer review, per lo meno nel campo della Computer Engineering. Così magari rettifichiamo certe leggende che girano al di fuori dell'ambito accademico.

Cominciamo dalle conferenze. Infatti, nel mio campo, moltissime conferenze pubblicano dei "Proceedings", ovvero raccolte di articoli che vengono presentati alla conferenza. Funziona così:

1. Gli organizzatori (di solito un comitato tecnico di una associazione internazionale, ad esempio IEEE/TCRTS), nominano un Program Chair, che è il responsabile del programma scientifico della conferenza.
2. Il Program Chair (PC) invita i membri del Program Committee, in un numero congruo. Queste sono le persone che faranno il referaggio.
   
3. Il PC annuncia un "Call for papers". Gli autori interessati devono inviare il proprio lavoro entro un certo limite di tempo (deadline), di solito almeno cinque-sei mesi prima della conferenza. Ci sono delle precise regole di formattazione del documento, ad esempio, massimo 8 pagine, doppia colonna, carattere 10 pt, eccetera.
4. Una volta ricevuti gli articoli (papers in gergo), vengono distribuiti a membri del program committee, a cui viene dato circa un mese di tempo per effettuare il referaggio. In una conferenza piccola come questa, di solito arrivano all'incirca 100-120 papers. Contando da 20 a 30 membri del comitato, toccano da 12 a 15 papers per revisore. Si fa in modo che ogni paper riceva almeno 3 revisioni, meglio di più. Ovviamente la distribuzione viene fatta in forma "anonima": in questa fase solo il PC sa chi ha ricevuto un certo paper. Su questa fase tornerò successivamente.
   
5. Dopo circa un mese, sperabilmente tutti i revisori hanno completato il loro lavoro. A questo punto, tramite un interfaccia web, tutte le revisioni sono caricate su un database, e il PC fa una primo controllo di consistenza.
   
6. Alcune conferenze prevedono un "meeting" fisico, dove tutti i revisori si incontrano per una giornata per discutere i paper e decidere quali verranno accettati per essere presentati alla conferenza. Dato che questo è piuttosto costoso, in alcuni casi il meeting è solo virtuale, e il PC fa la maggior parte del lavoro. Nelle migliori conferenze, comunque, è importante che la decisione su quali paper accettare sia condivisa da tutto il comitato.
   
7. Nella piccola conferenza di cui prima vengono accettati da 25 a massimo 30 paper. La conferenza dura di solito 3 giorni, e prevedendo una presentazione di 30 per ogni paper, con 25 si riempiono appunto circa 3 giorni. L' acceptance rate è il numero di paper accettati sul totale di paper inviati. Naturlamente, più piccolo è questo rapporto, maggiore è la selettività, e quindi sperabilmente la qualità del programma. Buone conferenze si attestano su non più del 25%. Conferenze "difficili" si attestano sul 10% o anche meno.
8. Gli autori vengono informati della decisione, e gli vengono inviate le revisioni, naturalmente in forma anonima. In caso di accettazione, hanno ancora un paio di settimane per mandare una versione definitiva del paper, correggendo i piccoli errori, e cercando di soddisfare i revisori. Se hanno ricevuto un rifiuto, ciccia, "ritenta sarai più fortunato".
   

La fase 4 è quella più importante, e anche quella su cui si ha la maggiore variabilità. Un revisore potrebbe anche essere un autore di un paper (succede piuttosto frequentemente), oppure un collega di dipartimento. E' chiaro anche che un autore non deve assolutamente sapere chi siano i suoi revisori, nè direttamente, nè indirettamente. E' compito del PC quindi controllare attentamente i possibili conflitti di interesse: non puoi dare un paper da revisionare a una persona che sia in qualche modo collegata agli autori. Nel meeting fisico succede che quando si discute un paper, tutte le persone in conflitto di interesse escono dalla stanza.

In certe conferenze si usa il metodo del double blind review. In tal caso, gli autori non devono indicare i loro nomi sul paper, nè dare indicazioni sulla propria identità (ad esempio riferimenti a propri lavori precedenti, ecc.), cosicché i revisori non sappiano chi siano gli autori. Questa procedura cerca di correggere il problema per il quale certi revisori sono maggiormente benevoli nei confronti di grossi nomi nel settore; oppure nel caso in cui ci siano faide fra gruppi di ricerca.

Io non sono molto favorevole al double blind. E' una seccatura notevole per il PC, e in piccole comunità è quasi impossibile "nascondere" la propria identità ai revisori. In certi casi, i revisori credono erroneamente di aver individuato gli autori, e si fanno influenzare in modo sbagliato. Secondo me ha più svantaggi che vantaggi. Ma è una mia opinione.

Vengono sempre selezionati i paper migliori? ovviamente no. Leggere 10 paper da 10 pagine in un mese è non banale, e spesso si va un po' di fretta e non si può controllare tutto. In certi casi, la qualità delle revisioni è bassa, purtroppo.
Fare una conferenza di buona qualità sta tutto al PC: con la sua autorità deve scegliere bene i membri del comitato, e eventualmente interagire con loro nel caso in cui pensi non sia stato fatto un buon lavoro su un certo paper. In effetti fare il PC è davvero un lavoraccio, piuttosto pesante. Immaginate che bisogna leggersi una buona metà delle revisioni, quando non i paper addirittura, per controllare che tutto vada liscio. E poiché gli autori "vedono" il PC e non i revisori, eventuali lamentazioni vengono tutte rivolte al chair. Quindi, è una cosa da non fare troppo spesso, per non farsi odiare troppo dai propri colleghi! Io l'ho fatto una volta sola, anche se ho partecipato ad innuverevoli committee.

Ah, dimenticavo: tutto aggratis. Nessuno delle persone che ho descritto si intasca un euro per tutto questo. Il lavoro di revisione è volontario e sempre lo resterà. L'unica ricompensa è la "fama" che deriva dall'essere coinvolto nei comitati delle conferenze importanti, una cosa che fa curriculum in ambito accademico.

Naturalmente, una conferenza, se pur soggetta a peer review, vale un epsilon di una buona rivista. Nella prossima puntata vi parlerò del processo di peer review per le riviste.