Publish or perish

Da tempo si parla di introdurre meritocrazia nell'Università, attraverso un processo di valutazione delle attività di un docente. Tutti i commentatori sono bravissimi a indicare la necessità di procedere in tal senso, ma nessuno si è ancora azzardato a dire come procedere. Il problema non è affatto semplice, in effetti.

VALUTAZIONE DI UN DOCENTE

La valutazione del docente universitario non è cosa semplice in generale. Un docente viene valutato su tre fattori complementari: produzione scientifica, attività didattica, attività organizzativa. In questo post mi occuperò esclusivamente della produzione scientifica.

VALUTARE LA PRODUTTIVITA' SCIENTIFICA

La produzione scientifica viene di solito misurata sul numero e sulla qualità delle pubblicazioni del docente. Purtroppo non è affatto facile derivare dei criteri di valutazione uniformi. Infatti, mentre per alcuni settori (quelli scientifici) da anni valgono le pubblicazioni in lingua inglese su riviste internazionali sottoposte a procedure di peer review, in altri settori, come quelli umanistici, le "pubblicazioni" sono cose molto più sfumate e poco controllabili. A parte alcuni eccessi (un collega di ingegneria mi faceva notare con orrore come ad un concorso per un posto di associato ad architettura la rivista di riferimento era "Casa Bella"), valutare in maniera uniforme per tutti i settori scientifici disciplinari non è affatto possibile.

Anche fra settori scientifici omogenei bisogna procedere con le pinze. Ci sono aree di ricerca in cui si pubblica moltissimo, anche 10 articoli l'anno, e di solito tutti i componenti di un laboratorio mettono la propria firma sull'articolo (ad esempio in medicina). In altri settori più teorici invece, la media è un buon articolo l'anno di solito con un massimo di 3 autori.

Quindi, come fare a sapere se un docente è ha una "buona" produzione scientifica? Bisogna purtroppo introdurre indici diversi per settori diversi. Nella mia Università, abbiamo deciso di introdurre il seguente indice: per ogni settore scientifico disciplinare, assegnamo un punteggio per ogni pubblicazione del docente nell'ultimo anno solare. Per esempio, nel settore di ingegneria assegnamo 2.5 punti per una pubblicazione su rivista ISI, 1 punto per una pubblicazione su conferenza IEEE, e così via. Settori diversi avranno regole e punteggi diversi. Perché la produzione scientifica di un docente sia considerata buona, stabiliamo una soglia minima nel punteggio ocmplessivo. Nel nostro caso, ad esempio, abbiamo stabilito che una buona produzione corrisponde a un punteggio di almeno 3 (ovvero minimo una rivista ISI + una conferenza). Infine, chi non raggiunge la soglia, avrà solo la metà dei fondi di ricerca di ateneo. Sebbene questi fondi siano molto limitati (circa 3000 euro), permettono le attività di base del docente, come rimborso per viaggi a conferenze, acquisto del PC, ecc. Quindi, ottenerne solo la metà non è una cosa simpatica, senza dimenticare il fatto di essere indicato come "quello che non ce l'ha fatta a superare la soglia". Per ora abbiamo valutato come Università che questo meccanismo rappresenta uno stimolo sufficiente. Fra un paio d'anni valuteremo se siamo stati nel giusto: cioè se il meccanismo ci ha aiutato ad aumentare la nostra produzione scientifica.

VALUTAZIONE DELLA CARRIERA

Se si vuole sapere invece come valutare la carriera di un docente, di solito si usano gli indici che misurano l'impatto della ricerca. Si tratta di contare il numero di citazione a un articolo scientifico del docente stesso. Più il lavoro è importante e influenza la comunità scientifica, più spesso verrà citato, e quindi più alto è il numero di citazioni, più importante è il docente. Tale indice non si può evidentemente applicare anno per anno: infatti, perché un lavoro di ricerca venga diffuso e abbia impatto, possono passare diversi anni, a seconda di quanto era "futuristica" la ricerca in oggetto, e comunque mai meno di 2 o 3 anni. Per le pubblicazioni sugli atti di congressi, di solito l'impatto è più immediato, ma anche minore.

Ci sono agenzie specializzate nel fare questo lavoro di raccolta di pubblicazioni e di citazioni. In campo scientifico (medicina, agraria, biologia), ISI Web of Science è una delle più importanti, ma purtroppo l'indice è accessibile solo a pagamento. Per ricerche meno precise, Google Scholar va abbastanza bene, tutto sommato, anche considerando il fatto che è gratis!

Se volete sapere come se la cava un docente che conoscete, potete andare su Google Scholar e scavare un po'. Però non è semplicissimo farlo, l'interfaccia fornita è volutamente scarna. Per accellerare le ricerche, vi consiglio di scaricare e installare questo interessante programmino:

Harzing's Publish or Perish

Seguendo le istruzioni, basta digitare il nome del ricercatore, restringere la ricerca ai campi di interesse (ad esempio Engineering nel mio caso) e voilà, il programma si collega a Google Scholar per tirar fuori tutta una serie di indici di performance noti in letteratura.
Il più importante si chiama h-index (Hirsch Index) ed è definito così:

l'h-index di un ricercatore è pari a k se il ricercatore ha almeno k paper con non meno di k citazioni, e il k+1-esimo ha meno di k citazioni.

Un ricercatore il cui h-index sia pari a 10 significa quindi che ha 10 articoli con almeno 10 citazioni, mentre l'undicesimo ha meno di 10 citazioni.
Chiaramente, più alto è l'h-index, meglio è!
Esistono altri indici simili, e il programma ve li calcola quasi tutti, ma per interpretarli serve uno specialista!

Purtroppo, Google Scholar è tutt'altro che perfetto. Non contiene tutte le pubblicazioni del mondo nel suo database; non elimina le self-citation (ovvero un autore che cita un se stesso), per cui gli indici possono essere un po sovrastimati; è molto poco ferrato nelle pubblicazioni nel campo umanistico, perché contempla soltanto pubblicazioni in lingua inglese, mentre la maggior parte delle pubblicazioni in lettere, scienze politiche, giurisprudenza, filosofia, etc. sono nella lingua dell'autore (a parte alcune notevoli eccezioni!). Infine, i valori assunti dagli indici citati variano fortemente da settore a settore, e quindi ha poco senso usare l'h-index per comparare docenti di settori diversi (purtroppo).

Per cui non si può usare Google Scholar come misura puntuale e precisa della carriera di un docente, e quindi non può essere utilizzato direttamente per fare la classifica in un concorso. Semmai può essere usato per dare una valutazione approssimata, valida ad esempio per fare la prima scrematura tra i candidati. Ma poi è sempre necessario andare a valutare i contributi nello specifico, leggendo gli articoli e valutandoli, e magari questa seconda operazione può essere fatta su un numero ridotto di candidati.

E per i settori umanistici? Beh, mi sembra che il secondo approccio sia difficilmente evitabile, a meno che non si intenda costruire una valida infrastruttura a livello nazionale per catalogare le pubblicazioni in ogni area, in modo da costruire un data-base analogo a Google Scholar. Sinceramente non credo che questo sia fattibile, né a breve né a lungo termine.

CONCLUSIONI

Se si vuole riformare l'Università è assolutamente necessario, anzi indispensabile, utilizzare dei meccanismi di valutazione dell'operato dei docenti. Come ho tentato di mostrarvi (e spero di esserci riuscito), già la sola valutazione della produzione scientifica è compito tutt'altro che semplice, e c'è anche un area di ricerca internazionale che si occupa di trovare i migliori "indici di prestazione", da cui sono usciti gli indici che trovato sul programma citato. E' quindi pura fantasia pensare che tale valutazione possa essere fatta anno per anno a livello ministeriale per fissare gli stipendi dei professori, come invece propongono in molti (che evidentemente non hanno alcuna idea del problema).

In un prossimo post mi occuperò di valutazione a livello di Dipartimento, e quindi di Università. L'obiettivo è quello di una riforma complessiva dell'Università, come ad esempio proposto qui.