Valutazione

Tornano i miei post sull'università, una finestra su questo mondo così amato e odiato al tempo stesso. Spero di essere chiaro anche ai non addetti, se non lo fossi vi prego di segnalarmelo e provvederò a correggermi.

E' cominciata, con una certa lentezza, la procedura di valutazione della ricerca delle università italiane, compito portato avanti dall'ANVUR, che nonostante non abbia ancora un presidente, è già operativo nella persona del prof. Franco Cuccurullo. A questo link troverete le sue slides di qualche mese fa a Cagliari. Ve le commenterò brevemente.

Puntate precedenti: la precedente valutazione era triennale, era portata avanti da un organismo chiamato CIVR (qui il sito web), era stata sponsorizzata dalla Moratti. Ora il nuovo organismo si chiama ANVUR, anche se non riesco a trovare la sua pagina web (questa qui non è del ministero), e "l'esercizio di valutazione" si chiama VQR (che dovrebbe stare per Valutazione della qualità della ricerca). Qui il sito con i documenti ufficiali.

Stavolta la valutazione coprirà un periodo di 5 anni, dal 2004 al 2008 compresi, cioè continua dal punto in cui si era fermato il CIVR. Tale valutazione sarà utilizzata allo scopo di distribuire una parte dei fondi statali (il cosidetto FFO) alle università. Le università che risulteranno "migliori" prenderanno più fondi, le peggiori ne prenderanno di meno.

Non ho ancora presente i dettagli specifici di come funzionerà. Quello che so è che ogni ricercatore coinvolto dovrà selezionare almeno 2 prodotti della ricerca dal suo curriculum negli anni dal 2004 al 2008. Ci sono poi una serie di regole per evitare che due ricercatori selezionino lo stesso prodotto a livello di dipartimento o di università. Tutti questi prodotti saranno valutati da esperti esterni, e i risultati saranno utilizzati per assegnare dei punteggi ai dipartimenti, e per esteso alle università. I prodotti possono essere articoli, libri e monografie, brevetti, prototipi.

Da notare l'impresa titanica: si stima che saranno valutati ben 130.000 prodotti. Per comparazione, la scorsa volta ne furono valutati soltanto 17.300, con l'ausilio di 6.600 esperti esterni. Quanti ne serviranno adesso? Non si sa.

Nella seguente figura, trovate il numero di ricercatori per ogni macro-area di ricerca.


Interessante, no? Soprattutto il numero di docenti e ricercatori nelle scienze umanistiche (righe 10 e 11) rispetto, per esempio, alle scienze più propriamente "tecniche". Sinceramente, me ne aspettavo di meno.

E' interessante anche quando Cuccurullo dice (allo slide 8) che per valutare le pubblicazioni, i componenti del "panel" possono adottare singolarmente o in combinazione sia l'analisi delle citazioni (bibliometria), sia il peer-review. Su questo aspetto tornerò su prossimamente, ma mi sembra che l'impostazione da docente di medicina, quale è Cuccurullo, sia evidente in questo senso.

Alla fine (slide 11) verrà effettuata una relazione contenente una valutazione di ciascun dipartimento, evidenziando i ricercatori attivi, quelli parzialmente attivi, e quelli inattivi. Per gli ultimi, non ci sarebbe bisogno di tutto questo sforzo, basterebbe chiedere a Frati (scusate, mi è scappata).

Per l'analisi delle citazioni, si utilizzerà Scopus (in esclusiva) che è uno strumento della Elsevier, se non sbaglio, che purtroppo non copre per niente bene le varie ING-INF (cioè, i settori a me affini, una parte dei quelli alla riga 9 della tabella precedente).

Rimane l'impressione di un lavoro titanico, e credo serviranno ben più dei 18 mesi promessi. Inoltre, rimane da capire chi farà le valutazioni. Si parla di revisori esterni, mah. Nella scorsa valutazione, i revisori erano quasi tutti interni, e per un motivo: non c'era il becco di un quattrino. Come si fa a chiedere a importanti docenti stranieri di fare un bel po' di lavoro per lo stato italiano "gratuitamente"? E quanto mai si dovranno pagare questi stranieri? E soprattutto, quanti ne serviranno?

Azzardo: nella presentazioni Cuccurullo parla di solo 2 valutazioni per prodotto; anche così, fanno 260.000 review. Se ne diamo da fare 50 a testa (50 sono un bel po', altro che, diventerebbe un lavoro a tempo pieno), ne serviranno almeno 5200. Più realisticamente, ne serviranno almeno 10 volte tanto. Dove li troviamo? E soprattutto, come si pagano se non c'è il becco di un quattrino? Il sospetto che finisca a tarallucci e vino è molto alto, come al solito.

Comunque, ci penso e ci torno su (prima o poi).