E' possibile valutare le università?

Il collega Giorgio mi segnala questo articolo di Andrea Bonaccorsi. Ricordo che Andrea è membro dell'ANVUR, e quindi le sue idee hanno un certo peso.

La misura dei saperi

Nel dibattito aperto dall'ipotesi di abolizione del valore legale del titolo di studio si è fatto cenno alla possibilità che le università italiane siano classificate in categorie di qualità e che dal ranking discendano conseguenze sui laureati. L'idea nasconde uno scarto logico incomprensibile tra dare un voto a un'istituzione e dare un voto a un individuo. Sarebbe come proporre che nelle gare internazionali dei vini si desse un voto prima alla regione di provenienza (quindi il Piemonte o il Bordeaux avrebbero voti migliori in partenza) e dopo alla singola bottiglia. A parte questo errore, il dibattito riapre la questione della possibilità di giungere a una graduatoria (ranking) di entità complesse come le università.
Ellen Hazelkorn ha pubblicato il primo studio sistematico sui ranking delle università. Attualmente esistono circa cinquanta ranking a livello nazionale e almeno dieci a livello mondiale. L'enorme impatto mediatico è abilmente sfruttato dai produttori delle graduatorie, che scandiscono il calendario con la consumata perizia dei migliori uffici di comunicazione, pubblicando i dati a distanza uno dall'altro, per non disturbarsi a vicenda sui media. I ranking hanno un potere di attrazione formidabile, perché sintetizzano in un'unica, semplice misura fenomeni complessi, utilizzando solo informazioni quantitative. Tuttavia i ranking hanno severi limiti metodologici e conseguenze perverse. Sotto il profilo metodologico, utilizzano pochi indicatori, che sono correlati tra di loro. La scelta dei pesi per la costruzione dell'indicatore di sintesi è arbitraria, e inoltre non vengono pubblicati i criteri con cui si effettuano le indagini di opinione di tipo campionario. Di conseguenza essi privilegiano università grandi, antiche e orientate alla ricerca scientifico-tecnologica e medica, sacrificando invece università specialiste, oppure università generaliste di media dimensione o più giovani.
Le graduatorie hanno anche effetti distorcenti per almeno due ragioni. La prima è che inducono i governi a ritenere che obiettivo principale sia salire o entrare nel vertice delle classifiche, tralasciando altre dimensioni della missione delle università, non catturata dai pochi indicatori delle graduatorie. Secondo, le graduatorie non forniscono alcuna indicazione per quelle che si collocano sotto la soglia di visibilità. La lista delle prime cinquanta è relativamente stabile negli anni e anche tra graduatorie diverse, ma appena si scende più in basso la posizione relativa perde ogni significato. Questo costituisce un serio problema per il nostro Paese, nel quale le eccellenze non sono concentrate in poche istituzioni, ma distribuite.
Ciò significa che qualunque quantificazione va rigettata come arbitraria? Questa è l'opinione di Alain Abelhauser, Roland Gori e Marie-Jean Sauret, tre psicanalisti e professori di psicopatologia francesi che hanno dato voce in La folie évaluation ai timori più profondi di una parte della classe accademica. La loro tesi è drastica: la valutazione delle università e della ricerca si iscrive in un programma neoliberale e di estensione del dominio del mercato e del profitto, genera conformismo intellettuale, si basa su metodi di quantificazione che reclamano una obiettività impossibile e quindi mascherano dispositivi di servitù volontaria. In linea di principio, qualunque misurazione è illegittima e qualunque giudizio è autoritario, perché le realtà da valutare sono incommensurabili. Combinando la tradizionale polemica degli psicoanalisti contro gli approcci di psicologia sperimentale con letture tardive di Foucault e Bourdieu (ma anche di Pasolini), gli autori invitano né più né meno alla rivolta contro la valutazione.
Un approccio più sobrio è proposto da due matematici esperti di scelta sociale, che in Majority judgment sviluppano un'idea semplice e potente. Non è vero che la realtà sociale è misurabile esattamente allo stesso modo di quella fisica (e quindi le pretese di obiettività vanno senz'altro messe in discussione). Tuttavia gli individui riescono piuttosto bene a valutare gli oggetti ricorrendo al linguaggio naturale, perché esso fornisce criteri chiari per ordinare gerarchicamente tutte le possibili dimensioni della qualità, siano esse riferibili ai vini, alle gare di tuffi o ai candidati alla presidenza francesi. La sfida principale è quindi sviluppare un linguaggio comune per descrivere verbalmente livelli crescenti di qualità: una volta costruito il linguaggio, si può dimostrare con opportuni teoremi che esistono metodi di aggregazione dei giudizi soggettivi che rendono inattaccabile il risultato finale.
Tra visibilità mediatica, basata su un'illusoria certezza dei numeri, e pretesa di incommensurabilità esiste dunque una terza alternativa, meno roboante, ma per fortuna più robusta.