Saper misurare

Premessa

Stimolato da un post di Destralab sulla Scuola, vorrei qui fare un discorso generale sul concetto di meritocrazia e di valutazione.

La parola "meritocracy" aveva in origine un senso dispregiativo. Probabilmente dovuto al sospetto delle "classi" meno acculturate nei confronti degli intellettuali, spesso rappresentati con quegli odiosi occhialini e con lo sguardo da snob. Gente con la puzza sotto il naso che si crede chissà che, questi intellettuali!

Adesso, invece, e specialmente in Italia, si assiste alla rinascita del concetto di meritocrazia, come opposto a tutte quelle pratiche scorrette di nepotismo e clientelismo che tanto hanno infestato la società italiana. Come spesso accade, si passa da un eccesso all'altro. C'è gente che sta costruendo un suo secondo successo personale sull'applicazione del concetto di meritocrazia a quasi tutto. E non è una moda solo italiana! La comunità europea stanzia fondi per favorire la pratica del benchmarking, si fanno classifiche, si mettono voti a tutto.

Potere al merito, non ai raccomandati! I "migliori" devono assumere posizioni migliori, perché solo così si entrerà in un circolo virtuoso in cui la nostra società potrà migliorare. Tutto giusto in principio.

La meritocrazia però presuppone una "misurazione oggettiva" del merito di un individuo, e una comparazione tra i "meriti" relativi di più individui, in maniera da fare delle opportune classifiche di merito e decidere chi è il migliore. E non solo individui, ma anche enti, associazioni, istituti, società. Bisogna essere in grado di misurare le performance, ed agire di conseguenza.

Di solito, nei libri e articoli in cui si propugna l'avvento della meritocrazia, si insiste molto sul concetto generale e sul concetto di "misurazione oggettiva", e si sorvola bellamente sul cosa e come misurare. Dettagli tecnici direte. Chiaramente il lettore occasionale non ha voglia di immergersi in lunghe trattati su indici statistici, test di regressione e compagnia varia: è bene lasciare queste cose agli specialisti.

Però lasciatemi dire che la misurazione è forse l'aspetto più delicato di tutta la faccenda. Cominciamo dal citare una famosa massima di Albert Einstein:

Not everything that can be counted counts, and not everything that counts can be counted.

Suona bene, vero? Sì, ci sono certe cose che non si possono proprio misurare. Certi concetti sono così fuzzy che se ne può dare solo una valutazione qualitativa, e quasi mai quantitativa.

Ma facciamo inizialmente l'assunzione semplificativa che le cose "non misurabili" siano poche e poco importanti, e che invece le cose che contano, quelle che ci interessano, possano essere in qualche modo valutate esattamente.

Il modello superfisso

Nel valutare un fenomeno sociale, purtroppo è molto importante capire esattamente cosa misurare, onde evitare di compiere poderose sciocchezze. Infatti, come i nostri amici economisti insegnano, non si può sempre rappresentare il mondo con un "modello superfisso". In praqica, se introduciamo un elemento nuovo in un sistema dinamico, il sistema si modifica in relazione al nuovo elemento introdotto. Più specificatamente: se introduciamo una regola, una legge in un sistema sociale, il sistema si modificherà per effetto di quella legge.

E' un po' come nella meccanica quantistica: l'osservatore interagisce con il fenomeno osservato, e il risultato finale potrebbe non essere quello che ci si aspetta.

La scuola

Facciamo un esempio pratico: supponiamo che vengano introdotti dei "test" di profitto periodici in tutte le scuole italiane per valutare il grado di preparazione degli studenti nelle varie scuole. In base al risultato di questi test, si introdurrà una "classifica" tra le scuole, e una parte (piccola per carità!) dei fondi saranno distribuiti in base ai risultati di questi test. Potremmo anche valutare gli insegnanti basandoci su questo schema, e dare stipendi più alti a quelli che stanno nelle scuole migliori. In questa maniera:

• premiamo i migliori
• miglioriamo il "sistema scuola" nel suo complesso.

Aspettate un minuto. Per il primo punto siamo d'accordo, stiamo premiando i migliori ... nel fare i test. Trascuriamo anche per un attimo le differenze dovute al contesto sociale di partenza, al livello di partenza degli studenti, etc. Ma anche così, siamo sicuri che stiamo migliorando la scuola italiana?

Se fossimo in un modello "superfisso", probabilmente sì. Noi, gli osservatori, potremmo misurare il profitto con dei semplici test (magari a risposta multipla, così si correggono velocemente ed efficientemente) e introdurre un elemento di "feedback" nel sistema che così stimolerà le scuole a migliorare.

Il problema però è che il modello non è superfisso. Se l'obiettivo è riuscire nei test, le scuole dopo un po' cominceranno ad "adattarsi" e a preparare i propri alunni allo scopo di superare i test. Eh sì, il test diventerà parte del sistema: superare i test diventerà il principale obiettivo per la scuola e per gli insegnanti.

A questo punto intuite il pericolo: se superare i test diventa l'obiettivo, è importante che il test sia fatto molto bene, ma proprio bene! Infatti, il test dovrà effettivamente valutare che tutti gli obiettivi formativi siano stati raggiunti. L'obiettivo "superare il test" dovrà coincidere con l'obiettivo "educare una persona". Altrimenti si rischia di favorire alcuni aspetti della formazione a totale discapito degli altri.

Ad esempio, se utilizziamo dei semplici test a risposta multipla di tipo nozionistico, rischiamo di trasformare la scuola italiana in un enorme nozionificio! Ecco che il test non è più un semplice dettaglio tecnico ma diventa essenziale. E poi: siamo sicuri di essere in grado di valutare tutti gli aspetti nella formazione di un ragazzo con dei test? La famosa "maturità" si può valutare oggettivamente?

Altri esempi

I punti principali del problema che ho espresso brevemente nell'esempio si ritrovano in tanti altri casi di applicazione del concetto base della "meritocrazia". Ad esempio, qualche anno fa (ai tempi dell'introduzione del 3+2) a livello ministeriale decisero che gli studenti italiani ci mettevano troppo a laurearsi. "Troppi fuori corso, non ce li possiamo permettere", si disse. E giù articoli di giornali che riportavano statistiche tremende (e vere purtroppo), e commenti e considerazioni sull'Università italiana che ci mette troppo a laureare i nostri ragazzi. "Troppi esami, e inutilmente difficili e nozionistici", si diceva. "E non servono alle nostre aziende".

E allora sembrò naturale premiare le Università che fossero riuscite ad abbassare il tempo medio di laurea e a ridurre il numero dei fuori-corso. Indovinate quale è stato l'effetto? Le Università si sono adattate nella maniera più semplice e diretta: i corsi di laurea si sono semplificati, talvolta fino ad un livello ridicolo, il tempo medio di laurea si è effettivamente abbassato, così come il numero di abbandoni. Io ho più di qualche dubbio che questo sia stato un bene per i ragazzi e per la nostra società. Il modello superfisso aveva colpito ancora.

E sta per colpire anche nella comunità scientifica! Se la performance di un ricercatore viene misurata esclusivamente in base agli indici bibliometrici delle sue pubblicazioni (h-index, impact factor o altro); e se tali indici sono solo una misura indiretta (e molto imprecisa) della qualità scientifica; il ricercatore tenderà a massimizzare gli indici, in certi casi trascurando la qualità scientifica del proprio lavoro! Eppure, molti organismi governativi stanno pensando di dotarsi di procedure di valutazione della ricerca che usano esclusivamente indici bibliometrici.

Conclusione

Io sono d'accordo con i concetti alla base della cosidetta "meritocrazia". E sono pienamente favorevole a un cambio radicale della mentalità italiana verso una maggiore attenzione al merito. Tenete a mente che il vero obiettivo non è il "raggiungimento della meritocrazia", ma il miglioramento della nostra società nel suo complesso. Facciamo un discorso equilibrato e lasciamo a casa le ideologie e i preconcetti. E attenti al modello superfisso!