giovedì 6 agosto 2009

Saper misurare

Premessa

Stimolato da un post di Destralab sulla Scuola, vorrei qui fare un discorso generale sul concetto di meritocrazia e di valutazione.

La parola "meritocracy" aveva in origine un senso dispregiativo. Probabilmente dovuto al sospetto delle "classi" meno acculturate nei confronti degli intellettuali, spesso rappresentati con quegli odiosi occhialini e con lo sguardo da snob. Gente con la puzza sotto il naso che si crede chissà che, questi intellettuali!

Adesso, invece, e specialmente in Italia, si assiste alla rinascita del concetto di meritocrazia, come opposto a tutte quelle pratiche scorrette di nepotismo e clientelismo che tanto hanno infestato la società italiana. Come spesso accade, si passa da un eccesso all'altro. C'è gente che sta costruendo un suo secondo successo personale sull'applicazione del concetto di meritocrazia a quasi tutto. E non è una moda solo italiana! La comunità europea stanzia fondi per favorire la pratica del benchmarking, si fanno classifiche, si mettono voti a tutto.

Potere al merito, non ai raccomandati! I "migliori" devono assumere posizioni migliori, perché solo così si entrerà in un circolo virtuoso in cui la nostra società potrà migliorare. Tutto giusto in principio.

La meritocrazia però presuppone una "misurazione oggettiva" del merito di un individuo, e una comparazione tra i "meriti" relativi di più individui, in maniera da fare delle opportune classifiche di merito e decidere chi è il migliore. E non solo individui, ma anche enti, associazioni, istituti, società. Bisogna essere in grado di misurare le performance, ed agire di conseguenza.

Di solito, nei libri e articoli in cui si propugna l'avvento della meritocrazia, si insiste molto sul concetto generale e sul concetto di "misurazione oggettiva", e si sorvola bellamente sul cosa e come misurare. Dettagli tecnici direte. Chiaramente il lettore occasionale non ha voglia di immergersi in lunghe trattati su indici statistici, test di regressione e compagnia varia: è bene lasciare queste cose agli specialisti.

Però lasciatemi dire che la misurazione è forse l'aspetto più delicato di tutta la faccenda. Cominciamo dal citare una famosa massima di Albert Einstein:
Not everything that can be counted counts, and not everything that counts can be counted.
Suona bene, vero? Sì, ci sono certe cose che non si possono proprio misurare. Certi concetti sono così fuzzy che se ne può dare solo una valutazione qualitativa, e quasi mai quantitativa.

Ma facciamo inizialmente l'assunzione semplificativa che le cose "non misurabili" siano poche e poco importanti, e che invece le cose che contano, quelle che ci interessano, possano essere in qualche modo valutate esattamente.

Il modello superfisso

Nel valutare un fenomeno sociale, purtroppo è molto importante capire esattamente cosa misurare, onde evitare di compiere poderose sciocchezze. Infatti, come i nostri amici economisti insegnano, non si può sempre rappresentare il mondo con un "modello superfisso". In praqica, se introduciamo un elemento nuovo in un sistema dinamico, il sistema si modifica in relazione al nuovo elemento introdotto. Più specificatamente: se introduciamo una regola, una legge in un sistema sociale, il sistema si modificherà per effetto di quella legge.

E' un po' come nella meccanica quantistica: l'osservatore interagisce con il fenomeno osservato, e il risultato finale potrebbe non essere quello che ci si aspetta.

La scuola

Facciamo un esempio pratico: supponiamo che vengano introdotti dei "test" di profitto periodici in tutte le scuole italiane per valutare il grado di preparazione degli studenti nelle varie scuole. In base al risultato di questi test, si introdurrà una "classifica" tra le scuole, e una parte (piccola per carità!) dei fondi saranno distribuiti in base ai risultati di questi test. Potremmo anche valutare gli insegnanti basandoci su questo schema, e dare stipendi più alti a quelli che stanno nelle scuole migliori. In questa maniera:
  • premiamo i migliori
  • miglioriamo il "sistema scuola" nel suo complesso.
Aspettate un minuto. Per il primo punto siamo d'accordo, stiamo premiando i migliori ... nel fare i test. Trascuriamo anche per un attimo le differenze dovute al contesto sociale di partenza, al livello di partenza degli studenti, etc. Ma anche così, siamo sicuri che stiamo migliorando la scuola italiana?

Se fossimo in un modello "superfisso", probabilmente sì. Noi, gli osservatori, potremmo misurare il profitto con dei semplici test (magari a risposta multipla, così si correggono velocemente ed efficientemente) e introdurre un elemento di "feedback" nel sistema che così stimolerà le scuole a migliorare.

Il problema però è che il modello non è superfisso. Se l'obiettivo è riuscire nei test, le scuole dopo un po' cominceranno ad "adattarsi" e a preparare i propri alunni allo scopo di superare i test. Eh sì, il test diventerà parte del sistema: superare i test diventerà il principale obiettivo per la scuola e per gli insegnanti.

A questo punto intuite il pericolo: se superare i test diventa l'obiettivo, è importante che il test sia fatto molto bene, ma proprio bene! Infatti, il test dovrà effettivamente valutare che tutti gli obiettivi formativi siano stati raggiunti. L'obiettivo "superare il test" dovrà coincidere con l'obiettivo "educare una persona". Altrimenti si rischia di favorire alcuni aspetti della formazione a totale discapito degli altri.

Ad esempio, se utilizziamo dei semplici test a risposta multipla di tipo nozionistico, rischiamo di trasformare la scuola italiana in un enorme nozionificio! Ecco che il test non è più un semplice dettaglio tecnico ma diventa essenziale. E poi: siamo sicuri di essere in grado di valutare tutti gli aspetti nella formazione di un ragazzo con dei test? La famosa "maturità" si può valutare oggettivamente?

Altri esempi

I punti principali del problema che ho espresso brevemente nell'esempio si ritrovano in tanti altri casi di applicazione del concetto base della "meritocrazia". Ad esempio, qualche anno fa (ai tempi dell'introduzione del 3+2) a livello ministeriale decisero che gli studenti italiani ci mettevano troppo a laurearsi. "Troppi fuori corso, non ce li possiamo permettere", si disse. E giù articoli di giornali che riportavano statistiche tremende (e vere purtroppo), e commenti e considerazioni sull'Università italiana che ci mette troppo a laureare i nostri ragazzi. "Troppi esami, e inutilmente difficili e nozionistici", si diceva. "E non servono alle nostre aziende".

E allora sembrò naturale premiare le Università che fossero riuscite ad abbassare il tempo medio di laurea e a ridurre il numero dei fuori-corso. Indovinate quale è stato l'effetto? Le Università si sono adattate nella maniera più semplice e diretta: i corsi di laurea si sono semplificati, talvolta fino ad un livello ridicolo, il tempo medio di laurea si è effettivamente abbassato, così come il numero di abbandoni. Io ho più di qualche dubbio che questo sia stato un bene per i ragazzi e per la nostra società. Il modello superfisso aveva colpito ancora.

E sta per colpire anche nella comunità scientifica! Se la performance di un ricercatore viene misurata esclusivamente in base agli indici bibliometrici delle sue pubblicazioni (h-index, impact factor o altro); e se tali indici sono solo una misura indiretta (e molto imprecisa) della qualità scientifica; il ricercatore tenderà a massimizzare gli indici, in certi casi trascurando la qualità scientifica del proprio lavoro! Eppure, molti organismi governativi stanno pensando di dotarsi di procedure di valutazione della ricerca che usano esclusivamente indici bibliometrici.

Conclusione

Io sono d'accordo con i concetti alla base della cosidetta "meritocrazia". E sono pienamente favorevole a un cambio radicale della mentalità italiana verso una maggiore attenzione al merito. Tenete a mente che il vero obiettivo non è il "raggiungimento della meritocrazia", ma il miglioramento della nostra società nel suo complesso. Facciamo un discorso equilibrato e lasciamo a casa le ideologie e i preconcetti. E attenti al modello superfisso!

2 commenti:

  1. E poi ci sarà una nuova metodologia "blended",
    mista, di valutazione, "un mix tra peer review (la valutazione del merito di una produzione affidata a membri della comunità scientifica) e gli indici bibliometrici (quante citazioni un
    lavoro ha nelle bibliografie)". Altro elemento di
    "differenziazione" rispetto al passato, continua Cucurullo sarà lo studio "dell'inserimento internazionale dei lavori dei nostri dipartimenti, ricercatori, università" per vedere chi entra nelle classifiche estere e a che livello. E da questo studio, sostiene Cuccurullo, potrebbero arrivare delle smentite di alcune classifiche in circolazione: "ci sono ranking- spiega (non ultimo quello del Times, ndr)- che non credo siano totalmente affidabili visto il modo in cui vengono raccolti dati e gli errori contenuti nelle banche dati a cui fanno riferimento.

    Questo è sempre Cucurullo (quello incaricato dal ministero di redigere il nuovo regolamento Anvur) linkato tempo fa da me, che sembra non confermare quello che dici a proposito di organismi governativi che stanno pensando di dotarsi di procedure di valutazione della ricerca che usano esclusivamente indici bibliometrici.

    Per quanto riguarda il resto, condivido, nessun modello superfisso, ma nessuna valutazione o scuola "differenziata" nè per il meridione, nè per qualsiasi altra parte del paese. Esiste già, in alcune zone, purtroppo, ed è quella che dovremmo cambiare (senza generalizzare ovvio e senza mettere in discussione l'impegno di molti operatori e l'intelligenza dei ragazzi). Insieme a tanto altro, certo.

    RispondiElimina
  2. Veramente mi riferivo al governo inglese, che pensa di sostituire il RAE con un metodo totalmente bibliometrico, per ridurre i costi (malpensante!). Tutto il mondo è paese, dato che la discussione su queste cose in UK è abbastanza arroventata. Detto questo, aspettiamo che le parole di Cuccurullo si traducano in fatti, però ti anticipo che condividerei un mix di valutazione bibliometrica e peer review. Spero solo che gli diano abbastanza soldi, perché il peer-review costa!

    RispondiElimina

I commenti vengono gestiti tramite Disqus. Siete pregati di autentificarvi prima di commentare.