Visualizzazione post con etichetta statistica. Mostra tutti i post
Visualizzazione post con etichetta statistica. Mostra tutti i post

martedì 20 maggio 2008

Sondaggi

I sondaggi sono materia molto delicata, usata spesso e volentieri con troppa disinvoltura. Tra tutti le tipologie di sondaggi, quelli elettorali sono a mio parere, i più credibili. Volete sapere perché?

Subito dopo il voto si è discusso dell'ennesimo flop dei sondaggi elettorali nazionali. In particolare, i sondaggi si sono sbagliati più o meno tutti sulla consistenza della sinistra "L'arcobaleno". Il partito veniva sovradimensionato (perfino nei dati di Berlusconi, probabilmente), e i dirigenti di quel partito hanno sottovalutato il pericolo che stavano correndo. Subito dopo il voto, "a caldo", Bertinotti confessava candidamente che non si sarebbe mai aspettato un tale disastro. Non solo, nessuno glielo aveva predetto. I sondaggisti giustificano questo flop incolpando l'alta percentuale di indecisi fino all'ultimo momento, la poca voglia degli intervistati a rispondere seriamente, etc.

In ogni caso, tutti i sondaggi vengono forniti con una "forchetta": si da un valore "probabile", e poi si dice che il valore effettivo sarà di circa 1,5% in più o in meno. Naturalmente, si può sbagliare anche la forchetta! Però, i sondaggi elettorali hanno almeno un pregio: vengono verificati al momento del voto e si può stabilire di quanto hanno sbagliato la previsione. In questo senso, possiamo dire che il sondaggio elettorale è quanto di più vicino si possa avere al procedimento usato nella ricerca scientifica. I sondaggisti fanno delle rilevazioni a campione (misure), applicano un modello statistico, e quindi verificano i risultati del modello. Il problema è particolarmente difficile, i modelli non sono perfetti, di qui la possibilità di errori. Ma il fatto che le previsioni siano verificabili rende tutto il processo particolarmente apprezzabile.

Purtroppo, non tutti i sondaggi hanno lo stesso grado di controllabilità. Lasciamo perdere quelli stupidi che ci propinano ogni giorno nell'ultima parte del Tg2, tutti sanno che si tratta di amenità poco credibili giusto per far passare un po di tempo agli spettatori.

Alcuni sondaggi non controllabili vengono purtroppo presi molto, forse troppo, sul serio. Ad esempio, le rilevazioni dell'Auditel. Si tratta di sondaggi a tutti gli effetti: si osserva un campione ridotto della popolazione, si applicano delle formule statistiche, che tengono conto della tipologia del campione e della composizione della società italiana, si applicano delle opportune correzioni, e si calcola la quantità di persone che in un dato momento del giorno ha guardato un certo programma.

Ho visitato il sito dell'Auditel in cerca di maggiori informazioni. Dappertutto, c'è scritto che la metodologia è chiara e trasparente, equilibrata, indipendente, super partes insomma. Tutto ciò sarebbe garantito dal fatto che il consiglio di amministrazione, il gruppo tecnico, e gran parte dei gruppi di controllo sono composti da rappresentanti delle TV e rapprresentanti delle aziende che spendono in pubblicità. Però la composizione riflette il mercato, cioè i dati auditel. Così RAI e Mediaset hanno lo stesso numero di rappresentanti (4 a testa se non sbaglio), mentre La 7 ne ha solo 1. Potrebbe sorgere il sospetto che si mettano d'accordo, non credete? specie se al governo ci sta il proprietario di Mediaset...

Sul sito ci sono anche un sacco di informazioni inutili. Per esempio, si premurano di dirci che l'apparecchio "meter" è molto sofisticato, addirittura "multiprocessore" (ma che ce frega a noi?).

E però, nonostante tutte queste dichiarazioni di trasparenza, non sono riportate alcune informazioni essenziali. Non viene descritta chiaramente la metodologia. Non ci dicono che tipo di correzioni vengono applicate ai dati. Inoltre, i dati sono a pagamento e propabilmente costano moltissimo. Quindi, non possono essere analizzati da tutti. E chi li compra? ma le TV, naturalmente, e poi le associazione delle aziende che fanno pubblicità (cioè i componenti il consiglio di amministrazione!).

Dal sito è possibile scaricare liberamente solo i dati medi mensili relativi allo scorso Marzo 2008. Ci danno solo le medie, senza forchette. Troppo poco. Capisco che Auditel si finanzi anche vendendo i dati; capisco che Auditel spenda anche dei bei soldini in ricerca. Ma se la metodologia deve essere "trasparente" e "controllabile" da tutti, magari qualche parolina in più potevano metterla.

Vi prego di notare che i dati Auditel non sono verificabili. Chi potrebbe permettersi di andare a intervistare tutti gli italiani per sapere se hanno visto o no il programma di Celentano? Non c'è neanche una società concorrente che fornisca degli altri dati per fare un confronto. Ad esempio, se l'Auditel mi dicesse che, ad esempio, Fabio Fazio ha fatto la scorsa settimana il 20% di share, un'altra società potrebbe dirmi che ha fatto il 18% o il 22%. Dato che per pochi punti percentuali saltano teste e programmi, capite bene che sarebbe molto importante sentire un'altra campana, no?

Insomma, voi vi fidate dei numeri Auditel? Vi sembra che usino un approccio trasparente e "scientifico"? Pensate un attimo: se i sondaggisti elettorali prendono delle cantonate notevoli, nonostante il maggior tempo a disposizione, il campione più grande, e la maggiore semplicità del problema e sono considerati storicamente come inaffidabili; come mai i dati Auditel vengono invece considerati affidabili? (un programma della RAI, TV Talk, ci costruisce su delle notevoli elucubrazioni).

In realtà Auditel è stata attaccata molto spesso su casi specifici. Sul sito dell'Auditel si trova una lista di "favole" (a dire dell'Auditel) che sarebbero servite a montare campagne di stampa per screditare il consorzio e la metodologia. In realtà, qualunque attacco o difesa di questo tipo non ha senso. Stiamo parlando di stime statistiche. Auditel deve dimostrare che che le statistiche che pubblica hanno un senso e che la metodologia che usa può essere utilizzata con successo anche in casi "eccezionali" (come ad esempio per la vicenda del segnale orario in onda per 15 minuti).

Non basta presentare dei numeri e dei grafici per essere credibili.

martedì 11 dicembre 2007

Dr. Watson - II : DNA revenge

Ho letto su Repubblica questa curiosità.

Mi ha colpito e divertito il fatto che proprio James Watson abbia dei geni a comune con le "razze inferiori". Essendo "la Repubblica", come tutti i giornali italiani, alla fin fine un giornaletto, non c'era citazione della fonte della notizia. Così ho perso un po di tempo su google per trovare l'articolo del Times con la notizia, probabilmente nella sua versione originale (quello di Repubblica è praticamente un taglia-e-incolla di questo). Spero vivamente non sia una notizia-patacca.

Mio commento sulla notizia: quello che Watson ha provato con la sua dichiarazione è che l'IQ e l'intelligenza sono cose diverse. Che un premio Nobel faccia affermazioni così prive di senso, è una prova della stupidità delle posizioni razziste.

Nella mia ricerca su google è saltato anche fuori anche questo articolo del NYT sulla discussione accesa seguita alle dichiarazioni di Watson. Sembra che Watson non sia affatto isolato, e che molti lamentino il fatto che non sia possibile discutere liberamente della relazione tra razza e intelligenza per questioni "politiche". Pensando a certi nostri politici "perseguitati", viene da dire che tutto il mondo è paese.

Quello che ho trovato interessante dell'articolo del NYT è che l'autore e i commentatori citati assumono per default che l'IQ misuri l'intelligenza. Naturalmente, non si sa bene cosa sia l'intelligenza, ma guarda un po', sappiamo già misurarla, e pretendiamo di fare statistiche sulla razza, mettendo "neri africani" da una parte e "bianchi" dall'altra. E siccome ci sono delle statistiche buttate sul tavolo della discussione (non si sa quanto valide, nè come siano state ricavate), allora la discussione assume un'aurea di "scientificità".

Tutto questo mi fa davvero tristezza. Crescendo e studiando, avevo dato per assodate certe conquiste dell'umanità. Per esempio, la differenza tra ciò che si può chiamare "scienza" e tutto il resto. Evidentemente mi sono sbagliato di grosso. Potrei citare centinaia di esempi. Mi piace ricordare l'ultima discussione letta in ordine di tempo sul sito de L'estinto.

Ultimo aggiornamento: l'esemplare di "Corvo della nuova Caledonia" mostrato qui è più o meno intelligente di Watson?

mercoledì 10 ottobre 2007

Statistica e politica - 2

Dalla Repubblica:

17:04 Bertinotti: "Su dati lettura sociale non numerica"

Il referendum tra i lavoratori sul Protocollo che ridisegna il welfare "va letto più dal punto di vista sociale che da quello dei numeri". Il presidente della Camera Fausto Bertinotti non vuole commentare i primi dati sul risultato della consultazione, ma ribadisce che quei numeri andranno interpretati.

Bisogna vedere da chi andranno interpretati, e con quale strumento di interpretazione. Ah, la politica italiana...

Politica e statistiche - I

There are three kinds of lies: lies, damned lies and statistics.


Benjamin Disraeli
12/21/1804 - 04/19/1881