Com poden encertar les enquestes electorals?

Frederic Udina (Idescat)

Tot just fa dos mesos, el 25 de novembre de 2012, molta gent va quedar molt decebuda amb l’estadística en veure com les enquestes publicades abans de les eleccions s’havien equivocat estrepitosament.

Si aquestes línies tinguessin altres destinataris, la pregunta seria Com pot ser que fallin tant les enquestes electorals?, però m’adreço a lectors que puc suposar una mica endinsats en el tema i puc per tant plantejar-ho directament: com s’ho fan les empreses d’opinió per, habitualment, encertar els resultats electorals unes setmanes abans de les eleccions utilitzant mostres tant petites.

Si mirem enrere veurem que, en la majoria de casos, les enquestes pre-electorals solen encertar força bé el percentatge de vots que obtenen els partits i fins i tot la distribució d’escons. D’acord, de tant en tant hi ha casos de fracassos espectaculars.

La majoria de les enquestes publicades al novembre/desembre passat declaraven una grandària de mostra del voltant de 800 o 1000 individus. Això vol dir que destinaven a cada circumscripció electoral alguns centenars d’entrevistes, posem 300. De moment suposem que la tria aleatòria de 300 votants és possible, que tots saben què votaran el dia D quan els ho preguntem setmanes abans, i suposem també que ens ho diuen sense amagar-se’n. Aquests supòsits són clarament irreals, però deixem per un altra estona aquesta discussió.

Amb aquests supòsits, qualsevol estudiant d’un curs bàsic d’estadística ens dirà que el marge d’error és aproximadament de 1/arrel(300), és a dir aproximadament de +/- 6%. Brutal! Com es pot intentar predir si algun dels partits petits arribarà o no al 3% de vots? (Aquest és el llindar legal per sota del qual no es té dret a entrar en el repartiment d’escons.)

Però a més a més, amb un error del 6% és dificilíssim repartir correctament els escons, sigui la llei d’Hondt o sigui quina sigui la llei que s’utilitzi. Vegem un parell d’exemples per il·lustrar aquesta dificultat.

Image

Aquest gràfic il·lustra el repartiment de 5 escons entre dos partits, situació molt senzilla que a Catalunya no es presenta gairebé mai, però que serveix per veure d’on prové la dificultat. En el gràfic, el segment complet representa el 100% dels vots: a l’esquerra tots els vots serien pel partit vermell (zero escons pel verd i cinc pel vermell) i a la dreta tots pel partit verd (5 a 0 escons). Hi ha sis possibilitats i per això repartim l’interval en sis trossos. La fletxa marca una situació en què el verd té un 34% dels vots i li pertoquen 2 escons, i 3 per al vermell que té el 66%. Però una petita variació a la baixa faria perdre el segon escó als verds i guanyar-lo al vermell. El petit segment horitzontal mostra el marge d’error i visualitza perfectament que per pràcticament qualsevol resultat hi ha incertesa en més o menys un escó per al repartiment.

Una situació més propera als casos reals és la de tres partits competint per 5 escons. La figura següent la il·lustra de manera similar.

Image

Ara els tres partits són el vermell A, el blau B i el verd C. El percentatge de vots de cadascun es dibuixa ara com la distància fins al costat corresponent del triangle. En el cas de la figura, amb percentatges respectius de 31, 36 i 33 per cent, els toquen escons 1, 2 i 2 respectivament. Però si A guanya uns vots a costa de C, li prendria un escó o fins i tot podria passar que A guanyés vots a B i C, sense perdre’n, li cedís un escó a A. I tot això pot passar per uns pocs vots, impossibles de detectar amb un marge d’error tant gran com el que tenim.

Insisteixo, aquesta anàlisi l’hem fet en el cas en què tots els integrants de la mostra es comporten de manera ideal: saben què votaran al cap d’unes setmanes i ens ho diuen. I a la pràctica sabem perfectament que no és el cas, que a la mostra hi ha molts indecisos (vora el 30% el desembre passat), que hi ha gent que no diu la veritat, que n’hi ha que canvien el vot al darrer moment…

I doncs, com s’ho fan per encertar?

Les empreses que publiquen sondejos pre-electorals fan ús de la seva experiència prèvia per definir una sèrie de models, de dades més significatives, de coincidències que els permeten precisar estimacions que només amb les dades del sondeig no podrien fer-ho. Aprofiten que els resultats de les quatre circumscripcions no son realment independents, saben com poden imputar una intenció de vot a un indecís en funció potser de característiques de l’entrevistat, o saben que habitualment aquest partit treu més o potser menys vots a la realitat que en els sondejos pre-electorals. Aplicant aquestes regles poden precisar molt més del que els diuen les dades del sondeig. I, de fet, en la majoria de casos encerten força bé, com podeu comprovar si us entreteniu a repassar la història recent.

Però aquestes regles i models poden fallar estrepitosament quan hi ha situacions de canvi profund. Les eleccions catalanes del proppassat novembre són un exemple espectacular. El nivell de indecisos (i potser de gent que va canviar el vot a darrera hora) va ser molt més gran de l’habitual. I el comportament d’aquests i dels votants en general va ser diferent que en els casos que s’utilitzaven com a precedent. Hagués calgut en aquest cas fer sondejos amb una mostra molt més gran per detectar aquests canvis però, qui podia pagar aquesta despesa extra?

======================================================

Nota tècnica: El gràfic triangular anterior representa en un triangle equilàter tots els resultats possibles de repartir el 100% dels vots entre tres partits. Cada punt del triangle queda associat a una tripleta (a, b, c) on a, b i c són tres nombres positius que sumen 100. Els hexàgons de color que hi pintem són les zones d’assignació d’escons segons la llei d’Hondt. Si el partit verd s’emportés gairebé tots els vots tindríem un punt situat molt amunt del triangle, dintre de l’hexàgon verd pur, tots els escons serien pel verd.

Per explicacions tècniques més detallades podeu consultar els articles següents de Delicado i Udina

Publicat a la revista REIS: http://pascal.upf.edu/papers/sondeosREIS.pdf

Publicat a JRSS, series A: http://pascal.upf.edu/papers/epolls/epolls-6k.pdf

Quant a fudina

Statistician at UPF, currently director of www.idescat.cat
Galeria | Aquesta entrada s'ha publicat en Enquestes electorals i d'opinió i etiquetada amb . Afegiu a les adreces d'interès l'enllaç permanent.

8 respostes a Com poden encertar les enquestes electorals?

  1. Crec que els sondejos electorals generalment han assolit un alt nivell d’expertesa, tret precisament com molt ben dius de les situacions de canvi. Intueixo que en aquestes situacions la clau està en el “no sap/no contesta”, i no tant en la dimensió de la mostra. El ‘savoir faire’ dels sondejos està justament en com passar de les respostes en vot directe a l’estimació de vot (interpretar el vot ocult, el record de vot, les variable d’opinió…). Veig que en el sondeig del CIS a les eleccions del 25-N, amb una mostra de 3.000 persones (!!), el “no sap/no contesta” aplegava un 18% d’enquestats, percentatge que equivaldria a ser el segon partit en intenció de vot, i capaç per tant de capgirar qualsevol sondeig si no s’interpreta correctament.

    • fudina ha dit:

      Estic d’acord amb el què dius, però precisament l’atribució de vot als indecissos és el que es fa normalment utilitzant les dades històriques i és el que falla estrepitosament en moment de canvi. Aquest era el meu missatge: les mostres petites funcionen bé llevat de moments de canvi (fins i tot una mostra de 3.000 no es pot considerar gran en aquest context). En les enquestes de la tardor passada el nivell d’indecissos era altíssim, recordo casos en què passava del 25%. Seria interessant tenir aquí contribucions de tècnics/empreses que fan aquesta feina ens comentin la seva experiència.

  2. lupe ha dit:

    Un dels problemes importants, tal com dieu, és l’atribució dels vots als indecissos. La meva qüestíó és un pel tècnica. Si els indecissos no contesten a una o varies de les questions plantejades ens trobem amb una dada mancant o “missing data”. L’inferència estadística ha tractat aquest problema extensament distingint entre dades mancants completament aleatòries, aleatòries o no ignorables i donant algunes solucions ens els primers dos casos i proposant anàlisis de sensibilitat en el tercer cas. Sabeu si quan s’atribueix un vot a la dada mancant es tenen en compte aquestes metodologies? I de quina manera? Tinc més preguntes però les deixo per un altre moment.

  3. fudina ha dit:

    Bona pregunta! El problema és que molt poc sovint es documenta què es fa amb els indecissos… Ja costa trobar el percentatge d’indecissos o de no resposta i el vot declarat directe, el més freqüent és només publicar el vot estimat, sense detalls del mètode d’estimació. De tota manera, em sembla, la proporció habitual de dades faltants és molt superior al que es considera admisible en la literatura de missing data, i això va ser particularment cert en les enquestes de la tardor 2012.

  4. Retroenllaç: Els sondeigs electorals retratats | e2013

  5. Àngels Pont ha dit:

    Si us interessa, totes les dades de les enquestes que publica El Periódico són públiques. Us adjunto el link on podeu trobar la informació http://www.elperiodico.cat/ca/politica/barometro-gesop.shtml

    • Angels, felicitats per la iniciativa de transparència posant les bases de dades a l’abast del públic general. D’altra banda, seria una gran aportació al bloc si els professionals del sector ens feu cinc cèntims sobre el pas del vot directe a l’estimació de vot, encara que només siguin idees genèriques.

      • Àngels Pont ha dit:

        Hola Josep Antón, per fer l’estimació les variables clau són les que expressen mobilització, la relació entre el record, la intenció i la simpatia i la història electoral de cadascuna de les forces polítiques. Però hi ha altres elements que poden entrar en l’estimació: no hi ha dues eleccions iguals i per tant cal revisar el model i prendre en consideració altres variables que també poden tenir un pes en l’estimació. Per exemple la notorietat dels diferents candidats o les desviacions en el record segons es parli d’una o altra elecció. Per si és del teu interès t’adjunto el link a un text que vaig escriure arrel de les crítiques a l’estimació dels resultats d’un hipotètic referèndum sobre la independència. http://www.gesop.net/ca/bloc/item/104-catalunya-i-la-independ%C3%A8ncia-qu%C3%A8-vol-dir-fer-una-estimaci%C3%B3-de-vot?

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s