Els sondeigs electorals retratats

Pedro Delicado (U. Politècnica de Catalunya)

Al post del dia 4 de febrer de 2013, en aquest mateix bloc, en F. Udina parlava de la dificultat d’encertar els resultats electorals mitjançant un sondeig electoral i en donava algunes raons. També feia esment de que les enquestes electorals publicades abans de les darreres eleccions del 25 de novembre de 2012 al Parlament de Catalunya s’havien equivocat estrepitosament. Aquí mostrarem gràficament quan estrepitoses van ser aquestes equivocacions, amb l’esperança de fer bona aquella frase que diu que una imatge val més que mil dades (o potser no era ben bé així, la frase).

Per tal de veure si els sondeigs publicats a la premsa van fer bé la seva feina o no, els compararem amb els primers de la classe dels sondeigs. I qui són aquests alumnes avantatjats? Quins sondeigs podem prendre com a referència de deures ben fets? Prendrem com a referents els resultats que hauríem obtingut sota condicions ideals en el sentit següent: no hi ha indecisos (tothom a qui preguntem ja té presa la seva decisió, tant pel que fa a si votarà o no, com a l’opció a qui votarà en cas de fer-ho) i ningú menteix. Vaja, uns sondeigs de 10! En efecte: uns sondeigs perfectes. Tan perfectes que només els podrem tenir una vegada hagin passat les eleccions (alguna pega havien de tenir, no?).

La forma de realitzar aquests sondeigs és la següent. Una vegada celebrades les eleccions coneixem les proporcions reals de vots de cada partit a cada circumscripció. Demanem a l’ordinador que simuli una variable aleatòria multinomial que tingui per paràmetres aquestes proporcions. Això ho fem per a cada circumscripció, fent servir mides mostrals similars a les que fan servir els sondeigs publicats. Després apliquem la Llei d’Hondt circumscripció a circumscripció i sumem els escons de cada partit per tenir un parlament estimat. Això ho podrem repetir tantes vegades com vulguem. Aquests sondeigs simulats no ens serviran per predir els resultats de les eleccions, és clar, però si seran útils per calibrar el comportament dels sondeigs reals publicats abans de les eleccions.

Cada sondeig ideal simulat per ordinador dóna com a resultat un possible parlament: un vector de dimensió 7 (el nombre de partits amb possibilitats d’obtenir escons) de nombres naturals que indiquen quants diputats obtindria cada partit si les proporcions finals de vots fossin iguals a les observades al sondeig. Podem simular tants d’aquests sondeigs com vulguem (diguem-ne 2000) i així obtenir un núvol de punts a l’espai de dimensió 7 (de fet aquest punts pertanyen a un subespai de dimensió 6, perquè les seves components sempre sumen 135 escons: són dades composicionals). La variabilitat dins d’aquest núvol de punts es deu només a l’atzar (dos sondeigs simulats són diferents només perquè la mostra de votants triada per l’ordinador per a un sondeig és diferents de la mostra triada per a l’altre).

Ara que ja tenim una bona colla de bons estudiants 7-dimensionals, col·loquem al seu costat els sondeigs reals publicats abans de les eleccions, per veure si aquests desentonen o bé s’assemblen als sondeigs “perfectes”. Com que un sondeig publicat acostuma a donar forquilles d’escons per a cada partit, construïm el poliedre convex de dimensió 7 que conté tots els possibles parlaments compatibles amb les forquilles. És aquest poliedre el que posem al costat dels sondeigs simulats. Per acabar, només ens falta fer una bona foto de tot aquest mon 7-dimensional i mirar-la per saber si els sondeigs reals (poliedres) se semblen o no als sondeigs ideals (núvol de punts). La nostra foto la fem mitjançant Anàlisi de Components Principals sobre el núvol de punts dels sondeigs ideals (amb el permís dels companys de Girona, experts en dades composicionals).

Això és el que hem fet amb les eleccions del 25 de novembre al Parlament de Catalunya i els sondeigs previs. El resultat el podeu veure al següent gràfic, que mostra el pla de les dues primeres components principals.

plano_cp_2012_corregidoLa primera component principal ordena els sondeigs ideals segons si són menys o més favorables a CiU. La segona component els ordena segons si afavoreixen més a la CUP o bé al PSC. Pel que fa als sondeigs publicats a la premsa, el que veiem és que tots estan fora del núvol de punts dels sondeigs ideals i que tots es col·loquen en la direcció d’afavorir CiU (tots atorgaven a CiU al menys 10 escons més dels 50 que finalment van aconseguir). Es pot concloure, doncs, que efectivament els sondeigs es van equivocar molt aquesta vegada.

Però això no ha estat sempre així. Com a prova, us oferim a continuació els gràfics anàlegs corresponents a les eleccions al Parlament de Catalunya dels anys 1999, 2003, 2006 i 2010.

plano_cp_1999_corregidoplano_cp_2003_corregido

plano_cp_2006_corregido

plano_cp_2010_corregido

Es pot observar que els sondeigs publicats els anys 2006 i 2010 són perfectament comparables als sondeigs ideals simulats per ordinador (aquest fet justifica plenament la pregunta que en F. Udina es feia en aquest mateix bloc fa unes setmanes). L’any 1999 hi va haver sondeigs reals que ho van fer bastant bé i d’altres que no tant. La situació l’any 2003 va ser similar a la que s’ha donat el 2012, amb la diferència de que el 2003 va ser el PSC el partit el resultat del qual va ser sobreestimat per tots els sondeigs publicats.

Com a conclusió podem dir que fer sondeigs electorals és una de les tasques més ingrates a les que es pot enfrontar un estadístic. Per una banda aquest és segurament l’únic cas en que els resultats d’una enquesta d’opinió es veuen contrastats amb la realitat pocs dies després d’haver lliurat la feina a aquell que t’ha contractat. I encara pitjor: estàs exposat a que vingui qualsevol professor d’universitat a comparar els teus resultats amb els que s’obtindrien en condicions ideals! Això és com voler comparar els deures d’un estudiant que quan surt de l’escola ha de córrer a la botiga dels pares per ajudar-los fins a les 10 de la nit, amb els que presenten els seus companys que tenen tot el temps del mon per fer-los, una bona biblioteca a casa, connexió a Internet i dos pares amb estudis universitaris i temps per ajudar-los.

Doncs bé: a vegades els fills dels botiguers ho han clavat!

==========================

Per explicacions tècniques més detallades podeu consultar els articles següents d’Udina i Delicado:

Publicat a la revista REIS: http://pascal.upf.edu/papers/sondeosREIS.pdf

Publicat a JRSS, series A: http://pascal.upf.edu/papers/epolls/epolls-6k.pdf

Per a més informació sobre dades composicionals: http://www.compositionaldata.com/

Galeria | Aquesta entrada s'ha publicat en Enquestes electorals i d'opinió i etiquetada amb , . Afegiu a les adreces d'interès l'enllaç permanent.

9 respostes a Els sondeigs electorals retratats

  1. Erik Cobo ha dit:

    És apassionant. Felicitats.
    Puc preguntar si el sondeig blau que destaca negativament és sempre de la mateixa entitat? Vull dir, heu trobat alguna característica que expliqui les divergències? Això que dieu ‘cuina de les no respostes’, o tipus de mostreig, ho pot explicar?
    I també: globalment, tenint en compte els seus marges d’incertesa, encerten? Per exemple, encerten el 95% dels sondejos amb IC95%? Com suposo que no, hi ha alguna manera d’alertar sobre aquesta incertesa addicional?
    Salut i sort, Erik

    • P. Delicado ha dit:

      Els sondeigs de color blau cel no corresponen sempre a la mateixa entitat. Els anys 2006, 2010 i 2012 aquest color correspon a les prediccions fetes pel CIS i el CEO (aquest només el 2012). L’any 2006 el sondeig del CIS està situat al mig del núvol de sondeigs simulats, però això només passa el 2006. En tots els altres 4 casos estudiats, les prediccions del CIS han estat allunyades del núvol de punts de referència, i en molts casos més allunyats que la resta de sondeigs. El mateix es pot dir del sondeig del CEO del 2012 (en eleccions anteriors el CEO no publicava prediccions d’escons). Una possible causa d’aquest comportament diferent (i, per què no dir-ho?, pitjor en molts casos) dels sondeigs realitzats pels organismes oficials segurament podria ser que els procediments que fan servir estan subjectes a protocols més rígids que els que segueixen les empreses demoscòpiques privades. Aquesta major flexibilitat permetria a aquestes últimes incloure a les seves prediccions informació que complementi la estrictament derivada del mostreig. A això ho podem anomenar ‘cuina’ si volem, però les ‘receptes’ d’aquests ‘cuiners’ són secrets molt ben guardats.

    • P. Delicado ha dit:

      Pel que fa a la segona part del comentari de l’Erik Cobo, cal dir que les forquilles de escons que s’acostumen a oferir com a resultats dels sondeigs electorals mai s’indica res semblant a la ‘confiança’ que acompanyen sempre les prediccions en forma d’intervals que donem els estadístics. Quan hem intentat mesurar la ‘confiança’ dels sondeigs publicats hem descobert que aquesta mesura varia moltíssim d’uns sondeigs a uns altres. Una mostra d’això és la diferent grandària que tenen els polígons projectats a un mateix pla de components principals (mireu els gràfics inclosos al post).

  2. josep lluis ha dit:

    Tot i estar d’acord amb l’article de F.Udina, voldria matissar el concepte de canvi profund com causant de l’error de les enquestes, introduiria el matis de canvi profund en el temps, si aquest canvi de tendència s’hagués produït en un temps anterior i estigués consolidat l’augment de la mostra seria suficient per detectar-ho, ara be si és fruit de la campanya sense tenir altres elements és impossible encertar-la.
    En el cas paradigmàtic que ens ocupa, i amb un cas similar de les generals del 11M, varies circumstàncies es concatenen per produir l’error:
    a) Postura radicalitzada de CIU (independència) desorienta a part del seu electorat.
    b) Postura incerta del PSC, desmotivant i perdent par del seu electorat.
    c) Campanya molt mediàtica, augmentant la participació i els indecisos, tant els que ja son tradicionals com els que canvien de vot,.Cal recordar com exemple l’article del Mundo sobre els diners a Suissa de A.Mas i la familia Pujol.
    d) També el repartiment per circumscripcions que beneficiava a CIU quan el rival era el PSC, vot més metropolità, que quan ho és ERC, vot més rural. Cal recordar que amb un millor resultat en números absoluts de vots del PSC va treure 4 diputats menys en eleccions al parlament de catalunya 1999.
    A més a més, recordeu que existeix la norma electoral de no poder publicar enquestes una setmana abans de dia de les eleccions.

    josep lluís lorente

    • fudina ha dit:

      Crec que tots estem d’acord que va haver-hi un canvi important en els mesos anteriors a les eleccions, discutir la natura del canvi entra en àmbits que s’escapen de l’objecte de la meva aportació en aquest bloc d’estadística.

  3. josep maria vegara carrio ha dit:

    Molt interessants tots els treballs penjats.
    Només voldria afegir un breu comentari sobre les enquestes a peu d´urna que es haurien d´encertar molt i això no es produeix sempre.La raó crec està relacionada amb el fet de que les respostes no es donen en un context de confidencialitat doncs la situació de l´enquestat no és d´anonimat. Hi ha paísos en els que això està resolt doncs les respostes a peu d´urna es fan, no contestant una entrevista verbal sino apretant un botonet.
    S´hauria d´avançar en aquesta direcció.

    josep Maria VEGARA CARRIÓ

  4. Eduard ha dit:

    Et felicito per l’anàlisi

    Podríem concloure d’aquest estudi que hi ha hagut manipulació premeditada?

    Si El CIS i el CEO son els que mes s’equivoquen (suposem premeditadament) podria ser que aleshores “estiressin” dels diaris, que malgrat tenir dades bones intenten apropar-se a les “oficials”

    Amb quin ordre es van fer les enquestes? Hi ha alguna correlació entre elles? Podem il·lustrar d’alguna manera l’evolució temporal de l’error comès en les enquestes i veure si una va estirar de les altres?

    Nom: eduard
    Adreça de correu: eduard.vives.ev@gmail.com

    • P. Delicado ha dit:

      Gràcies Eduard pel teu comentari. Jo no crec que hi hagi “manipulació premeditada” per part del CIS ni del CEO i, en qualsevol cas, això no es pot deduir de l’anàlisi que jo presento. Les dates de les enquestes són aproximadament les mateixes per tots els sondeigs excepte els del CIS i CEO que normalment surten 2 o 3 setmanes abans (en alguns del gràfics hi ha indicació de les dates de cada sondeig). Segur que quan es publica un sondeig els responsable de fer-ho miren què han publicat altres prèviament i segur que ho tenen en compte, però és difícil saber fins a quin punt els sondeigs previs condicionen els posteriors. Jo sincerament, com ja vaig dir en una resposta a una altre comentari, crec que el comportament diferent del CIS i CEO es deu a que estan sotmesos a protocols més estrictes que les empreses privades de demoscòpia i això no els permet fer tanta “cuina”. Això, juntament amb la poca qualitat dels sondeigs (mida mostral petita, gran nombre d’indecisos, falta de respostes, data del treball de camp anterior a la campanya electoral, …) fa que sigui difícil fer-ho bé si només vols fer només estadística.

  5. Retroenllaç: El cerca-meses…electorals | El Perfil de la Ciutat

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s