segunda-feira, outubro 12, 2009

Rescaldo

Bem, you know the drill. Dois critérios: erro 3 (a média dos desvios absolutos entre as estimativas da sondagem - intenções de voto em sondagens pré-eleitorais, simulações de voto em sondagens à boca das urnas - e os resultados eleitorais); e erro 5 (a diferença entre a margem de vitória estimada e a margem de vitória real).

O objectivo é sempre o mesmo: coligir informação que possa ser usada para aprender alguma coisa do ponto de vista das metodologias que melhor medem atitudes políticas. Para isso, considero apenas os concelhos em que houve mais do que uma sondagem (para poder fazer algum tipo de comparação) realizada na última semana (para manter constante um factor que se sabe ser vital, a distância em relação ao acto eleitoral). Mesmo assim, dentro da última semana, há variações de alguns dias no trabalho de campo que podem não ser inconsequentes, mas não vamos agora por aí. O único concelho que excluo é Braga, porque apesar das duas sondagens, há uma que não tem elementos suficientes para se poderem apresentar resultados comparáveis.

Quanto às sondagens pré-eleitorais, aqui vai. A verde, as sondagens com menores discrepâncias entre estimativas de intenções de voto válidas e aqueles que vieram a ser os resultados, dos pontos de vista dos erros 3 e 5 (espero não haver qualquer erro em tantos números, mas se repararem nalgum avisem que será rapidamente corrigido):











O erro 3 mais elevado nas legislativas para qualquer um dos institutos foi 2, e o erro 5 mais elevado foi 2,2. Estas marcas foram ultrapassadas muitas vezes nestas autárquicas, o que confirma o que já sabíamos de eleições anteriores. Mas por outro lado, estamos longe do que se passou nas Europeias mais recentes: houve sempre consenso sobre os vencedores, e os vencedores venceram realmente. E onde não houve consenso - em Faro - não podia haver.

Nas sondagens à boca das urnas, que eu saiba, houve apenas quatro concelhos onde foram feitas mais do que duas sondagens. Não apresento os valores dos intervalos porque, curiosamente, variaram imenso entre os diferentes institutos (maiores na Intercampus, menores na Eurosondagem) e são, assim, pouco informativos. Limito-me a apresentar os pontos centrais:



Há aqui, também, casos de erros - em Matosinhos e Lisboa - maiores que os das legislativas. Mas ao mesmo tempo, duas sondagens à boca das urnas cuja precisão, creio, não voltará a ser repetida tão cedo (duas das que foram feitas no Porto). Mas notem: há nesta "precisão" - e, quem sabe, também em várias "imprecisões" - muito de imponderável. E se olharmos para os quadros, vemos que os mesmos institutos, usando os mesmos métodos e, imagina-se, com várias outras coisas em comum em todas as sondagens que fazem (formação dos inquiridores, formulações de perguntas, ponderações pós-amostrais de resultados, etc, etc, etc) são capazes de ser, ao mesmo tempo, daqueles que apresentam estimativas que mais se aproximaram dos resultados finais nalguns concelhos e, noutros, dos que menos o fizeram. É por isso que nada do que diz respeito a estes assuntos tem uma explicação óbvia. E é por isso que tudo isto é interessante (para nerds como eu e vocês que chegaram até aqui na leitura do post, obviamente).

Interessante, claro, mas com limites. O que isto merecia agora era uma análise mais aprofundada do conjunto das sondagens das autárquicas de 2009 (apesar de serem em muito menor número dos que as de 2005, o que dificultará as coisas). Talvez um dia a faça de novo com o Diogo. Mas não vai ser nem hoje, nem amanhã, nem para a semana. De sondagens, e de eleições, é agora preciso descansar. Até mais logo.

P.S. - Já me esquecia. A Intercampus ontem fez sondagens em 16 (!) concelhos. Não tive tempo para ver em detalhe como lhes correram as coisas nos que não estão tratados neste post, mas espero que bem. Uma vez o CESOP fez 14 e jurámos para nunca mais: é um esforço incrível. Só por isso, os meus parabéns.

6 comentários:

Gabriel Silva disse...

Caro Pedro,
uma questão: no quadro das sondagens á boca das urnas, apresentas, por exemplo, o resultado da eurosondagem como sendo para o ps de 43,3%. E para o psd 39%.

Mas a noticia avançada era de 41,1 a 45,4% para ps e para psd 36,9% a 41,1%. (ou seja uma diferença entre os 9% e o empate)


Fica difícil, para um leigo que simplesmente siga as noticias perceber de onde veem certos dados.
Creio que na divergencia entre o que os técnicos afirma e o que é anunciado pela comunicação estará a sensação de que as coisas não batem certo.

Unknown disse...

Olá Gabriel. O que mostro nos quadros é apenas o ponto central dos intervalos anunciados - ou seja, o resultado que os institutos mediram de facto nas suas amostras e em tornos dos quais os intervalos são estabelecidos. Isto não significa que seja mais correcto ou menos correcto apresentar os resultados com intervalos. Uns resultados são funcionamente equivalentes aos outros. Mas para termos uma medida qualquer da relação entre os resultados da sondagens e das eleições tínhamos de fazer esta operação na mesma. Limitei-me a saltar uma etapa, não mostrando os intervalos (porque, como digo no post, tinham amplitudes diferentes entre institutos sem razão óbvia que consiga discernir).

Outra coisa é se por acaso me terei equivocado nos dados, mas creio que não.

Gabriel Silva disse...

certo Pedro,
mas o que eu quero dizer é que esse valor apresentado nos quadros de nada serve para se percepcionar se as sondagens foram mais ou menos certeiras, na medida em que a a informação (sondagens são info) que passou para os consumidores não foi o ponto médio (que é agora fixado á posteriori) mas o intervalo apresentado publicamente, como no exemplo que dei acima e que se poderia aplicar a todas.

Unknown disse...

OK, percebo. Não concordo contigo na parte do "certeiro" - "certeiro" ou não vê-se nos quadros acima - mas concordo com o certeiro "subjectivo", ou seja, se a percepção que foi criada de que o valor iria ficar dentro dos intervalos se confirma.

Deixa-me explicar um pouco melhor porque tendo a desvalorizar isso. Num certo sentido,acho que isso pode "facilitar" um bocadinho demais a vida às sondagens (com intervalos de 5 ou 6 pontos ficar dentro do intervalo não tem assim tanta importância). E mais relevante: há muitos países em que as sondagens à boca das urnas não dão intervalos, mas sim valores exactos que depois vão sendo actualizados ao longo do tempo (Alemanha, por exemplo). Em Portugal isso já se fez - na SIC, no final dos anos 90, creio que era quando trabalhavam com a SEEDS do Francisco Soares - mas abandonou-se rapidamente quando se percebeu que, para os espectadores, dar um valor inicial e depois actualizar era visto como "falhar", mesmo se esse valor inicial estivesse mais perto dos resultados que os pontos centrais dos intervalos.

Mas entendo o teu ponto e, com tempo, vou tentar reconstituir isso e substituir nos quadros.

Ricardo Rio disse...

Caro Pedro,
Não sendo possível comparar os dados da Eurosondagem e do IPOM, de per si, gostava que analisasse a fiabilidade dos dados da Eurosondagem de agora e, porventura, que os reforçasse com as discrepâncias igualmente verificadas nos trabalhos da mesma empresa para Braga há quatro anos atrás (disponíveis na Marktest).
Pode uma empresa, e só uma, ter um desvio tão evidente e sistemático para o mesmo lado?
Será só erro de amostragem? Ou tem mesmo que haver mecanismos de regulação destes trabalhos que impeçam estes "azares"?

Unknown disse...

Caro Ricardo Rio,

O que posso fazer é recolher e sintetizar a informação disponível, que é esta:

1. A sondagem da Eurosondagem foi conduzida até dia 2 de Outubro, telefonicamente, junto de uma amostra de 530 pessoas. Confrontando os resultados eleitorais com a distribuição das intenções de voto válidas, a média dos desvios absolutos entre uns e outras para a 4 principais listas foi de 2,7. Alta em absoluto, sem dúvida, se comparada com o que se costuma passar em eleições legislativas e presidenciais. Mas habitual à luz do que se costuma passar em eleições autárquicas, como pode inferir da leitura do post e também deste: http://margensdeerro.blogspot.com/2009/10/retrospectiva-e-balanco.html

Do ponto de vista da margem de vitória, as intenções de voto captadas resultaram numa margem que foi 7,3 pontos superior à que se veio a verificar depois. Mais uma vez, valor alto, mas não inusitado à luz do que se passa frequentemente em autárquicas.

2. Em 2005, as diferenças foram maiores (erro 3 de 3,3, erro 5 de 11,4). Este 11,4 é que me parece, de todos, estar no extremo superior da distribuição destes desvios nas autárquicas de 2005. Note, contudo, que no caso do IPOM em 2005, o erro 3 foi de 3,2, para todos os efeitos igual ao da Eurosondagem.

A partir daqui, não posso dizer muito mais. Para um observador externo como eu, dois casos são apenas dois casos, e não chegam para detectar tendências, se bem que eu entenda muito bem que, para quem está envolvido numa eleição, duas eleições são anos e anos de uma vida de trabalho político. Nunca tive actividade política, mas imagino como me sentiria se uma sondagem que me fosse desfavorável desmobilizasse as pessoas que me apoiam, e ainda mais caso os resultados viessem a ser diferentes.

Mas como estou deste lado, a única coisa que sei - e sei bem - é que dois trabalhos, mesmo usando exactamente as mesmas ferramentas metodológicas, com amostras de dimensões iguais, etc, e feito sem manipulações de qualquer espécie, podem num caso resultar em trabalhos cujos resultados se aproximam muito dos resultados eleitorais e noutros pouco. Isso torna especialmente difícil perceber as razões por detrás quer dos "acertos" quer dos "falhanços".

Há quem diga que se deviam utilizar "correcções" às intenções de voto para, na base de resultados passados, aproximar as sondagens dos resultados eleitorais. Eu percebo a ideia. Por exemplo, é muito comum, em Portugal e noutros países, que quando as sondagens mostram uma grande vantagem de um candidato sobre outro, os resultados venham a redundar em diferenças menores. O problema é que nem sempre esse padrão se realiza, e é difícil perceber porquê. Esse padrão, por exemplo, não se verificou no Porto nem em Oeiras nestas eleições. E sem haver uma teoria sólida que nos diga quando, como e porquê, não vejo como se proceder a tais "correcções".

Espero ter sido útil.

Cumprimentos.