Nos últimos dias temos sido bombardeados por pesquisas de intenção de voto, elaboradas por diferentes institutos e os resultados parecem apontar uma única conclusão: não há como prever quem saíra vencedor das eleições no domingo.
É impossível negar o impacto causado por esses instrumentos de agregação de preferência, seja reforçando opiniões, direcionando indecisos ou mesmo causando confusão generalizada por conta de suas metodologias incompreensíveis para a maioria da população. Já no primeiro turno causou certa estranheza (e ótimas piadas sobre a margem de erro!) a diferença entre o que anunciavam as pesquisas e o que verdadeiramente se viu quando a população foi às urnas.
Assim, abro espaço para compartilhar o ótimo texto dos amigos Guilherme Lichand e Raphael Nishimura que juntos decifram os métodos por trás das pesquisas e traçam uma análise crítica de seus resultados. Vale a leitura, afinal, toda ajuda é bem-vinda para o bom exercício democrático!
Ótimo voto a todos brasileiros no domingo!
Pesquisas de intenção de voto e margens de erro
Qual a importância das pesquisas eleitorais? Para os candidatos, os resultados ajudam a entender a efetividade do discurso junto a diferentes estratos do eleitorado e, possivelmente, ajustar esse discurso para angariar mais votos. Com a ausência de mecanismos eficientes de consultas populares representativas no Brasil, não é surpreendente que os candidatos possam aprender sobre as preferências dos cidadãos mesmo a tão pouco tempo do dia da votação. Sendo assim, para os eleitores, esse processo pode permitir uma convergência parcial das propostas para suas preferências. Desde que os compromissos assumidos em campanha tenham alguma credibilidade, as pesquisas representariam, portanto, um canal relevante de agregação de preferências do eleitorado, contribuindo para o melhor funcionamento da nossa democracia.
Em nenhum momento aqui enfatizamos a capacidade de previsão dos resultados nas urnas. Vários fatores podem levar a mudança de comportamento até o dia do pleito, até mesmo porque os candidatos e os eleitores podem reagir aos tais resultados. O ponto é que as pesquisas têm valor em si mesmas, como mais uma engrenagem do processo democrático.
Reconhecida a importância das pesquisas, torna-se fundamental que esse processo de agregação de preferências comunique de forma clara e transparente o grau de incerteza nele contido. Há diversos motivos pelos quais o resultado de uma pesquisa de opinião pode não expressar perfeitamente as preferências do eleitorado. De forma grosseira, podemos classificar esses motivos de duas formas: erros não-amostrais e erros amostrais. Exemplos de erros não-amostrais são: erros de cobertura, quando parte da população não é abrangida por uma pesquisa (como pessoas sem acesso a telefone, em uma pesquisa telefônica); erros de não-resposta, que ocorrem quando indivíduos selecionados na amostra não respondem à pesquisa, por não serem encontrados ou por se recusarem a participar; e erros de mensuração, quando a resposta reportada pelo entrevistado não corresponde com a realidade, pelos mais diversos motivos. Já os erros amostrais ocorrem pelo fato de selecionarmos na amostra de uma pesquisa apenas uma fração da população. Os institutos de pesquisa no Brasil, sob imposição da Lei n° 9.504, de 30 de setembro de 1997, do Tribunal Superior Eleitoral, são obrigados a quantificar e divulgar em suas pesquisas apenas os erros amostrais, sob a forma de uma margem de erro com um determinado nível de confiança.
A ciência estatística permite compreender e controlar tais erros amostrais, de forma a garantir que, sob a ausência de erros não-amostrais, os resultados da pesquisa corresponderão aos da população dentro uma margem de erro, sob um determinado nível de confiança. Um ponto de disparidade entre institutos de pesquisa e estatísticos é que, para o cálculo de tais margens de erro, a teoria estatística predominante nesses tipos de estudo exige um método de amostragem probabilístico, em que todos os indivíduos da população possuam uma probabilidade de serem selecionados conhecida e diferente de zero. No entanto, alegando que tal método é economicamente inviável – uma vez que prolongaria muito o período de coleta da amostra -, os institutos utilizam métodos de amostragem não-probabilísticos – na maioria dos casos, a chamada amostragem por cotas, em que a seleção dos respondentes é deixada a critério dos entrevistadores em determinadas áreas geográficas (muitas vezes selecionadas probabilisticamente) sob restrições de uma quantidade de entrevistas para diferentes estratos demográficos da população.
Para muitos estatísticos, o uso de amostragem não-probabilística não permitiria o cálculo das margens de erro. Outros estatísticos acreditam que, como em outras áreas de aplicação da estatística (e mesmo para lidar com erros não-amostrais em pesquisas), seria possível recorrer a modelos estatísticos para tais cálculos, que exigiriam fazer certas suposições sobre a forma como a amostra foi selecionada. A questão central, portanto, é menos sobre a possibilidade de calcular margens de erro rigorosas para as pesquisas eleitorais, e mais sobre o que, de fato, os institutos fazem para lidar com essa preocupação.
Infelizmente, acreditamos que a forma como os institutos vêm calculando as margens de erros em suas pesquisas não reflete de forma adequada a coleta de seus dados. Do que é de nosso conhecimento, os institutos utilizam para esses cálculos um modelo extremamente simplificado que supõe que os entrevistados tenham sido diretamente selecionados do eleitorado brasileiro aleatoriamente e com mesma probabilidade de seleção. As amostras utilizadas pelos institutos são bem mais complexas do que isso e a margem de erro da pesquisa é afetada pelo processo de seleção. Por exemplo, em muitos levantamentos nacionais, a população é estratificada por estado, e em cada um dos estados é selecionado uma amostra de municípios em um primeiro estágio, seguindo de uma seleção de segmentos geográficos menores, como blocos ou ruas, e então domicílios e indivíduos são selecionados pelos entrevistadores de acordo com critérios demográficos, como sexo, idade e escolaridade. Para refletir minimamente esse processo, o modelo utilizado para o cálculo da margem de erro deveria incorporar essas informações. Isso quer dizer que o problema é ainda mais grave que ignorar o efeito da amostragem por cotas sobre a margem de erro.
O processo de estratificação por características sócio demográficas tende a diminuir a margem de erro, ao permitir que a amostra entrevistada melhor aproxime a distribuição da população. Já o processo de seleção de municípios tende a aumentar a margem de erro, uma vez que parte da variação da intenção de voto é explicada por diferenças entre municípios (um processo chamado de conglomeração). Para ilustrar a importância de incorporar esses elementos explicitamente na análise, computamos o coeficiente que calcula tal efeito de conglomeração para a votação da candidata Dilma Rousseff para os dois turnos da eleição de 2010 e para o primeiro turno da eleição de 2014. Entre as duas eleições, o coeficiente aumentou em mais de 70%, refletindo o maior grau de polarização regional da eleição atual. Para efeito das pesquisas, isso significa que, para o mesmo nível de confiança e número médio de entrevistas por município, seriam necessárias amostras substancialmente maiores em 2014 para obter a mesma margem de erro, comparativamente a 2010.
Na análise abaixo, mostramos o impacto de incorporar a conglomeração da população, decorrente da seleção de municípios – sobre a margem de erro das pesquisas com um método estatístico bastante simples, utilizando a primeira pesquisa do 2° turno do Datafolha (Pesquisa BR-01068/2014) e do IBOPE (Pesquisa BR-01071/2014) registradas no TSE.
Utilizando as informações registradas junto ao TSE e calculando o efeito da conglomeração a partir dos resultados do 1º turno, sumarizamos os resultados encontrados na tabela abaixo (link para material complementar).
A tabela mostra que apesar de ambas as pesquisas reportarem margem de erro de 2%, ambas teriam uma margem de erro próxima a 3% considerando o efeito de conglomeração do plano amostral. Além disso, nossos cálculos indicam que para atingir uma margem de erro de 2%, como pretendida, mantendo-se os mesmos parâmetros das amostras utilizadas pelo DataFolha e IBOPE, eles precisariam de uma amostra 2,7 vezes maior do que aquela necessária caso a amostragem fosse probabilística. Infelizmente, não pudemos calcular o efeito da estratificação em nenhuma das duas pesquisas, pois não consta na metodologia dos estudos uma informação necessária para esse cálculo: a distribuição das entrevistas nos estratos.
Mostramos aqui que a forma como os institutos de pesquisa eleitoral calculam as margens de erro de suas pesquisas podem ser inadequadas e há diversas formas de melhorá-las. Utilizamos um modelo bastante simples que pode ser bem mais aprimorado utilizando-se outras técnicas estatísticas mais complexas. No entanto, para isso, é necessário se ter também mais informações sobre o plano amostral e características da amostra coletada, que a maioria dos institutos não costumam divulgar. Além dessa falta de transparência dos institutos, parte do problema é de responsabilidade do TSE, que não exige explicação sobre a forma como são calculadas as margens de erro, nem qualquer documentação sobre os modelos e suposições utilizadas para computá-las ou sobre outras importantes características da amostra, como a distribuição das entrevistas entre os estratos, necessária para calcular o efeito da estratificação. Por fim, o TSE exige que a margem de erro seja divulgada antes mesmo da pesquisa ser coletada, e não obriga os institutos a atualizarem uma vez concluída a pesquisa, quando se tem posse de mais informações que permitem um cálculo mais adequado.
Em função da importância das pesquisas como mecanismo de agregação de preferências, omitir a verdadeira a margem de erro da pesquisa – assim como os elementos necessários para que terceiros sejam capazes de computá-la com precisão – não apenas comunica incompetência mas, principalmente, prejudica a qualidade da nossa democracia.
Raphael Nishimura ([email protected]) é doutorando em Metodologia de Pesquisa pela universidade de Michigan.
Guilherme Lichand ([email protected]) é doutorando em Economia Política e Governo pela universidade de Harvard e sócio-fundador da MGov Brasil.
