|
UM CONTRIBUTO PARA A LEI DAS SONDAGENS Maria Helena Comes
Centro Lusíada de Estudos de Estatística METOSTATIS - Consultadoria para a Gestao, Lda
1. INTRODUÇÃO Quero começar por agradecer o convite que o Dr. José Garibaldi da Alta Autoridade para a Comunicação Social me fez, para participar neste debate, "Que lei para as sondagens" no âmbito da publicação ou difusão, através da comunicação social, de sondagens e inquéritos de opinião. A minha contribuição será como estaticista, que tem uma larga experiência não só como docente na área da Estatística, quer no sector público, quer no sector privado, mas também, como pessoa que trabalhou alguns anos nas estatísticas oficiais, como chefe do Serviço de Metodologia. No INE, além de definir os métodos, especialmente na área de amostragem, que conduziam à produção da informação estatística tinha também preocupações com a qualidade e representei o INE nos programas DOSES e DOSIS de investigação da Comunidade Europeia. Resolvi sair do INE exactamente porque quero pôr o meu "know-how", não só ao serviço das estatísticas oficiais, mas contribuir também para as estatísticas não oficiais, que na realidade são a rnaioria. Foi nesse sentido, que como Directora do Centro Lusíada de Estudos de Estatística promovi os encontros entre os académicos, as Associações (ESOMAR e APODEMO) e os agentes do sector das sondagens e estudos de mercado.
2. ENQUADRAMENTO DO PROBLEMA A razão da apresentação desta nova lei de sondagens, enquadra-se numa necessidade, sentida não só pela Alta Autoridade para a Comunicação Social, como também por todos aqueles que fazem um trabalho sério no domínio da recolha e divulgação da informação estatística obtida por inquéritos. Aparentemente, fazer inquéritos é muito simples. Parece que basta consrruir umas questões, ir para a rua pô-las aos primeiros indivíduos que nos aparecerem pela frente, contar quantos responderam a cada item de cada questão e calcular percentagens. Qualquer pessoa minimamente alfabetizada pensa que tudo isto é muito simples e portanto pode fazê-lo. Alguns ignoram que existem técnicas específicas para produzir e analisar dados e outros embora saibam da sua existência, parece que preferem ignorá-las. Como resultado, toda a gente faz inquéritos, toda a gente divulga dados e a Comunicação Social, por vezes, ainda tira conclusões que realmente nada têm a haver com a metodologia utilizada para a obtenção desses mesmos dados. A utilização da informação estatística na tomada de decisões que são muito importantes para os cidadãos tem que conduzir, sem dúvida, à elaboração de regras que moralizem este sector.
3. A PROFISSÃO DE ESTATICISTA Embora a Estatística seja muito antiga as sondagens de opinião aparecem somente nos anos 30 deste século. Não é possível saber Estatística sem saber matemática. Não só em Portugal, mas em muitos outros países a Estatística ainda aparece como uma área da Matemática. A Matemática é uma ciência exacta que necessita de um raciocínio simples, mas diferente do das outras ciências. Os matemáticos ainda são considerados seres estranhos que vivem fora da realidade. A maior parte dos cursos superiores de Estatística são vistos como uma licenciatura em Matemática (Aplicada). Assim há poucos alunos que escolham deliberadamente, estas licenciaturas. Por outro lado, actualmente, quase todas as licenciaturas têm Estatística no seu curriculum. Qualquer licenciado sabe rudimentos de Estatística No entanto, se se disser ao cidadão comum, que a nossa profissão é estatístico ou estaticista (no caso de tradução directa do inglês ou do francês), o mais natural é perguntarem-nos o que fazemos. A profissão não é suficientemente conhecida em Portugal. Assistírnos em Portugal a situaç~es em que licenciaturas em deteiminadas áreas não são reconhecidas pelas associações profissionais (Economistas, Arquitectos), isto é, um arquitecto licenciado por determinada universidade não será arquitecto reconhecido pela Ordem dos Arquitectos, se não fizer um exame. Curiosamente, na área da Estatística, ninguém põe a questão se tem ou não capacidade técnica e científica para produzir e analisar dados. Curiosamente, aparecem anúncios na comunicação social a pedir estatistícos, mas a formação de base exigida não é a licenciatura em Estatística mas outra qualquer como Sociologia ou Economia, por exemplo. Possivelmente, uma das razões é o facto de a Estatística estar enquadrada na matemática e o licenciado não ter noções em áreas importantes, como a Economia, a Demografia, a Sociologia. Por outro lado também não há até agora credenciação / certificação da profissão. Esta certificação não é fácil porque já foi tentada nos Estados Unidos através da "American Statistical Association'1 e não teve sucesso (Amstat News, 1993). Assim, não é possível distinguir exactamente, quem deve ou não ser considerado profissional. Quem deve ou não fazer inquéritos de opinião, quem deve fazer sondagens eleitorais? Quem tem capacidade para analisar correctamente os dados?
4. ESTATÍSTICAS OFICIAIS VERSUS ESTATÍSTICAS NÃO OFICIAIS As estatísticas oficiais são regidas pela lei n.0 6/89 de 15 de Abril que regula o Sistema Estatístico Nacional. Até essa data o que importava era publicar muitos números. Não havia propriamente interesse na qualidade, nem no modo com eram divulgados os dados, na Comunicação Social. Actualmente, há urna preocupação com a qualidade da informação produzida, embora se note que a maioria dos profissionais que trabalbam no INE não têm a Estatística, como formação de base. Há um Conselho Superior de Estatística que orienta e coordena o Sistema Estatístico Nacional (SEN), o mesmo não acontece até agora no sector das estatísticas não oficiais. De todo o manancial de informação produzido pelas estatísticas oficiais, parece que, somente os dados do recenseamento e as estimativas da população são utilizadas pelas estatísticas não oficiais. Nas estatísticas oficiais existem bases de sondagem disponíveis, para os inquéritos às empresas, às famílias, aos transportes ou às explorações agrícolas que permitem desenhar amostras probabilísticas para os diversos inquéritos e extrapolar os resultados obtidos para a amostra, para toda a população. Por lei os inquéritos do Sistema Estatístico Nacional são de resposta obrigatória. As empresas de sondagens e estudos de mercado, não têm à sua disposição as bases de sondagem, pelo que os inquéritos são de um modo geral inquéritos feitos por amostragem empírica por quotas. As quotas são calculadas tendo em conta os resultados dos recenseamentos ou então as estimativas da população calculadas pelas estatísticas oficiais. Os inquéritos não são de resposta obrigatória e os resultados não podem ser extrapolados para a população, porque esta é desconhecida.
5. A QUALIDADE DA INFORMAÇÃO ESTATÍSTICA A informação estatística pode ser obtida por vários processos, mas o mais comum é através de inquéritos por amostragem. Um inquérito por amostragem tem várias etapas e em cada uma delas há que ter em conta a qualidade. Desde a definição dos objectivos até à divulgação dos resultados, passando pela definição do universo, pelo dimensionamento da amostra, pelo desenho do questionário, pela qualidade dos entrevistadores, etc. tudo isso contribui para a qualidade da informação estatística a obter. Além dos vários controlos de qualidade das várias etapas, a qualidade da informação aparece associada à sua utilidade e à sua actualidade. Uma das questões essenciais da qualidade da informação estatística prende-se com a divulgação da informação. Muitas vezes o erro de amostragem foi calculado para determinada desagregação das variáveis, mas a divulgação da informação é feita a um nível mais desagregado. Neste caso o erro de amostragem é com certeza superior e é possível que resulte não só da dispersão, mas também do enviesamento dos dados.
6. ALGUNS COMENTÂRIOS À NOVA PROPOSTA DE LEI A nova proposta de lei das sondagens faz referência no seu artigo 1º"...à realização sondagens e aos inquéritos de opinião que sejam publicados ou difundidos na comunicação social e cujo objecto se relacione directa ou indirectamente com a realização de qualquer acto eleitoral...". Embora, sejam realidades diferentes de um mesmo procedimento, parece-me que as sondagens ou inquéritos de opinião que não tenham como objectivo os actos eleitorais também deveriam ser regulados. No caso de serem divulgados na comunicação social são, com certeza do interesse do cidadão e como tal devem ser regulados. Não é muito compreensivel o facto de os inquéritos de opinião não serem realizados com recurso a técnicas de amostragem cientificamente validadas, visto que também estes são do interesse do cidadão em geral e podem ser utilizados nas tomadas de decisão. O artigo 2º refere a credenciação. Embora o ponto 4. remeta para um novo diploma as regras para a credenciação não devem ser fáceis de definir especialmente porque a profissão de estatístico não está ainda suficientemente definida. No artigo 3º não é referido explicitamente o dimensionamento da amostra que é extremamente importante para que o erro associado à informação produzida possa ser controlado. Haveria que arranjar mecanismos para que fosse possível legalmente ter acesso a bases de sondagem que possibilitassem o desenho de amostras probabilisticas. Na impossibilidade de isso acontecer a amostra deve ser empírica mas desenhada de modo a verificar as quotas para as variáveis importantes para a sondagem, como é aliás descrito na alinea a) do artigo 3º Até à data não existe neste sector, uma "amostra-mãe", tal como a que existe nas estatísticas oficiais e que é a base de sondagem de todos os inquéritos junto das famílias. No INE, aquela amostra é constituída pelos alojamentos de 1143 secções estatísticas (conjuntos de 300 alojamentos consecutivos que pertencem à mesma freguesia e que correspondem no recenseamento da população ao trabalho entregue a um agente recenseador). Parece que cada empresa tende a constituir a sua própria "amostra-mãe", mas não há a certeza de que seja representativa da população. A maior parte dessas amostras são constituidas por lares com telefone o que de algum modo invalida a extrapolação dos resultados para a população portuguesa, porque há ainda um número signficativo de lares sem telefone. Embora já haja urna razoável cobertura dos telefones no País, ainda assim há um segmento da população que fica excluída. A hipótese de construção de uma "amostra-mãe" para as empresas de estudos de mercado parece-me que teria cabimento e melhoraria significativamente a qualidade da informação. A ponderação referida na alínea 1) do artigo 7º é essencial para ajustar os dados da amostra à realidade da população que descrevem. Na alinea k) do artigo 7º apenas se exige saber o erro para os resultados globais. No caso de os resultados divulgados não serem os globais, os erros associados podem ser tais que inviabilizam a sua divulgação. A informação divulgada pode não ser fiável. 7. COMENTÁRIO À SONDAGEM REALIZADA PELO EXPRESSO/ EUROEXPANSÃO "AMOR AO TRABALHO" DIVULGADA NO 2º CADERNO (ECONOMIA) DO EXPRESSO DE 1 DE MAIO DE 1999. A ficha técnica divulgada é a seguinte: FICHA TÉCNICA
Esta ficha técnica pode ser analisada sob dois pontos de vista. Por um lado as exigências da novo projecto de lei das sondagens e por outro pelo seu próprio conteúdo. Sob o ponto de vista da novo projecto lei das sondagens deve verificar-se se está de acordo com o artigo 8º alinea a) que por sua vez refere o artigo 7º alineas a), d), e), f), g), h), k), 1), m), n). A alínea a) não está cumprida, identifica as entidades Euroexpansão (responsabilidade) e o EXPRESSO (análise de dados), mas não identifica os técnicos responsáveis. Aparentemente verifica a alínea d) porque identifica o universo: trabalhadores por conta de outrem (3 milhões e 26 mil indivíduos) entre os 18 e os 65 anos (população do Continente). Quanto à alínea e) esta refere a descrição especificada do método e técnicas de amostragem nos termos da alínea a) do número 1 do artigo 3º "A amostra terá de ser representativa do universo a abranger,..." Parece que aqui começa a falhar porque a entrevista foi feita via telefone. Como nem todos os trabalhadores por conta de outrem têm telefone, esta amostra não representa o universo, mas somente os trabalhadores por conta de outrem que tem telefone. Depreende-se, embora isso não seja explícito, que somente foram entrevistados indivíduos com mais de 18 anos. Os trabalhadores com idade entre 16 e 18 anos que são trabalhadores por conta de outrem não constam do universo, logo também não constam da amostra. "... A amostra também deverá reflectir a estrutura sociológica do universo, no que respeita ao sexo, região e grupo etário..." Deduz-se que a repartição indicada para a amostra para estas variáveis é a da população e não só da população com telefone. Assim, na população que trabalha por conta de outrem a proporção de homens e mulheres deve ser de 375 para 225, já que essa é a distribuição na amostra. O mesmo se deve passar para os diferentes grupos etários e para as diferentes regiões. A alinea f) não é cumprida pois não é indicado o método de selecção da amostra. Poderá deduzir-se que é uma amostra empírica por quotas em que a unidade estatística é o individuo. A alinea g) foi cumprida: amostra de 600 individuos repartidos (sem cruzamento de variáveis) por sexo, escalão etário e região. A alínea h) foi cumprida: entrevista via telefone A alínea k) nao foi cumprida especialmente, porque a amostra não é aleatória. A ficha técnica refere que " O erro estatístico da amostra (com intervalo de confiança de 95% ) é de 4%. Isto quer dizer que a amostra total foi dimensionada tendo em conta o erro à priori de 4%, supondo que a frequência com que os acontecimentos aparecem no universo é de cerca de 50%, para um universo qualquer (grande). Essa amostra para ser representativa do universo foi repartida por região, sexo e grupos etários. Essa distribuição não é cruzada; é marginal, isto é, a repartição não foi feita por grupo etário, e por sexo dentro de cada região, mas por sexo, por região e por idade, separadamente. Se as condições em que foi dimensionada a amostra se mantivessem exactamente então esperava-se que o erro máximo à posteriori não seria maior que 4%, Na realidade, por se tratar de uma amostra empírica por quotas, o erro à priori pode parecer suficiente como indicativo do erro, mas para se obter uma estimativa à posteriori do erro poder-se-à considerar esta amostra empírica, como se se tratasse de uma amostra aleatória simples com probabilidades iguais e sem reposição. Pelo texto parece que há apuramentos de resultados que não resultam das questões simples do questionário, mas de cruzamentos. Por exemplo em dada altura do texto no ponto "Férias assiduidade divide os trabalhadores" diz-se: "...O diploma recebe, aliás, um expressivo apoio por parte das empregadas domésticas (80%) profissionais artísticos (75,8%), científicos (67,8%)..." Note-se que a profissão não foi uma variável de repartição da amostra pelo menos tal não consta da ficha técnica). A amostra foi à posteriori corrigida por esta variável? Quantas empregadas domésticas responderam ao inquérito? O número de empregadas domésticas que responderam é representativo do universo das empregadas domésticas para que se possa afirmar que 80% apoiam a lei? A mesma crítica é válida para as outras profissões. Evidentemente que o erro associado a este caso não foi estimado. Mas se tivesse sido pela técnica descrita acima não teriamos um erro de 4% associado a este resultado, mas um erro tal que inviabilizaria a divulgação do resultado. Crítica análoga poderia ser feita para a variável idade, embora esta seja uma variável em que a quota foi considerada. O cruzamento de variáveis conduz a resultados pouco fiáveis. Não foi cumprida a alínea 1), porque não foi indicado na ficha técnica que tivesse havido qualquer ponderação. A alinea m) foi cumprida, são indicadas as datas: 13 a 21 de Abril de 1999. A alinea n) não era aplicável no caso. Note-se que, embora esta ficha técnica pareça bastante completa, alguma da informação divulgada no referido artigo, pode não ter fiabilidade. Assim sendo, as conclusões retiradas podem não ser correctas, corno aliás já foi referido.
8. CERTIFICAÇÃO / CREDENCIAÇÃO Parece ter ficado por resolver a questão da credenciação / certificação. A questão da credenciação de entrevistadores é urna questão que me tem preocupado bastante desde a altura em que me foi dado contactar de perto com os entrevistadores do Sistema Estatístico Nacional. Alguns deles trabalham para o INE há alguns anos, outros são novos. Muitos deles são licenciados. No entanto o facto de não haver uma profissão de entrevistador faz com que estes "embaixadores" das instituições quer do Sistema Estatístico Nacional, quer das empresas de sondagens e estudos de mercado junto da opinião pública, façam um trabalho extremamente importante, depois de ter uma curta formaçao. Se a informação recolhida pelos entrevistadores não fôr correcta, por muito bom que seja o trabalho de gabinete, os resultados obtidos não serão credíveis. Assim, após alguns encontros com o responsável do INE pelo trabalho de campo e uma abordagem do assunto com o presidente da APODEMO, organizei uma hipótese de formação, diferente para a APODEMO e para o SEN e que após concluída credenciaria os entrevistadores, os reentrevistadores e os supervisores (estes dois últimos, unicamente para o SEN). Não digo que credenciar entrevistadores seja tarefa fácil, mas o que será preciso é começar, porque após os primeiros entrevistadores credenciados o processo será como uma "bola de neve" e haverá a garantia da qualidade dos profissionais de campo. Quanto à credenciação dos responsáveis das empresas capazes de levarem a bom termo uma sondagem ou um inquérito de opinião, parece-me uma tarefa mais complicada. Se houvesse a hipótese de credenciar os estaticistas, nesta altura da discussão, não como licenciados em Estatística, mas como pessoas que trabalham bem em Estatística, seja qual fôr a sua formação de base, isso seria simples, mas isso não é assim tão linear. Parece-me mais fácil credenciar por exclusão, isto é, definir quem não deve ser credenciado! Mas mesmo assim parece que se avizinha um trabalho árduo nesta área. Vejamos se em Portugal conseguimos fazer aquilo que a "American Statistical Association" ainda não fez!
9. CONCLUSÕES Segundo o meu ponto de vista é muito importante a existência de uma lei que regulamente as sondagens e inquéritos de opinião, não só aqueles que são divulgados pela Comunicação Social, mas também aqueles que sirvam de base a tomadas de decisão que sejam importantes para o País em geral e para o cidadão em particular. Há que zelar de algum modo pela qualidade da informação estatística. A qualidade é uma preocupação na divulgação das estatísticas da comunidade europeia e consequentemente, vai sendo uma preocupação das estatísticas oficiais nos diversos países. As estatísticas não oficiais são também muito importantes, pelo que a sua qualidade não, deve ser descurada. Não s6 deve existir uma lei de sondagens que contribua para que as estatísticas sejam produzidas com qualidade, mas também quando divulgadas não sejam deturpadas. Deverão, também, ser criados mecanismos de credenciação e devem ser feitas auditorias às empresas ou arranjar outros mecanismos que zelem pelo cumprimento dessa lei..
10. DOCUMENTAÇÃO
|