¿Por qué se siguen usando las encuestas políticas?

La pregunta del título puede sólo merecer una respuesta rápida y obvia: Porque se necesita algo de información, y ese tipo de información sólo la pueden entregar las encuestas. Lo cual es válido, pero sigue dejando abierta la pregunta de los usos. En otras palabras, ¿cuanta confianza podemos tener en sus resultados? Y dado ello, ¿qué es lo que se puede hacer con ellas?

Ahora bien, sabemos -puesto que ya hemos tenido una elección relativamente masiva- que las encuestas tienen serios problemas. Demos por ciertas todas las prevenciones que hacían (o podían hacer) de quienes hacían encuestas en ese momento: Que no eran encuestas electorales, que claramente no estaban preguntando por voto de primaria, que la primaria no es la presidencial, que no se podían usar para predecir. Sin embargo, uno podría suponer que al menos debieran haber estado en las principales tendencias.

El caso es que no lo estuvieron. De los principales resultados sólo que Piñera estaría primero, y con distancia importante, era algo que ya estaba en las encuestas. Pero, ¿había alguna encuesta que diera que Ossandón tendría algo menos de la mitad de la votación de Piñera? ¿Existió alguna encuesta que nos dijera que Ossandón obtendría una votación similar a la totalidad del Frente Amplio? Repito: No estoy pidiendo que las encuestas dieran numéricamente cerca de los resultados (no he nombrado ningún porcentaje para el caso), sólo que estuvieran cerca de las principales tendencias.

Elecciones Primarias de Julio y Encuestas 

Candidato Primarias (2 Julio) Adimark (Junio) Cadem (30 Junio) CEP (Abril-Mayo)
Piñera 47,4 57,4 45,8 69,1
Ossandón 21,3 7,4 14,6 15,7
Kast 12,5 5,6 10,4 0,9
Total CHV 81,2 70,4 70,8 85,7
Sánchez 12,7 24,1 22,9 14,0
Mayol 6,1 5,6 6,3 0,3
Total FA 18,8 29,7 29,2 14,3

NOTA: Los porcentajes están calculados en torno a lo que sumaban los cinco candidatos en la primaria, no en relación con la población general, para hacerlos comparables.

Y si en ese caso no estuvieron ni cerca, ¿por qué debiéramos pensar que están cerca ahora? Y nuevamente, no estamos hablando de un tema de puntos más o puntos menos, sino de las grandes tendencias.

Cuando recordamos lo endeble que son las bases metodológicas de varias encuestas. No estará de más recordar que no todas las encuestas de las que se habla y discute cumplen siquiera con representar todo el territorio; lo que no deja de ser relevante cuando la conducta electoral difiere entre los diversos territorios. Pensemos que la encuesta CEP -aunque la más lejana de la votación, y por lo tanto con casi nula presencia de Mayol o Kast (que se levantan más bien posteriormente)- es la que mejor apuntó a la votación de Sánchez. Precisamente el hecho de ser encuesta nacional permite eso, al salir de  espacios donde Sánchez le fue mejor (más urbanos por ejemplo).

Podemos seguir: También podemos recordar que dado que estamos ante voto voluntario se necesitan modelos de predicción de voto, y que no tenemos -hasta donde llega mi conocimiento- estudios que muestren que los modelos pensados y aplicados al respecto efectivamente funcionan en Chile (creo que sólo Mori intentó hacer ello). Al fin y al cabo, en Chile no se usan mucho las encuestas a salida de urna porque esa herramienta, de uso común en tantas partes, tuvo un fracaso estrepitoso cuando se intentó aplicar en Chile.

Es cierto, por otra parte, que no tenemos otras fuentes, y que no queda más que usar la información que se tiene. Lo que se requiere es usarlas con circunspección. Pero, al mismo tiempo, cuando se las usa de ese modo, ¿cuánto es lo que efectivamente aportan? El dato que es claro en todas las encuestas, y que podemos dar por cierto, es que Piñera es el candidato en primer lugar, y a distancia del resto, pero ¿necesitamos las encuestas para saber ello?

La utilidad de las encuestas, al final, depende de la respuesta a esa pregunta. Yo tengo la impresión que para ese tipo de resultado basta con vivir en la sociedad; pero conociendo, al mismo tiempo, la facilidad con que las personas se engañan sobre estos temas, quizás sí -incluso ese tipo de resultado general ya sea lo suficientemente valioso.

NOTA FINAL: Es cierto que esta entrada se podría haber hecho bastantes meses antes, pero en fin, la vida y todo eso no siempre permite escribir cuando uno primero lo había pensado. Sería más adecuado probablemente analizar la última CEP, al menos sería más atingente, pero mejor tarde que nunca supongo.

La dificultad de las encuestas políticas en el año 2017

Las encuestas se encuentran en una situación que es digna de nota: Sabemos que en los últimos años han encontrado grandes dificultades para dar cuenta de la realidad (Brexit, el plebiscito colombiano, no cuento la elección de EE.UU, porque en ese caso las nacionales sí estuvieron cerca de la distribución del voto). Y, al mismo tiempo que todos sabemos eso, seguimos usándolas para calibrar la situación electoral e incluso siguen siendo usadas para la definición de candidatos. A falta de otras fuentes de información, se usan las que se tienen; incluso si todos pensamos que no son buenas.

Lo cual nos lleva a dos puntos. El primero es que entonces el uso de las encuestas es frágil. Basta con que alguien diseñe otra forma de acercarse a la realidad que dé resultados cuantitativos (y la encuesta es una forma, pero no necesariamente la única) y bien podrían dejar de hacerse. La segunda es que, mientras se realicen encuestas, entonces hay que preocuparse de resolver sus problemas.

En el caso chileno en particular hay dos fenómenos relevantes:

(1) El primero es que estamos ante elecciones con votos voluntarios. Hasta donde yo sé, no hay un modelo claro de cómo identificar a votantes probables. Cada quien, creo, lo hace como puede; pero falta un protocolo claro y público de que cosas hay que hacer para identificarlos. Y esta falta claramente afecta la utilidad de las encuestas políticas.

(2) Hay un creciente rechazo a contestar encuestas políticas y preguntas de índole política en encuestas. Y como todo el mundo sabe, una alta tasa de atrición dificulta cualquier operación: El valor de tener altos n baja, la posibilidad de solucionar problemas de sesgo vía ponderación también se vuelve problemático.

Uno podría pensar que estos dos problemas podrían cancelarse entre sí: Que justo la población con mayor propensión a no contestar es la con menor propensión a votar. Y si esto fuera así, entonces ‘sin hacer nada’ las encuestas todavía serían útiles. Ahora bien, eso habría que observarlo.

Lo importante en esta discusión es observar que, con relación a estas encuestas -que no dejan de ser parte importante del uso público de nuestra disciplina. hay bastante investigación metodológica a realizar.

De las encuestas en el contexto actual. O cómo las técnicas siempre dependen de los contextos sociales

Entre todas las sorpresas que para muchos trajo el 2016 ha aparecido una regularidad: El fracaso predictivo de las encuestas. O al menos eso se ha dicho en torno al Brexit, al plebiscito colombiano, también en torno a las encuestas de la municipal, y finalmente también se ha repetido ello con relación a la reciente presidencial en EE.UU. Se podría plantear que dicho fracaso ha sido exagerado: Las encuestas Brexit indicaban un resultado parejo, en el caso de EE.UU las encuestas nacionales predecían que Clinton obtendría más votos que Trump, y así sucedió (estando la diferencia en el margen de error). Sin embargo, serían defensas débiles.

Porque el caso es que a partir de las encuestas se construyeron expectativas, y ello sin falsear los datos. Los agregadores de encuestas, y recordemos que el mero ejercicio de agregar en principio debiera aumentar la precisión, indicaban ciertos resultados. Hay algo entonces más complejo de fondo.

Si nos remitimos a la realidad chilena nos encontramos con una serie de asuntos en la investigación de encuestas que requieren, al menos, un examen. Por un lado, las encuestas cara-a-cara cada día más se encuentran con problemas de tasa de respuesta, y ni el mejor procedimiento de selección garantiza resultados confiables si la tasa de respuesta es baja. Por otro lado, las telefónicas se enfrentan al hecho que cada año disminuyen los hogares con teléfono fijo, y los teléfonos celulares no hay forma de controlar quienes están detrás de los números (i.e la relación entre números y personas nos es 1 a 1). En el caso de las Online, se ha expandido la idea de contar con un pool de entrevistados a partir de los cuales seleccionar (más o menos aleatoriamente), aunque no conozco mucho que la adecuación de dichos pools esté muy garantizada.

En otras palabras, el contexto social de las encuestas ha cambiado, y el mismo procedimiento que años atrás permitía conocer la realidad no lo permite en la actualidad. Un recordatorio sencillo que los métodos y las técnicas no caen del cielo ni son cosas puras, sino que dependen de la realidad que examinan. Y que cuando la realidad se modifica, entonces no queda más que cambiar las formas de acercarse a ella.

¿Cuáles? Existe la tentación de, dada la gran expansión de datos sobre la realidad social, entonces olvidarnos de este extraño asunto de preguntarle a las personas lo que opinan y lo que hacen y remitirnos a lo que realmente hacen. Dos problemas. Uno es relativamente menor -que no todos participan de aquellos instrumentos que generan datos de conducta. Pero eso es cosa de no olvidar ello, pero de esos universos acotados de los cuales pueden hablar efectivamente lo hacen con gran confiabilidad. El segundo es realmente el clave: Porque es fácil olvidar que de la conducta no se pueden derivar opiniones. La idea que la conducta es la preferencia revelada ilumina cosas, a condición de no olvidar lo que no debe olvidarse: Que no siempre aprobamos nuestra conducta, que el nivel de agrado de nuestra selección es variable; que el arrepentirse, que el protegerse de uno mismo, son situaciones reales que tienen consecuencias, y si alguien lo olvidara no estaría de más que revisara Ulises y las Sirenas de Elster.

En el período del cenit de las encuestas, muchas veces ellas parecían ser el paradigma del buen conocimiento. Ahora es claro que no lo son. Será perdonable la esperanza que, aprendiendo de nuestros errores, no caigamos de nuevo en la idea que hay cierta técnica infalible que nos asegura conocer bien el mundo. Aprender del mundo no es algo que se pueda realizar repitiendo recetas, y ella es la primera lección de metodología que un sociólogo debiera aprender.

Mayor seriedad. A propósito de las encuestas CADEM-Plaza Pública.

Desde hace un buen tiempo las encuestas de CADEM Plaza Pública se han transformado en parte de la agenda de medios (son publicadas y usadas). Un tracking semanal de opinión pública tiene su utilidad bien se puede pensar.

Ahora bien, en la sección de metodología -que hay que reconocer CADEM pone al inicio de sus informes, así que nadie puede reclamar que no le dijeron al menos- se dice lo siguiente sobre la muestra (luego de decirnos que usan dos técnicas para producir la información)

Para las entrevistas a través de teléfono fijo el muestreo fue probabilístico, a partir de BBDD con cobertura nacional, propias de CADEM, y dentro del hogar, la selección de los sujetos se hizo por cuotas de sexo, edad y NSE (Alto C1-C2; Medio C3; Bajo D/E).

Para las entrevistas cara a cara en punto fijo con tablet se pre-definieron cuotas para comunas específicas en la Región Metropolitana, Valparaíso y Biobío, además de sexo, edad y GSE (ABC1 y D/E) como complemento al muestreo del teléfono fijo.

Y sobre el tamaño de la muestra:

711 casos. 508 entrevistas fueron aplicadas telefónicamente y 203 entrevistas cara a cara en puntos de afluencia. Margen de error de +/- 3,7 puntos porcentuales al 95% de confianza.

A decir verdad, no funciona. Tiene sentido complementar teléfono fijo (dado el hecho que su cobertura no sólo es baja sino que disminuye, y además no sólo está sesgada por GSE sino además por edad, los hogares más jóvenes tienden a tener menos teléfono fijo). Pero las entrevistas en punto fijo no son un método que permita controlar sesgo alguno, por la simple y sencilla razón que es una técnica que no tiene ningún tipo de control. Siquiera atreverse a poner un margen de error en esas circunstancias es algo inválido.

Se puede plantear que hay excusas: No es posible suponer que un tracking semanal tenga los estándares de otros estudios, que la información que entrega no es tan descabellada. Y si uno está con ánimo magnánimo, incluso podría llegar a escucharlas. Pero sigue siendo cierto que son estudios que no cumplen estándar alguno. Sigue siendo cierto, además, que los estudios de encuestas se usan por las cifras exactas que entregan: No necesitamos un estudio para saber, por ejemplo, que la popularidad del gobierno ha caído; lo que no sabemos, y sería interesante saber, es cuanto -precisamente la razón por la cual se hacen encuestas. Pero el número es lo que no podemos usar de las encuestas CADEM Plaza Pública.

En otras palabras, necesitamos exigir y hacer las cosas con una mínima seriedad.

Comparando Encuestas. CEP (Julio 2014) y UDP (Sept-Oct 2014) en Educación.

Una de las consecuencias positivas de que existan varias encuestas es la posibilidad de comparar sus resultados. Y como el tema de educación se ha tomado buena parte de la agenda pública en los últimos meses, algo de utilidad tendrá el ejercicio de comparar resultados en torno a esas preguntas.

Hace algunos meses atrás el CEP publicó resultados de preguntas de educación que fueron bastante discutidos por sesgados, y que también tratamos en este blog (link aquí y aquí). Recientemente el ICSO de la UDP publicó su encuesta regular de opinión pública, que también trataba el tema. Ahora bien, los resultados de la CEP daban la impresión de un fuerte rechazo a las reformas de educación, mientras que lo que mostraría la encuesta de UDP sería, en principio, lo contrario a ello. ¿Son las impresiones de disparidad ciertas? De serlo, ¿que nos indican sobre las encuestas y sobre lo que se puede interpretar de ellas?

Partamos con los datos generales de cada encuesta (resumidos en la siguiente tabla). En el caso de la CEP se ha mezclado elementos de la pregunta y de la respuesta para poder resumir la información -dado que en ella ambos elementos son significativos. La encuesta UDP, en general, tiene formas simples de respuesta (acuerdo o desacuerdo) con lo que la simple presentación de la pregunta es suficiente.

Ítem Porcentaje
Aprobación a que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos? (CEP Julio) 52
Aprobación los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños siempre y cuando tengan un buen nivel y los padres estén informados (CEP Julio) 49
Aprobación que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio (CEP Julio) 37
Aprobación que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión (CEP Julio) 54
Aprobación que la Educación sea entregada por el Estado solamente, para que todos reciban la misma educación (CEP Julio) 41
Importancia terminar con el lucro en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,94
Importancia terminar con el copago en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,63
Importancia terminar con la selección de estudiantes en educación media, escala 1-7 (UDP Septiembre-Octubre) 5,55
Los colegios particular-subvencionados debieran pasar a ser del Estado (UDP Septiembre-Octubre) 57
No debiera haber colegios particulares pagados, sino que sólo colegios públicos (UDP Septiembre-Octubre) 49
Todas las universidades privadas debieran pasar a ser del Estado (UDP Septiembre-Octubre) 60

Lo primero es que en realidad no hay demasiada diferencia. Las preguntas donde se manifestaba opinión anti-reforma en la CEP no son las que hace el UDP. La pregunta de importancia de la UDP no es una pregunta de adhesión finalmente (‘es muy importante y es muy mala’ no es una respuesta contradictoria). Lo único que ambas preguntan es sobre el tema del rol del Estado y aunque hay diferencias, ambas básicamente dicen lo mismo: Un porcentaje muy alto de la población plantea que el Estado debiera hacerse cargo de toda la educación. Una cifra muy alta para un país que tiene provisión mixta de hace más de un siglo y donde ese tema, de hecho, no está entre lo que las reformas proponen.

¿Qué es lo que pasa?

Por un lado es posible insistir en el tema del sesgo. La comparación entre las preguntas UDP (que son más sencillas) y las CEP (que son más complejas, integran más de una consideración) es, en general, favorable a la UDP. Por lo menos son más simples de interpretar. Sin embargo, como ya hicimos mención en su oportunidad, lo del sesgo no es un tema tan central -el dato de todas formas es usable si se lo interpreta adecuadamente.

Lo que nos gustaría insistir es más bien otra cosa. Una persona tiene sobre un determinado tema múltiples consideraciones (piensa varias cosas). Cuando ellas están alineadas y se refuerzan el efecto de una pregunta es más débil en general (i.e si uno es consistentemente anti-X, no importa como se haga la pregunta uno responderá anti-X). Pero sí estas consideraciones no están tan alineadas, y hay algunas que impelen a pensar de determinada forma y otras que impelen a pensar de otra forma, entonces sí se producen efectos de preguntas (i.e si la pregunta me hace pensar en A, entonces respondo pro-X; si la pregunta me hace pensar en B, entonces respondo anti-X). Ahora bien, no hay pregunta que pueda evitar hacer pensar en alguna consideración y no hay pregunta que pueda hacer pensar en todas las consideraciones (Todo esto resumiendo algunas ideas que están en Tourangeau et al, The Psychology of Survey Response, que es un libro algo viejo -es del 2000- pero creo todavía es interesante y útil).

Pensemos, entonces, en nuestro caso. Podemos decir lo siguiente: Hablar que el Estado se haga cargo de colegios puede hacer pensar en las personas (es una hipótesis pero creo razonable explorarla) en la vieja educación fiscal, que tengo la impresión es relativamente bien vista. Luego, si se me hace pensar en ello, tenderé a estar de acuerdo con cambios ‘estatalizantes’. Hablar sobre copago para mejorar me hace pensar en las razones por las cuales pago ese copago (o me gustaría hacerlo si pudiera) y por lo tanto me hace pensar en oponerse a esos cambios. Lo importante es enfatizar que, si estamos en lo correcto, estas diferencias no son formas de falsear la realidad, corresponden a lo que ocurre en la realidad.

Reflejarían que en relación a la Educación, los chilenos y chilenas tienen múltiples ideas, que todavía no terminan de cristalizar. En otras palabras, que están pensando en ello. Esto puede ser un problema para quienes nos dedicamos a investigar y encuestar dicha opinión, pero no deja de ser algo positivo en términos de deliberación pública.

Las asociaciones de las visiones sobre Educación

La anterior entrada mostraba la existencia de algunas visiones sobre educación (ver aquí) y finalizaba planteando que en una siguiente entrada se analizarían cruces de esas visiones. Bueno, esta es la entrada dedicada a ello.

El análisis de la entrada anterior se estructuraba en dos partes. En primer lugar, se analizaba cada una de las escalas construidas por separado (la escala pro-reforma y la escala anti-reforma). Luego, para disminuir complejidad se realizaron algunas clasificaciones. Seguiremos aquí ese esquema.

Las relaciones de las escalas.

En primer lugar analizaremos las relaciones de las escalas con otras preguntas. Para hacer más compacta la presentación del cruce, los dos cruces paralelos se han mostrado en una sola tabla (i.e el cruce de la escala pro-reforma y el cruce de la escala anti-reforma con la variable en cuestión), y para simplificar la presentación se ha usado sólo una respuesta de la variable en cuestión (la que mejor ilustre la relación en cuestión). Los porcentajes son siempre porcentajes de fila. Cuando la relación es significativa está marcado en negrita.

A igual costo de matrícula y similar distancia, ¿Ud. preferiría una escuela o liceo municipal o un colegio particular subvencionado? (% que responde Escuela o Liceo Municipal)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 25 53
1 31 40
2 29 29
3 44 30
4 60 21
Total 35 35

Si recordamos que la escala pro-reforma cuenta el número de ocasiones en que la persona respondió la la alternativa a favor de la reforma, y que la escala anti-reforma cuenta el número de ocasiones en que la persona respondió la alternativa en contra de ella, podemos decir lo siguiente en relación a la preferencia por liceos municipales. Las personas que tienden a manifestarse a favor de la reforma prefieren más los liceos municipales (60% de quienes respondieron en las 4 ocasiones por la reforma así lo hicieron contra un 25% de quienes no respondieron en ocasión alguna por la reforma). Al mismo tiempo, lo contrario ocurre en la escala anti-reforma (donde pasa de un 53% de preferencia por liceo municipal entre quienes nunca rechazaron a un 21% entre quienes rechazaron siempre la reforma). Las dos relaciones son importantes y además son las esperables: La preferencia por la educación pública está asociada a preferir la reforma.

¿Que su hijo/a vaya a una la escuela básica, liceo municipal o colegio donde los alumnos tengan un nivel socioeconómico parejo y parecido al suyo o que su hijo/a vaya a una escuela básica, liceo municipal o colegio donde los alumnos tengan niveles socioeconómicos distintos

Valor Escala Pro-Reforma (% que responde bien diverso) Escala Anti-Reforma (% que responde parejo)
0 21 57
1 30 59
2 31 63
3 37 64
4 33 70
Total 30 63

Cuando pasamos a la discutida pregunta por segregación nos encontramos también con las direcciones esperadas, y de un carácter relevante. En todo caso, la alternativa que mejor ilustra el carácter de la relación varía entre las escalas: Para la escala pro-reforma es la preferencia por diversidad la más clara: Que pasa de un 21% a un 33% al moverse desde quienes nunca aceptan la reforma a quienes siempre la aceptan. Para la escala anti-reforma es la preferencia por niveles parejos la que mejor muestra (que pasa de un 59% a un 70%). En todo caso, asociación o no, no hay grupo donde exista una preferencia clara por diversidad -el grupo que siempre acepta la reforma sólo tiene esa preferencia en un 33%.

¿Cuál de estas dos afirmaciones se acerca más a lo que ud. piensa? Preferencia por educación sólo entregada por estado o que hayan muchos colegios para que la gente elija (% que prefiere educación sólo estatal)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 21 58
1 35 49
2 40 39
3 56 33
4 73 24
Total 41 41

Una de las afirmaciones más claras donde se puede diferenciar las visiones sobre la educación es en términos de la preferencia por sólo educación estatal o por tener muchos colegios para poder elegir. Aunque no son afirmaciones que estrictamente sean contrarias, si muestran las concepciones que aparecen en la discusión pública de manera muy clara y fuerzan a una elección. Ahora bien, encontramos también que es una pregunta que tiene una relación muy evidente con las escalas: Quienes tienen una alta preferencia por la reforma tienden claramente a elegir educación sólo estatal (71% de quienes siempre respondieron a favor de la reforma eligen sólo educación estatal), mientras quienes rechazan claramente la reforma no eligen esa alternativa (un 24% de quienes siempre rechazan la reforma elige sólo educación estatal). La educación estatal (pública) está asociada a la reforma.

En todas las preguntas sobre educación podemos observar que se dan relaciones relevantes con las escalas, y además en las direcciones esperadas. Lo cual nos da una conclusión sobre la validez de la preguntas: Aunque las preguntas sean sesgadas, muestran una realidad subyacente. Aunque los porcentajes estén sesgados hacia la contra-reforma, las respuestas arman un conjunto coherente. Lo que viene, finalmente, a refrendar la idea que si bien la encuesta es sesgada, es usable (que era el punto de la primera entrada sobre este tema).

 

Ahora bien, para finalizar los cruces sobre educación, y para mostrar ahora que hay cosas no esperables, ¿cuál es la relación entre nuestras escalas y el hecho de tener o no tener hijos en edad escolar?

¿Tiene Ud. hijos en edad escolar, esto es, hijo/s que están actualmente en un establecimiento educacional? (% que responde sí)

Valor Escala Pro-Reforma Escala Anti-Reforma
0 40 35
1 39 37
2 36 34
3 40 43
4 41 48
Total 39 39

Y aquí encontramos que si bien el apoyo a la reforma no se ve afectada por el hecho de tener o no hijos en edad escolar (en todos los niveles de apoyo el porcentaje es cercano al 39% de toda la población); pero el rechazo a la reforma sí está afectado por ello: Un 48% de quienes eligieron la afirmación contra-reforma en todas las preguntas sí tiene hijos contra un 35% de quienes nunca eligieron la afirmación contra-reforma. El tener hijos impacta en rechazar, pero no en el aceptar, la reforma. Esta diferencia nos hace ver, por un lado, la relevancia de haber diferenciado las dos escalas y, por otro lado, que la intensidad del rechazo está más concentrado en ciertos grupos (mientras que la aceptación está más diluida).

Lo anterior -que la escala de aceptación no está asociada, pero sí la de rechazo- sucede en otras ocasiones: Quienes rechazan la reforma tienden a desaprobar más el gobierno de Bachelet, a creer que el país está progresando, que la situación económica del país es buena y muy buena. Lo cual refrenda lo anterior: El rechazo a la reforma no es sólo la inversión de la aceptación, es una actitud distinta, y que está más concentrado en ciertas posiciones e ideas.

 

NOTA: No ponemos en cuadro algunas relaciones que son relativamente ‘evidentes’ y que no tienen, como en el caso de educación, al menos la relevancia de mostrar la validez del constructo: Quienes apoyan la reforma educacional tienden a ser menos de derecha, o ser de estratos más bajos etc.

Las visiones sobre la Educación (o de cómo analizar encuestas intencionadas como la CEP)

Dado que el Centro de Estudios Públicos tuvo a bien liberar la base de datos (aquí el link) y bueno es reconocer dicha práctica, entonces también corresponde revisar los resultados. Ahora bien, que el cuestionario tenga direccionalidad no implica que no se pueda usar, sólo que es necesario tener esa dirección en cuenta (como argüimos en una entrada anterior).

Si nos centramos en las discutidas preguntas sobre educación, y en particular aquellos que dicen relación con la Reforma, se pueden hacer algunas cosas sencillas para comprender las distintas visiones sobre educación. Lo primero es seleccionar las preguntas a usar. Para este análisis usaremos las siguientes:

  1. ¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido?
  2. ¿Qué le parece que los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños?
  3. ¿Está usted de acuerdo o en desacuerdo con que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio?
  4. ¿Está usted de acuerdo o en desacuerdo con que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión?

Con estas preguntas, puedo contar el número de veces en que las personas responden la alternativa que es pro-reforma (no al copago, no al lucro, no a la selección), con ello creo un índice Pro-Reforma. Y puedo además repetir el ejercicio para el número de veces en que las personas responden la alternativa que es anti-reforma (sí al lucro, sí al lucro, sí a la selección) y con ello se crea un índice Anti-Reforma. Esto da dos indices con puntajes de 0 a 4. Como las personas pueden no responder preguntas estos índices no son simples inversiones (i.e es posible tener 0 en un índice y no tener 4 en el otro por ejemplo).

Al analizar los resultados, sabiendo que las preguntas tienen dirección, habrá que darle más peso a la dirección pro-Reforma: Es muy duro a favor de la reforma, por ejemplo, responder siempre a favor de ella. Y es menos duro en contra de la reforma responder siempre en contra de ello. Tomando en cuenta ello agruparemos en el índice pro-reforma a quienes respondieron a favor de ella en 3 o 4 ocasiones (como núcleo duro a favor), a quienes respondieron a favor de ella en 1 o 2 ocasiones (como grupo mixto, que le gustan algunas pero no todas las propuestas), y a quienes respondieron a favor de ella en 0 ocasiones (como  grupo que no esta a favor de la reforma). Al mismo tiempo en el indice anti-reforma agruparemos a quienes respondieron en contra de ella en 0 o 1 ocasiones (como grupo que no la rechaza), a quienes respondieron en contra 2 o 3 ocasiones (como grupo mixto, que rechaza algunas pero no todas las propuestas) y a quienes respondieron en contra 4 ocasiones (como núcleo duro en contra). Al agrupar sistemáticamente en el extremo a favor 2 posiciones pero no hacerlo en el extremo en contra se puede controlar algo el efecto del sesgo de las preguntas.

Los resultados de lo anterior en la siguiente tabla (en las filas cada una de los índices, en las columnas los grupos en cada escala dividido en un lado a favor, un sector mixto y un lado contra la reforma).

Visiones sobre Educación

Índice A favor Reforma Mixto Contra Reforma
Pro-reforma 29,0 48,7 22,3
Anti-reforma 38,7 47,4 14,0

Entonces un 29% de la población se puede caracterizar como núcleo duro a favor de la reforma (responde en 3 o 4 ocasiones a favor de ella), lo que sube a un 39% si se piensa como grupo abierto a la reforma (responde en 0 o 1 ocasiones en contra de ella). El grupo mixto es de un 49% en el índice pro-reforma y de un 47% en el índice anti-reforma. Finalmente, un 14% se puede definir como núcleo duro anti-reforma (responde en 4 ocasiones en contra de ella) y un 22% puede definirse como grupo más bien cerrado a la reforma (responde en 0 ocasiones a favor de ella).

La tabla no sólo nos muestra que hay diversas visiones sobre la reforma (que es un elemento dado) sino que si bien la reforma claramente no tiene mayoría, el núcleo a favor de ella es más importante numéricamente que el núcleo en contra de ella:  La aceptación sistemática (29%) es mayor que el rechazo sistemático (14%) a la reforma. Además podemos también plantear que la apertura (39%) es mayor que el cierre total (22%)

Ahora bien esto es algo de lo cual el análisis univariado de la CEP ya algo daba indicios: la pregunta sobre si prefería sólo educación estatal o muchos colegios para elegir mostraba un 41% a favor de sólo educación estatal que es una afirmación muy dura a favor de cambios, lo cual daba muestra de la fuerza de quienes quieren reformas muy radicales.

Por cierto que, aunque no son idénticas, ambas clasificaciones no les queda más que estar muy asociadas (el V de Cramer es de ,779), y esto nos permite hacer una clasificación combinada:

  1. El núcleo duro pro-reforma (29%): Quienes declaran sistemáticamente estar a favor de ella (y luego sistemáticamente no declaran en contra)
  2. El grupo mixto (42%): Quienes en ambas escalas están con puntajes intermedios.
  3. El núcleo duro anti-reforma (14%): Quienes declaran sistemáticamente estar en contra de ella (y luego sistemáticamente no declaran a favor)
  4. El grupo más bien abierto a la reforma (6%): Que declara intermedio a favor de la reforma pero no declara en contra de ella.
  5. El grupo más bien cerrado a la reforma (5%): Que declara intermedio en contra de la reforma pero no declara a favor de ella
  6. El grupo indeciso (3%): Que no declara a favor reforma ni en contra de ella.

Si quisiera reducirlo todo a 3 grupos (pro, intermedio o anti) entonces quedaríamos en 35% con disposición más bien positiva a la reforma (suma de 1 y 4), 46% intermedio (suma de 2 y 6), y 19% con disposición más bien negativa (suma de 3 y 5). Pero eso sería más bien sobre-simplificar las cosas.

Por supuesto la mitad del interés de hacer estas clasificaciones está en hacer cruces con ellas (para el análisis descriptivo creo que con la comparación de índices ya tiene interés). Dejemos ello para la siguiente entrada.

Del sesgo de la encuesta CEP y de cómo analizar datos sesgados

Que la reciente encuesta CEP (ver aquí resultados) tiene sesgo en sus preguntas, y en particular en las de educación, es tan evidente que en menos de un día desde su presentación ha quedado, en cierta medida, establecido como un hecho.

El sesgo de las preguntas.

Y si alguien quisiera que esa percepción de sesgo se argumentara, bastaría con hacer notar que no es procedente hacer preguntas dónde a una opción se le da en la forma de pregunta una razón para elegirla y a la otra no. Es la forma más obvia de sesgo. Tampoco corresponde, en general, hacer preguntas cuyas alternativas no cubren todas las posibles respuestas.

Dados esos lineamientos generales preguntas y alternativas como las siguientes claramente no resultan preguntas aceptables (para decirlo de forma clara: son el tipo de preguntas que si las presentara un alumno en un curso de metodología harían que su trabajo fuera reprobado)

¿Qué le parece que los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños? Alternativas:

  1. Le parece mal que se obtengan ganancias y debiera estar prohibido por completo
  2. Le parece bien, siempre y cuando tengan un nivel educacional bueno y los padres estén informados

¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido? Alternativas:

  1. Es bueno que  los padres puedan complementar el subsidio
  2. Debiera estar prohibido que los padres puedan complementar el subsidio

A los sesgos de las preguntas hay que sumar los sesgos de la interpretación. Por ejemplo,  ayer 14 La Segunda tuvo como titular que el 63% apoyaba que el Gobierno negociara con la oposición. Lo que la población respondió fue: Me gustaría que se tratara de llegar a acuerdos entre las coaliciones políticas antes de la votación en el Congreso. Ahora bien, ¿es la oposición equivalente a lo anterior? (¿es la oposición, léase Alianza, la única coalición con la que hay que discutir?) Más aún, pensando en posibles interpretaciones políticas, eso no es necesariamente un apoyo a democracia de los acuerdos. Más aún, eligió en un 63% esa respuesta frente a la alternativa de ‘Me gustaría que se impusiera el programa de gobierno sin consideración de la minoría en el Congreso’.

O pensemos en preguntas específicas. Por ejemplo la pregunta sobre selección académica: ¿Está usted de acuerdo o en desacuerdo con que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión? Ahora bien el 54% está de acuerdo con ello. De eso no se sigue que en general estén de acuerdo con la selección académica -la pregunta ex profeso fue sobre liceos de excelencia. O la pregunta sobre si las universidades deben ser gratuitas para todos o sólo para estudiantes de menos recursos. Un 57% declaró que las universidades debieran ser gratuitas para quienes tienen menos recursos. Ahora bien, ¿quienes son, para la población, los estudiantes de menos recursos? No es claro que esa frase les diga lo mismo a quienes respondieron la encuesta que a la élite que lo interprete.

Quizás lo más central es lo siguiente: El rechazo a la reforma como presentada, y a sus principios, no es igual a la aceptación del status quo (o incluso, de preferir sólo cambios leves). Las personas pueden desear cambios muy importantes a pesar que no les convenza la reforma actual y sus parámetros.

 

¿Cómo se puede usar los datos del CEP?

Una vez establecido que las preguntas son sesgadas, ¿se sigue de ello que la información que entrega la encuesta no es usable? Creo que la respuesta a lo anterior es negativa, y que la información de la encuesta puede usarse con provecho.

Primero porque las respuestas a una pregunta de encuesta son, indefectiblemente, respuestas a una pregunta de encuesta. No hay tal cosa como la expresión de la opinión real de las personas a través de estas preguntas. Las personas siempre eligen entre alternativas ya dadas a una pregunta ya dada. Tampoco es que ello ‘distorsione’ la opinión, porque eso implicaría que hay tal cosa como una actitud establecida distinta del hecho de responder a cuestiones en una conversación. Si preguntadas de tal forma responden X y preguntadas de esta otra forma responden Y, ambos son datos importantes para entender el proceso social. Al fin y al cabo, en la vida social sucede que se nos plantean preguntas dadas con alternativas pre-existentes, y no por estar dadas dejan de tener efectos sociales reales. Luego, si bien las preguntas están mal planteadas representan un hecho real: Es lo que la gente piensa cuando se le presentan alternativas tan sesgadas como esas.

Segundo porque si uno tiene conciencia de lo anterior, entonces es posible interpretar mejor los resultados y efectivamente encontrar un mejor uso de ellos. En otras palabras, si en vez de hacer una lectura inmediata tomo en cuenta que estamos ante respuestas específicas dadas en una situación concreta los datos me permiten entender algo de lo que sucede en Chile. Los resultados de las preguntas son resultados ‘exactos’ a condición que los analicemos en lo que son exactos (como respuestas a esa pregunta), al salirnos de ello pierden esa ‘exactitud’.

Una vez dicho lo anterior, entonces ¿que nos dice la encuesta?

  • Es un hecho real de la sociedad chilena que, presentadas alternativas sesgadas como lo hizo la encuesta, la mayoría de los chilenos rechaza eliminar la selección y el copago. Para todo aquél que le interese influenciar los términos del debate, eso es una información muy relevante.
  • Es un hecho también que frente a alternativas y preguntas sesgadas entre un 35% y un 40% de la población responde en cada pregunta a favor de un cambio radical: Por ejemplo un 37% piensa que el copago debiera estar prohibido incluso sí se le dice que es para mejorar la educación de sus hijos. Ese es un núcleo duro.
  • Es un hecho, anómalo en el contexto de la encuesta y en el contexto histórico de Chile, que un 41% de la población declare que ‘Es bueno que la educación sea entregada por el Estado solamente, para que todos reciban la misma educación’. Va en la misma lógica de un núcleo duro importante a favor de cambios muy radicales (de hecho, más radicales de lo que cualquiera ha planteado)
  • Es un hecho que la respuesta de las persona varía de acuerdo a las consideraciones que se pongan explícitas. La situación de las dos preguntas de selección es interesante. El CEP (y esto es un acierto de la encuesta, reconozcamos lo que está bien hecho) diferenció la selección por proyecto educativo y la selección académica y encontró resultados dispares. La selección académica, si es que además se plantea en relación a liceos de excelencia, es aceptada (54%) pero en relación a proyecto educativo no es aceptada (55% en desacuerdo). Si la CEP hubiera hecho un juego similar en otras preguntas hubiera sido de interés.
  • Es un hecho que las personas prefieren colegios de estatus socioeconómico similar: Prefiero que mis hijos vayan a colegios con sus ‘iguales’ a qué estén en colegios con ‘distintos’. Una posible interpretación es que el miedo a juntarse con ‘los de más abajo’ es mayor que la posibilidad de ‘mejora’ por compartir con ‘los de más arriba’. En una sociedad altamente segregada en general no es raro que eso se siga valorando en el colegio. Ahora bien, la pregunta es comparada (se realizó también el 2006, por lo que no es un problema de este cuestionario) y nos muestra una disminución leve de esa preferencia. Sí se quiere, ese es el núcleo duro contra la reforma (del mismo modo que ya vimos algo del núcleo duro a favor de cambios).

Para calibrar los datos sería bueno disponer de las bases (el CEP no las ha liberado al momento de escribir estas líneas) y quizás sería excelente poder disponer de una encuesta con el sesgo contrario: Que buscara respuestas pro-reforma. Al tener los efectos de dos sesgos distintos podemos calibrar la variación de las respuestas de acuerdo a las consideraciones que cada pregunta instala.

El Informe de la Comisión Internacional del Censo

Cómo la recomendación de la Comisión Internacional del Censo (disponible en esta dirección el informe completo) es muy distinta de la recomendación de la Comisión Nacional (disponible aquí) y que fue discutida en entrada en el blog en este link, en un caso se dice que los datos del censo 2012 se pueden usar y en otro se recomienda hacer un censo corto, no resultara banal comparar los análisis de las comisiones.

El análisis se puede dividir en los siguientes apartados:

Consideraciones que ambas comisiones coinciden.

Lo primero es que las dos comisiones coinciden en que las estimaciones realizadas en base a hogares no observados son inaceptables. Es la primera recomendación de la Comisión Internacional, página 59 y en el análisis se dice:

The imputation of housing units that were not observed in census field operations, and of then imputing households and persons to these imputed housing units, is not a generally recognized international practice. We find no mention of it in the United Nations Handbook on Population and Housing Census Editing (Informe Comisión Internacional, página 29)

Para un informe que está escrito en el estilo de funcionarios internacionales son palabras relativamente fuertes. En ese sentido, esa decisión -que es responsabilidad plena del anterior director del INE- ha quedado a firme como una decisión deplorable, y la salida del INE de la mencionada persona está plenamente justificada.

Lo segundo es que, aunque le da menos importancia y los desarrolla en mucho menor detalle, hay varias de las críticas que realizó la Comisión Nacional que se mantienen en la Comisión Internacional.

Por ejemplo en lo relativo a la ausencia de pre-test. El hecho que se realizara un cambio desde un censo de facto a uno de jure sin analizar mayormente las consecuencias de ese cambio fue uno de los puntos relevantes de la crítica de la Comisión Nacional y se repite en la Comisión Internacional. Esta dice:

Some aspects of field operations, such as the packing, delivery and return of census materials, are similar for de facto and de jure censuses. Other aspects, such as recruitment and training of the staff, field organization, monitoring and reporting during the enumeration are very different.
Implementation of a pilot census is a widely accepted practice and is internationally recommended (UN Principles and Recommendations paragraph 1.195). It is a main milestone to evaluate the quality of census operations (UN Principles and Recommendations paragraph 1.430).
A pilot census would have also supported to measure the level of participation and the response rate of the population, and the appropriate use of the concept of “usual resident” which characterize a de jure census (Informe página 21)

De hecho, en las recomendaciones para futuros censos se puede leer implícitamente varias críticas a la forma en que se realizó el censo por parte de la Comisión Internacional. Por ejemplo que el período de terreno no debiera superar 2 semanas (página 57) o que se de un tiempo relevante para planificar el Censo (página 60) no dejan de ser, finalmente, críticas.

Temas abordados en mayor profundidad por la Comisión Internacional

La Comisión Internacional dedica un largo espacio al procesamiento de datos para concluir que, en general, este no presenta problemas mayores (y fue uno de los pocos datos que aparece en el comunicado de prensa): Que

The report on the data capture prepared by INE indicates a data capture error rates of  0.14% for housing unit data and 0.29% for person data. These rates indicate good quality of data capture (Informe, página 58).

Ahora el caso es que eso no fue parte de los elementos de los cuales estaban centradas las dudas -sobre la calidad de las cédulas recibidas-. Que la Comisión Internacional, al revisar todas las etapas, registrara lo anterior es parte de su tarea; pero no deja de ser necesario puntualizar que la discusión del Censo verso sobre otros motivos.

Otro aspecto en que la Comisión Internacional pone más atención es en relación a las medidas correctivas que el INE ha desarrollado (o empezado a desarrollar) sobre el Censo, Y la conclusión en ambos casos es que se recomienda que ellas se detengan: Tanto la encuesta post-enumeración como la muestra de viviendas no entrevistadas. Es curioso, a decir verdad, que en ambos casos la Comisión es bastante crítica de las decisiones técnicas y metodológicas del INE. Por ejemplo, “INE developed the PCS estimation methodology which is not statistically defensible” (página 45 del Informe). No deja de ser curioso porque la misma institución que desarrolla estimaciones que no son defendibles sí parece ser capaz de realizar un censo aceptable sin por ejemplo tener una planificación adecuada (que es lo que dice la Comisión sobre el Censo 2012). Por decir lo menos, no es un informe que -de hecho- entregue mucha confianza sobre las decisiones del INE a este respecto.

Discrepancias entre comisiones.

Recordemos que aquí nos estamos centrando en el análisis no en las recomendaciones, por lo que no abordaremos la última discrepancia. En términos de análisis la discrepancia más importante dice relación con la tasa de omisión: La Comisión Nacional la estimó en un 9,3 usando estadísticas vitales.

La Comisión Internacional dice:

Demographic equation estimates of the total population of Chile as of the 2012 census may be made using vital registration numbers of births and deaths (it appears that international migration numbers may be too small to have an appreciable effect). Lacking the requisite evaluation of data quality, however, these estimates do not, based on international recommendations, provide a statistically sound basis for estimating 2012 census omission (Informe página 49)

La Comisión Internacional plantea que en general en Chile se estima que las estadísticas vitales son precisas y registran de manera exhaustiva los nacimientos y muertes. Pero que, en realidad, no hay un estudio que lo avale. Lo cual suena razonable.

Lo que quizás no es tan razonable son las conclusiones que sacan a partir de ello. Porque el problema es que la Comisión Internacional recomienda usar el censo sin tener evidencia alguna que el censo cumple con estándares de calidad, y el hecho que no sea posible calcular la omisión es ya un problema importante. Que el procesamiento de datos hecho muestre que las cédulas respondidas fueron trasladadas adecuadamente a las bases no implica que el Censo fue bien hecho cuando los problemas están puestos en otros elementos (sobre los cuales, de hecho, la Comisión Internacional no se pronuncia, como todos los problemas en el proceso de terreno que documentó la Comisión Nacional).

Más aún, como puro razonamiento técnico tiene debilidades. Porque el nivel de omisión que se calculo (9,3%) tiene consecuencias. La estimación es tan alta que para que ese calculo no indicara problemas en el censo (i.e que la omisión estuviera en estándares normales), las estadísticas vitales en Chile debieran ser extremadamente inexactas.  Una cosa es que no exista un estudio que establezca el nivel de validez de las estadísticas vitales, otra cosa es aceptar como posible una situación bajo la cual no tengan casi nula validez. En otras palabras hay que optar por dos posibilidades: (a) las estadísticas vitales están meridianamente bien hechas, y el registro de nacimientos y muertes opera razonablemente o (b) el Censo 2012 es plausiblemente válido. Pero no se pueden tener ambas cosas. De más está decir que en mi no muy comisionada opinión, la alternativa (a) me parece más probable.

En cualquier caso, uno observa una diferencia sustancial entre las comisiones en el estilo del análisis. Un caso específico puede observarse en lo relativo a la capacitación Así la Comisión Nacional desarrolla un análisis específico de las dificultades de capacitación, realizando una estimación del número de encuestadores no capacitados. La Comisión Internacional hace una observación similar, pero sintetizada al punto de ser casi críptica:

Even with 20% of staff planned as reserve, in some areas of the country many enumerators resigned during the enumeration period and some local census offices faced difficulties to replace them (Informe página 21)

Esa diferencia en el nivel de exhaustividad del análisis, y de la presentación de él, es recurrente a lo largo del informe de la Comisión Internacional.

En conclusión.

En última instancia, creo que las Comisiones tienen recomendaciones distintas porque sus criterios eran diferentes. El baremo de ‘la información es útil’ es más bajo que usar como criterio el ‘la información es válida’. La Comisión Internacional se centró en la primera pregunta, la Comisión Nacional en la segunda. Los antecedentes para decir que el Censo es válido son escasos y débiles; pero ello no obsta para que, con mucho cuidado, algo de utilidad tengan.

NOTA: Tengo la impresión, pero esto es puro mal juicio mío, que la diferencia es una de expectativas también. La Comisión Internacional no nos evalúo a nosotros con un baremo muy alto -‘de todas formas algo se puede usar’. No estoy seguro que  hubieran evaluado con la misma mano si hubieran encontrado estos problemas en un Censo de país desarrollado. Pero, claro, al fin y al cabo; un país desarrollado no llama a una Comisión Internacional para que le digan como se hace el Censo.

 

Las Encuestas tras la elección de Noviembre del 2013.

Mi idea de hacer una entrada sobre el temas de las (vilipendiadas) encuestas y los resultados de la elección del domingo 17 se facilitó enormemente por el hecho que Kenneth Bunker en TresQuintos.com, al evaluar los pronósticos de la elección (incluyendo el suyo) mostró algunos cuadros resumen de lo que sucedió con las encuestas.

El cuadro más relevante para analizar la situación de las encuestas es el tercero de la entrada que comentamos que es el siguiente:

Errores de encuestas en elección

El pronóstico de TresQuintos se basa en un modelo de agregación de los resultados de encuestas (usando un modelo bastante más complejo que un simple promedio en cualquier caso, se usa Bayes, simulaciones de MonteCarlo, se ajuste por varios parámetros etc.). Ahora, dado que usa las encuestas como insumo y no es un pronóstico independiente, no sirve para responder la pregunta de si las encuestas lo hicieron bien, que es lo que nos interesa aquí.

El dato ‘predicho’ por cada encuesta corresponde al porcentaje de preferencia por candidato sobre el total de preferencias declaradas en esa encuesta, que es equivalente a cómo funciona el sistema electoral: En el que sólo se cuentan los votos válidamente emitidos para calcular porcentajes (En ese sentido, el valor CEP de Bachelet es de un 60% por ejemplo). Se puede discutir si esto es o no adecuado, pero dado que replica cómo funciona el sistema no parece ser completamente inadecuado.

Más allá de los preliminares, podemos observar que la situación no es tan compleja como pudiera parecer a primera vista. Conecta se mantiene dentro o cerca del margen de error en todos los casos, Opina y La Segunda tienen errores relevantes en un candidato (Bachelet y Matthei respectivamente). Por otro lado, las encuestadoras grandes sí tienen diferencias importantes -CEP e Ipsos. Ahora bien, dado que hay una diferencia entre la fecha de las encuestas y la fecha de la elección, una diferencia de resultados es esperable porque entre medio bien puede cambiar la realidad (i.e que a la fecha de la encuesta la diferencia con el valor real era menor, y que los altos valores de diferencia sean además producto de una diferencia en la realidad). En otras palabras, los resultados no quieren decir necesariamente que CEP estuviera equivocado en la encuesta de Octubre.

Lo que sí quieren decir es que (a) efectivamente resulta posible tener buenos estimadores de una elección bajo voto voluntario y que (b) queda todavía harto trabajo que hacer para disminuir los errores. Pero esto requiere hacer investigación metodológica, en por ejemplo ¿que tipo de preguntas son adecuadas para filtrar votantes? Dado que las distintas encuestas no hicieron las mismas preguntas para ello bien serviría para evaluar cual funciona mejor -aunque, claro está, requeriría que los cuestionarios fueran públicos, lo que no siempre ocurre, pero parece ser -si queremos mejorar las estimaciones- necesario.

Finalmente, un excurso: Un modelo de agregación bien hecho debe dar menores errores que cada encuesta en particular. Recordemos que cada encuesta extrae una muestra de todas las muestras posibles, y que si no hay sesgo y son aleatorias el promedio de la distribución de todas las muestras es equivalente al promedio del universo. Ahora bien, agregar es análogo a extraer más muestras de esa distribución y por lo tanto a acercarse al promedio del universo. Lo anterior, por cierto, que simplifica mucho del trabajo de un modelo agregado (en que hay que corregir por los sesgos, tomar en cuenta varios parámetros, y por cierto no es exacto decir que son varias muestras del mismo universo); pero nos explica la utilidad y relevancia de ese trabajo: Si se construye un buen modelo, entonces tenemos una alta probabilidad de tener un mejor pronóstico que el que entrega cada encuesta por separado, que es lo que interesa finalmente.