La representación de la realidad social en las encuestas, o sobre la opinión real de las personas

Todo partió en Chilesoc. José Manuel Ferreiro envío un correo a la lista haciendo notar que  en El Mostrador se había publicado una columna de Sabrobsky a propósito de las encuestas -la columna en este link-, y que ‘por otro lado, creo que todos quienes directa o indirectamente hemos trabajado con encuestas (como encuestadores o en su diseño y/o análisis) hemos tenido varias de las dudas que aquí se plantean (y probablemente hemos activado mecanismos para dejarlas de lado y seguir trabajando)’. Escribí una réplica, y para que no se me olvide, la escribo también en este blog, y aparece -tal cual fue enviada a Chilesoc- a continuación:

En realidad yo discrepo con el supuesto básico de la columna: Se dice que las encuestas no representan la opinión real de las personas y que eso es un problema. Pero es evidente que las encuestas no pueden representar la opinión real de las personas (i.e la opinión real sobre un tema siempre va más allá de las cuatro o cinco alternativas que se le presentan, es claro que no siempre tienen claro lo que creen etc.). Las encuestas funcionan porque la sociedad no funciona sobre la opinión real de las personas (por ejemplo, muchas veces la opinión deseable tiene más implicancias reales en la sociedad que la supuestamente real), y la opinión limitada que responden en una encuesta es muchas veces la opinión limitada que efectivamente usan en la vida social.

De hecho en mi opinión, la mayoría de los problemas con las encuestas de opinión es un problema de interpretación más que de pregunta. Hay un caso famoso de efectos de contexto en encuestas. A los gringos en los años 50 se les preguntaba si creían si un reportero soviético tenía el derecho a ir a EE.UU y volver a su país a decir las cosas que quisiera. La mayoría se opuso. Ahora, si eso se preguntaba luego de hacerles la misma pregunta pero invertida (sobre un reportero gringo en la Unión Soviética) las cifras cambiaban. La pregunta se repitió en los ’70 con el resultado que el efecto se mantuvo pero mucho más diluido. Ahora, todo eso es informativo y nos dice cosas acerca de la sociedad norteamericana. Imagínese la pregunta más sesgada que le sea posible pensar, e incluso esas respuestas serán informativa de algo.

Si uno recuerda lo limitado que es la respuesta a las preguntas de una encuesta (están seleccionando una alternativa ente las que les presenté, en ese contexto específico de cuestionario; no me están dando la opinón real sobre el tema), entonces no dejan de ser útiles e informativas; tratarlas como otra cosa genera una serie de problemas

Que las encuestas generan realidad y no sólo la describen es bien sabido. Pero todas las acciones en la sociedad construyen sociedad. No es algo particular de las encuestas.

BTW, la paradoja inicial es falsa. La siguiente afirmación podría caer bajo paradoja: ‘Yo, que soy chileno, afirmo que ningún chileno en ocasión alguna dice las cosas de frente’. Ahora la siguiente afirmación no es equivalente a la anterior: ‘Yo, que soy chileno, afirmo que es propio de los chilenos no decir las cosas de frente’. El sujeto bien puede pensar que el no hace las cosas típicas de los chilenos, o al menos que no lo hace siempre (incluyendo la respuesta a la pregunta). Ya dije que el principal problema de las encuestas era la interpretación y ahí aparece de nuevo

Ingresos Asalariados e Independientes, CASEN 2011

Un ejercicio que hemos realizado en varias ocasiones es el de comparar los ingresos entre trabajadores independientes y asalariados por nivel educacional usando los datos de la CASEN.

El ejercicio siempre da el mismo resultado: A igual nivel educacional, los independientes (sin contar empleadores) tienen mayores ingresos que los asalariados (sin contar trabajadoras domésticas o FF.AA). El ejercicio es sólo para mostrar que tratar a los independientes como un grupo precario, o incluso hacer una diferencia y tratar sólo a los independientes no-profesionales como un grupo precario (de baja productividad como lo suele hacer CEPAL o la OIT) es insuficiente. No cuenta toda la historia.

De hecho, uno lo puede graficar de la siguiente forma. Una persona con básica incompleta puede pasar a ser independiente o podría elegir continuar estudiando y ser asalariado. Sólo si esta persona llegara a tener algunos años de educación superior, la elección de ser independiente produciría ingresos más bajos (y eso sin contar el costo de oportunidad de estudiar).

Lo cual al final no quiere decir más que cuando uno realiza análisis, debe realizarlos de forma completa. Y que al comparar ingresos entre grupos, uno debiera tener en cuenta el tema educacional -el cual sabemos tiene alguna importancia en estos temas.

Categoría Ocupacional Independientes Asalariados Diferencia % Diferencia
Sin Educación Formal 201.572 200.002 1.569 1%
Básica incompleta 275.664 208.849 66.815 32%
Básica Completa 318.004 220.855 97.149 44%
Media Humanista incompleta 395.772 248.774 147.027 59%
Media T-P incompleta 365.676 283.851 83.825 30%
Media Humanista Completa 515.655 284.395 231.260 81%
Media T-P Completa 436.468 299.962 136.505 46%
Superior incompleta 772.068 380.447 391.623 103%
Superior Completa 1.266.014 814.859 451.155 55%

Ya habíamos dicho que el ejercicio lo habíamos realizado en otras ocasiones (para la CASEN 2009 aquí, y una comparación de la evolución entre el 2000 y el 2009 aquí), y por lo tanto una pregunta natural es ¿cuanto cambió la diferencia? En general, se mantuvo en líneas generales con dos excepciones. Prácticamente desapareción en el grupo sin educación, pero aquí siempre se han dado grandes variaciones. Y cambio de manera importante en el grupo superior: La diferencia se volvió más relevante en superior incompleta (por un aumento del ingreso de los independientes) y disminuyó en superior completa (por un aumento del ingreso asalariado).

Ahora, este tipo de variaciones puede o no ser relevante (depende de si se transforma o no en tendencia). Lo que sí es relevante, porque se ha mantenido como resultado a lo largo del tiempo es que a igual nivel educacional, los independientes tienen mayores ingresos que los asalariados.

Ligeti Etudes

Creo que ya es ocasión para dejar de hacer sociologizaciones y dedicarme a cosas con valor. Y escuchar los etudes de Ligeti no deja de tener su interés.

La versión que tengo es la Pierre-Laurent Aimard en Sony, que no está en You Tube. Sin embargo, al menos tres estudios tocados por el mismo pianista, con una pequeña introducción de Ligeti. Los estudios son Désordre, Touches bloquées y Automne à Varsovie

A propósito de la fenomenología

Supongo que es de rigor conseguirse y leer los libros de los profesores. Así que empecé a leer el libro ‘Socio-fenomenología‘ de Ulises Toledo, y en su lectura encontré que, a pesar del sentido que tiene el programa, aparece una de las razones por las cuales la fenomenología se encuentra, al final, creo con problemas importantes.

El libro presenta todos los argumentos sobre los cuales se fundamenta la aproximación fenomenológica, y creo que la exposición de Toledo es en general bastante clara -lo que en una teoría que no es la más fácil del mundo es de agradecer. Y la idea de fundamentación aquí es central: es la búsqueda de aquello que fundamenta nuestros conocimientos lo que genera todo el programa. Simplificando mucho, y recordando que no estoy exponiendo aquí la doctrina (para ello mejor lea el libro), el caso es que los objetos no son cosas dadas a la experiencia, sino que se forman en la experiencia. Luego, el conocimiento objetivo externo es derivado si se quiere.

Pasando más propiamente al tema social, podemos decir que los sentidos compartidos son básicos: la vida social es posible y se forma a través de los sentidos y significados, y los procesos centrales para entenderla son aquellos a través de los cuales se forman esos sentidos. Las ideas de horizonte, de mundo de la vida son forman de conceptualizar y comprender esas temáticas.

Esto no implica que el conocimiento cuantitativista-objetivizante no tenga cabida. Pero es claramente derivado. Una vez que cierto sentido se ha tipificado -se ha estabilizado como un significado compartido y se ‘usa’ en nuestras acciones- por cierto que cabe estudiarlo cuantitativamente. La posición fenomenológica entonces da cuenta tanto del sentido de hacer investigación cualitativa como de las razones por las cuales se hace tanta investigación cuantitativa (y no deja ese tipo de estudios como algo meramente ideológico).

Hasta acá entonces, todo bien. Pero iniciamos la entrada declarando problemas importantes, ¿cuáles son estos?

(1) El primero es la orientación básica. La fenomenología, y así lo deja claro el libro de Toledo que analizamos, desde sus inicios es una búsqueda de fundamentos, las cosas esenciales. Pero las ciencias no requieren fundamentos. No es esa la lógica de su operación. Operan a nivel de los fenómenos (y cómo se relacionan), no a través de los fundamentos de ellos. En ese sentido, la fenomenología puede ser buena filosofía (bien por Husserl) pero no es claro que encontrar fundamentos sea relevante para las ciencias sociales (digamos, el valor de Schutz no es tan claro). Pero este también es un punto más bien filosófico, y no afectaría el valor de la aproximación en realidad.

(2) El segundo, que creo más crucial, es que la idea de lo cuantitativo como derivado tiene una afirmación escondida: Que las características de lo derivado dependen de su sustrato inicial. Las dinámicas cuantitativas de la votación son derivadas del proceso significativo que constituye los significados del acto de votar, de la elección etc. Aceptemos eso. Pero no por ello las dinámicas dependen de esos significados.

Es perfectamente posible pensar que al menos algunas dinámicas cuantitativas son independiente de sus sustratos. Por ejemplo, es un tema de sentido y significado el que constituye la relación de amistad y otro tipo de relaciones, y por lo tanto sin sentido no hay relaciones: ellas son derivadas del sentido. Pero las dinámicas que surgen a partir de una red centralizada pueden ocurrir independiente de qué tipo de relación sea. Y en ese sentido, la dinámica cuantitativa es derivada pero no dependiente de los procesos de significación.

Una de las ventajas en general de las argumentaciones a favor de las aproximaciones cualitativas es que, como ya vimos, dan cuenta no sólo de por qué su propia aproximación funciona, sino también explican la aproximación contraria. Ese es de hecho algo destacable, porque las aproximaciones cuantitativas de hecho no suelen explicar porqué puede tener sentido lo cualitativo. Pero a pesar de ello, la argumentación cualitativa tiende de todas formas a disminuir la relevancia de lo cuantitativo: A dejarlo como secundario. Pero creo que la relación entre cualitativo y cuantitativo no es entre lo que es central o secundario, sino lo que es relevante para distintos aspectos de la vida social.

A propósito de la discusión sobre la CASEN 2011

No es la costumbre de este blog dedicarse a comentar asuntos de coyuntura, pero todo el tema de la CASEN me tiene algo aburrido. Y por la razón más sencilla: porque todos los participantes del debate se han dedicado a politizar el asunto.

Veamos cada uno de los puntos de la polémica.

(1) La comunicación sobre la disminución de la pobreza en 0,7 puntos. Dado el error muestral diseñado del estudio, y el hecho que es probable que el error muestral efectivo sea mayor, hace que -por lo menos- hacer una alharaca con el resultado estaba de más. Aquí el Gobierno no tiene, creo, como defenderse de la acusación que hizo una manipulación comunicacional. Que Andrés Hernando, ex-jefe de la División de Estudios, declare que siente que Lavín lo manipuló, aun cuando defiende todas las decisiones técnicas de la encuesta, debiera ser suficiente para dejar en claro la situación.

(2) El tema de las dos muestras. Primero, los documentos al respecto estaban disponibles en el sitio web del Ministerio (hacer click aquí), o sea la crítica que esto no se sabía sólo muestra que el crítico no buscó la información. Aquí uno puede ver que la propuesta del Ministerio de la CASEN ya hablaba de ampliar el tiempo de la encuesta y de hacer una muestra en dos fases. El Ministerio ha planteado que la recomendación de la muestra en dos fases fue del Comité de Expertos, pero Larrañaga ha negado que esa fuera una recomendación, sino que la recomendación fue ampliar el período. Ok. Ahora si amplio el período de toma de datos de una variable que es estacional, como lo es ingresos, evidentemente si quiero comparar tengo que hacerlo con lo comparable: Ergo, puedo comparar los mismos meses, que es equivalente a lo que se hacía antes. No puedo hacer la comparación con el período completo de terreno, que el 2011 fue más extenso, porque entonces es probable que los cambios encontrados sean producto del cambio en el diseño del estudio. En otras palabras, todo el escándalo por ese tema no tiene el menor sentido.

(3) El tema de los subsidios: Que estos subsidios no se mensualizaron como era lo que correspondía. A la respuesta del gobierno que la CEPAL fue la que tomó esa decisión porque ellos estimaron que la diferencia no era relevante y porque había una alta tasa de sub-reporte (y de hecho al parecer el efecto son dos décimas), se respondió con una acusación más profunda que de manipulación de cifras, que es la de mal diseño:

‘Una respuesta posible es que la “imputación del bono” nunca había sido necesaria, pues en encuestas anteriores los cuestionarios permitían distinguir si un ingreso dado (por ejemplo, un bono) era periódico y regular o por una sola vez. Cuando reconoce la necesidad de imputar específicamente el bono, el asesor confirma un segundo error técnico: el cuestionario fue mal diseñado’ (Velasco y Contreras en La Tercera el 21 de Agosto, ver aquí).

Dado que los cuestionarios son públicos es cosa de comparar (aquí Cuestionario 2009 y aquí Cuestionario 2011). En general, no parecen ser formas demasiado distintas de preguntar. Los bonos únicos (por ejemplo, bonos marzo o invierno) se preguntaron por período de referencia de 12 meses en los dos cuestionarios. En otros casos, como el bono de protección social se preguntó por la recepción en el último mes. En general, bonos comparables se preguntaron de formas similares. Los cuestionarios no son idénticos porque los bonos entregados por el Estado no eran los mismos, pero cuando cambia la realidad no queda más que cambiar el cuestionario. En todo caso, en general no se agregó en relación a subsidios preguntas por periodicidad ya sea el 2009 o el 2011 (donde se pregunta de manera sistemática por periodicidad es en ingresos laborales). Eso no obsta para que existan problemas en relación a la pregunta y su comparabilidad, y que se pueda discutir sobre el tema de cómo se asignó el subsidio, pero de ahí a decir que el cuestionario fue mal diseñado hay un trecho bastante grande.

(4) Finalmente, el tema de la pregunta y11, la pregunta por ingresos de desocupados o inactivos. Aquí el centro de la polémica ha estado en que la CEPAL originalmente no incluyó esa pregunta en su cálculo (y daba un 15%, o sea no había existido baja) y el gobierno, entonces, manipuló y exigió que se incluyera (y quedo en el 14,4% conocido). Ahora, escuchemos lo que dice Hernándo, que era el jefe de la División Estudios, en entrevista en el Ciper (aquí):

-¿Quien le pidió que la enviara? 
-Mi jefa me preguntó cuál era la opinión de mi quipo [sic]. Quiero aclarar que no estuve en el proceso de elaboración del cuestionario cuando se hizo la pregunta “y11”. Ese proceso dependía de la División de Desarrollo Social. Yo le pregunté a Carolina Casas-Cordero que es la actual encargada del tema y ella me presentó sus argumentos técnicos, que están todos en la minuta que mandamos, y me convenció de que lo razonable era incluir la pregunta “y11”.

El argumento no provino entonces de las cabezas políticas ministeriales, sino finalmente de los cuadros técnicos del Ministerio. En otras palabras, cualquiera fuera el gobierno, se hubiera hecho la petición. Y la razón es clara: los cambios en cuestionario no se hacen porque sí y entonces esto tiene que ver con las posibles razones para incluir esa pregunta. El argumento de Casas-Cordero fue que la y11 no agrega ingresos sino que desagrega un ingreso que siempre fue considerado (en la pregunta de otros ingresos) y el pre-test habría mostrado eso. Ahora, la opción de desagregar posiblemente provino que desagregar entrega información más precisa, que los desempleados en la CASEN se hacen en torno a una semana de referencia pero los ingresos laborales son mensuales etc.

El caso es que sí se incluyó una pregunta nueva (la y11) dentro de ingresos no es extraño que cuando se reciben cifras que no consideran esa pregunta el diseñador del cuestionario -que no es la CEPAL en última instancia- reclame. De hecho, la CEPAL ahora intenta salirse del tema declarando que ‘ellos no discuten lo que deciden los gobiernos’, cuando la minuta de hecho indicaba que si tenían dudas las hicieran llegar. Si se quiere, la decisión del gobierno incluía que podían hacer valer su dudas.  Presumiblemente la minuta debió tener la explicación más detallada (i.e presentar los datos del pre-test que lo avalan), pero no creo que una minuta insuficientemente detallada sea para hacer escándalo tremebundo.

 

Había partido todo esto diciendo que todo el mundo había politizado el tema. El gobierno desde sus inicios lo hizo en términos comunicacionales: Armando un gran alboroto por algo que no era para tanto -incluso si uno toma los datos sin discutirlos, no había pasado más que había vuelto a disminuir la pobreza, como lo ha hecho casi siempre con la CASEN, y de hecho todavía no volvemos a los niveles del 2006.

Pero los críticos también han politizado el asunto. En primer lugar, por empezar a hablar sin informarse. Varios de estos puntos estaban en documentos públicos. En segundo lugar, por hacer también una trampa comunicacional al pedir precisiones: Si de verdad tengo consultas técnicas sobre la CASEN no se las hago al Ministro en un Seminario -el Ministro no deja de ser un mero político-, se las hago al encargado de la Encuesta. En tercer lugar, porque se ha pasado de criticar la forma de comunicación de resultados a empezar a poner dudas en todas las cifras, recordemos la cita de ‘cuestionario mal diseñado’, por algo que de hecho era similar en CASEN anteriores.

La politización de la CASEN ya tiene sus años. El primer año que se hizo uso político de estas cosas fue el 2006. Fue la primera vez que alguien habló en referencia a la CASEN como la ‘encuesta del gobierno’ (Hernán Larraín en ese momento), o en que actores políticos que nada saben de Encuestas -Allamand en ese caso- se dedicaran a hacer comentarios técnicos, por ejemplo en torno a los cambios de pobreza a nivel comunal -tema muy discutido en ese entonces. Y ahora que la Concertación está pensando en una comisión investigadora, leamos esta nota de El Mostrador del 23 de Julio del 2007:

“Derecha solicitará interpelación de ministra Hardy por encuesta Casen. El jefe de la bancada RN, Mario Bertolino, justificó la decisión ya que su sector cree que la información del Mideplan, que dio cuenta de una reducción de la pobreza de un 18,7% a 13,7% desde 2003 a 2006, es contradictoria y que su posible falta de veracidad podría poner en riesgo la elaboración de programas sociales”

Pero uno no espera mucho más de los políticos a decir verdad. Lo que es realmente penoso es que gente supuestamente más seria (30 economistas que firman una carta sobre la CASEN por ejemplo) empiece a adquirir los mismos malos hábitos (i.e no revisar la información, no hacer las preguntas a quién probablemente puede responderlas etc.) creo que es más preocupante.