Sobre los malos usos de las pruebas de significación

El preguntar si una diferencia es significativa estadísticamente es una de las operaciones comunes y más recurrentes del análisis en muchos campos, y en específico en sociología. Pensemos en las discusiones existentes sobre si las diferencias entre resultados de encuestas son significativas.

Ahora bien, desde hace varios años se han desarrollado diversas críticas sobre el uso de la idea de significación, y que buena parte de los analistas en realidad no tienen claro que significa una prueba de significación.  En algún sentido, que usamos mal las dichosas pruebas y, luego, generamos mal conocimiento a partir de ese uso.

En estos últimos días, la American Statistical Association (ASA) decidió emitir una declaración formal (en este link) sobre el uso de estas pruebas. Una de las frases puestas al inicio de la declaración muestra un poco lo meramente ritual de mucho de nuestro uso y conocimiento al respecto:

Q: Why do so many colleges and grad schools teach p = .05?
A: Because that’s still what the scientific community and journal editors use.

Q: Why do so many people still use p = 0.05?
A: Because that’s what they were taught in college or grad school.

La definición informal que se da de la prueba de significación no es particularmente clara, pero eso es al parecer una característica común del dichoso parámetro:

Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data (for example, the sample mean difference between two compared groups) would be equal to or more extreme than its observed value

Aunque el autor no es estadístico, una de las mejores y más claras descripciones de lo que implica esta declaración informal es en una entrada en el blog Crookedtimber (link aquí). Se usa el ejemplo de lanzar monedas y te encuentras que te ha salido cara en 5 ocasiones. Ahora bien, la probabilidad de ello sería 1/32 que sería inferior al límite estándar de  p < .05. La idea entonces es que si la moneda es ‘fair’ tendríamos una chance más baja que 1 en 20 a que podrías obtener un resultado equivalente (o mejor) que cinco caras seguidas. El autor de la entrada entonces nos hace las siguientes equivalencias entre esa afirmación en cursiva y el esquema de la ASA:

  • ‘Bajo un modelo estadístico específico’ = si esta moneda es ‘fair’
  • ‘La probabilidad que un resumen estadístico de los datos sea igual o más extremo que’ = la chance es inferior que 1 en 20 a que podrías obtener ese resultado
  • ‘Su valor observado’ = las cinco caras que tuve seguidas

El ejemplo, en todo caso, al mostrarnos más claramente en que consiste la significación estadística, nos muestra también sus límites: Porque de la significación del resultado, de la frase que está en cursiva, a pocos se nos ocurriría obtener como conclusión que la moneda está cargada. Por así decirlo, siguiendo una idea ‘bayesiana’ diríamos que la probabilidad de obtener una resultado significativo igual es mayor que la de tener una moneda cargada. En otras palabras, del rechazo de la hipótesis nula no se sigue nada en relación con la validez de la hipótesis sustantiva.

Citemos a continuación a algunos comentaristas que han enfatizado este último punto:

One of the most important messages is that the p-value cannot tell you if your hypothesis is correct. Instead, it’s the probability of your data given your hypothesis. That sounds tantalizingly similar to “the probability of your hypothesis given your data,” but they’re not the same thing (Christie Aschwanden en FiveThirtyEight.com, link aquí)

Y ahora a Andrew Gelman, que ha sido uno de los críticos más importantes de todo el uso de la significación estadística en la práctica de investigación:

Ultimately the problem is not with p-values but with null-hypothesis significance testing, that parody of falsificationism in which straw-man null hypothesis A is rejected and this is taken as evidence in favor of preferred alternative B (Link aquí)

Gelman continúa enfatizando la diferencia entre las hipótesis estadísticas con respecto a las hipótesis científicas sustantivas. Y que, como ya hemos visto, la prueba de significación no indica sobre la verdad de tu hipótesis. Los principios que establece la declaración de la ASA en ello es claro: Los valores de P indican cuan incompatible son tus resultados dados un modelo estadístico. Pero no miden la probabilidad que tu hipótesis sustantiva sea verdadera, ni tampoco que el proceso que generó el resultado sea al azar. (Principio 2)

Todo lo anterior tiene consecuencias para la investigación: La misma declaración de la ASA nos dice que las conclusiones científicas (o de recomendación de política) no pueden basarse sólo en el hecho que se ha obtenido un ‘resultado significativo’. Y la ASA recuerda algo que es conocido pero suele olvidarse: La significación estadística no es la sustantiva, no indica nada sobre la importancia de la relación declarada significativa.

En la discusión que generó la declaración de la ASA uno de los puntos era, ¿con qué se podría reemplazar entonces los valores de p? Sin embargo, creo que la conclusión de Gelman es más adecuada: Hay que salir de la idea que existe un indicador que establece por sí mismo la validez de un resultado.

Quiero a partir de este último punto hacer algunas observaciones más específicas sobre el tema de los usos de las pruebas de significación en sociología. La discusión que hemos mencionado hasta ahora aplica a múltiples disciplinas, el uso de los valores de p y el límite de p < .05 aparecen en diversos contextos, y en todos ellos re-aparece el tema del mal uso de estos parámetros. Pero creo que en nuestras disciplinas se suman otros elementos que hacen incluso más crítico este mal uso.

El caso es que dada la forma en que a los sociólogos se les enseña estadística, la tentación de reducir todo al simple parámetro del valor de significación es muy alto. Como la estadística se nos enseña como una caja negra, y luego en términos de unos procedimientos a seguir que en realidad no entendemos (¿cuántos sociólogos podrían reconocer la función que produce la distribución normal?), entonces nos es más fácil reducir todos los resultados de un análisis al simple parámetro de la prueba de significación. Que además viene con un criterio ‘claro y definido’: Alguien que no entiende mucho lo que está haciendo de todas formas puede revisar cualquier resultado de cualquier procedimiento y observar si p es menor a 0.05, y luego concluir que hay o no asociación significativa entre tal y tal.

Algunos de los problemas de la sociología en relación con el uso de las pruebas de significación dicen relación con aspectos que, en todo caso, resultan incluso más básicos que los anteriores; y hacen que el mal uso de este parámetro sea incluso más penoso en nuestra disciplina.

El primero de ellos es en torno al uso del umbral del p <.05 como muestra de resultado importante. Ello no es exclusivo de nuestras disciplinas: Uno de los temas que se discute, y que ha sido importante, en generar esta discusión es el uso no reflexionado del umbral de p < .05 como umbral de publicación y de resultados importantes. Ahora bien, como en toda investigación existe un importante grado de libertad en las operaciones (en el tipo de análisis, en el modelo concreto, en el procedimiento, en las variables que se insertan etc.) ‘buscar’ un resultado significativo es una tentación importante. Más aún, podemos recordar que una relación con el mismo grado de fuerza puede ser o no significativa dependiendo del tamaño de la muestra. La presión para publicar genera esta tentación para encontrar algo significativo.

Siendo un asunto general, creo que en sociología esto se refuerza con la aceptación de estándares muy bajos del nivel de efecto. Pensemos en los innumerables artículos publicados con modelos que explican un porcentaje bajo de la varianza: Se publican porque se encuentran efectos significativos estadísticamente, pero en realidad sigo tan desconocedor de la realidad como antes. La libertad de los modelos además tiene otro efecto: Que puedo terminar con un alto número de variables que influyen, dependiendo de cómo realizo el modelo el número de posibles variables que se asocian significativamente puede ser muy alto. Pero en la interpretación y discusión modelos que explican entre un 10% o un 14% se usan como si se estuvieran descubriendo procesos altamente importantes.

Oro elemento que suele afectar las lecturas de la significación, y tengo la impresión que ello es muy común en nuestras disciplinas, es la confusión entre X está asociado con Y con que los X son Y. Pensemos que encontramos que tal grupo (los hombres, las personas de estrato alto, los trabajadores bancarios etc.) tienen una diferencia significativa con respecto a otro grupo en determinada dimensión (digamos, son mayores lectores o más intolerantes o etc). Y de ahí concluimos y actuamos como si los hombres se caracterizaran por la lectoría o la intolerancia o etc, y se publicarán reportajes mostrando como ejemplo paradigmático de los hombres a quienes tienen esa característica. Pero uno revisa los datos y se encuentra con que la diferencia significativa es, por ejemplo, 3 o 4 puntos; y todos los grupos se caracterizan (a grandes rasgos) por la misma distribución entre los valores de la variable. Sólo pudiendo observar diferencias, entonces pasamos a pensar como si las diferencias fueran el valor.

En general, los problemas que hemos mencionado -desde los más sutiles a los más brutos, de los que cruzan a diversas disciplinas hasta los que son comunes, para nuestra vergüenza, en nuestras disciplinas- provienen de una voluntad de alejarse de las complejidades que implica analizar datos. La realidad no se deja asir a través de un sólo instrumento, y menos a través del uso burdo y simplista de reducir todo a la pregunta por el umbral de significación. Para hacer de verdad un análisis estadístico, hay que saber y conocer las herramientas usadas, describir los procesos y las decisiones, y tener claro que no hay un valor mágico que simplifica todas las complejidades de observar la realidad.

Una brevísima relación de la Sociología Analítica

Que las aproximaciones sociológicas suelen, al final, dividirse entre versiones de teorías de acción y de estructura, por más que se intente superar (de diversas formas esa distinción). Ahora bien, dentro de las diversas formas que adquiere la preocupación por la acción una vertiente que ha adquirido fuerza en los últimos años, que tiene interés intrínseco y que además sus movimientos como tales son ilustrativos de las trayectorias de la teoría social en general es lo que se ha llamado sociología analítica  (Hedstrom 2005, Hedstrom 2009, Manzo 2010). La sociología analítica es tanto una propuesta teórica como una propuesta metodológica y trataremos ambas por separado aquí.

La sociología analítica como teoría

En lo que concierne a sus declaraciones teóricas podemos observar que tiene una clara raigambre accionalista:  ‘Through their actions actors make society ‘tick’, and without their actions social processes would come to a halt. Theories of action are therefore of fundamental importance for explanatory sociological theories’  (Hedstrom 2005: 5). Todo análisis requiere una micro-fundación (o sea, una explicación al nivel de los actores) robusta, sin ello no hay propiamente análisis -dado que lo que se niega, junto a toda la tradición accionalista, la existencia de mecanismos causales directos macro-a-macro (toda afirmación requiere pasar por el nivel del actor).

¿Qué modelo de actor? Claramente se tiende a rechazar la idea del rational choice, o al menos declararla insuficiente, Así Manzo plantea que esa teoría se debate entre una fuerte formalización que resulta empíricamente equivocada y entre versiones más débiles que no están tan equivocadas pero que predicen poco (Manzo 2013: 362). Y que existen modelos de actor que no tienen esas limitaciones. En esto se parece bastante a Raymond Boudon, que colaboró con un capítulo (1998)  en el libro de Social Mechanisms, que en cierta manera es el origen de esta perspectiva (y que estuvo en cercanía al esta vertiente por un buen tiempo). Ahora bien, de todas formas existe una preferencia compartida por la formalización; y lo que interesa es la  posibilidad de desarrollar una aproximación más formal, y con predicciones importantes, pero que no siga la tradición del rational choice.

Para ello se piensa que la acción intencional es la base de toda buena explicación, pero ello no requiere modelos racionalistas. El modelo DBO de Hedstrom (2005: 38-42), o  ver también Fehr y Gintis 2007) es una forma sencilla de modelo alternativo: La acción se comprende como el resultado de los deseos (D), las creencias (B, por beliefs) y las oportunidades (O). Este modelo sencillo se nos plantea ya es útil para explicar; Hëdstrom reconoce que es ‘sicología popular’, pero al mismo tiempo el hecho que en la vida cotidiana usemos un modelo de este tipo que sirve para predecir acciones de los otros basados en nuestras creencias sobre sus estados mentales, nos muestra que en algún nivel efectivamente funciona. Y dado que la ciencia social no tiene como objetivo explicar los estados individuales, sino usarlos como base para otras explicaciones, entonces quizás baste entonces con esa sicología popular.

Ahora bien esta perspectiva, si bien tiene una raíz claramente en las teorías de la acción y en perspectivas individualistas transita hacia una incorporación de una visión interaccional, reconociendo las estructuras. Luego de la cita de Hedstrom del párrafo anterior nos plantea que la estructura de interacciones tiene una importancia propia para la explicación. Recientemente, Manzo (2014: 17-21) ha enfatizado que la sociología analítica usa un individualismo estructural (también ver Hedstrom 2009, Manzo 2012), reconociendo que los actores están inscritos en una red de relaciones y en contextos. Que se requieren, para usar el subtítulo de un texto reciente en que se presenta esta perspectiva, ‘Acciones y Redes‘ para comprender la vida social implica un alejamiento de una perspectiva puramente accionalista.

En algún sentido, se puede plantear que el movimiento de la sociología analítica muestra los límites y posibilidades de la aproximación de la acción. Por un lado, (a) reconoce la necesidad de una visión más compleja del actor y (b) para explicar mediante acciones son necesarios parámetros estructurales (i.e las redes). Lo cual no deja de ser interesante porque replica un paso anterior de la teoría social. Esa es precisamente la solución de Parsons en la Estructura de la Acción Social (1949): complejizar la visión del actor, ingresar parámetros estructurales, todo en nombre de reconocer intencionalidad (voluntarismo en el lenguaje del primer Parsons). De alguna forma, la resolución de los problemas de las teorías accionalistas se resuelven en una dirección que envía hacia fuera de ella. Pero esta pareciera ser una lección olvidada porque, digamos, es un proceso que hay que hacer una y otra vez. Por otro lado, y ello tampoco debiera olvidarse, sí hay cierta evolución: El parámetro estructural que en Parsons era normas y valores es reemplazado por otro parámetro, que está constituido por otros actores. Y uno diría que, sí, ello constituye un avance teórico de alguna significación.

 

La sociología analítica como metodología.

La aproximación metodológica de la sociología analítica nace de una mirada muy crítica al estado de la sociología: la teoría social no es más que un conjunto de textos poco claros que nombran pero no explican -y no es extraño encontrar en estos autores referencias bastante caústicas sobre la definición de habitus de Bourdieu por ejemplo (usando la idea de ‘estructuras estructuradas predispuestas a funcionar como estructuras estructurantes’ como modelo de la falta de claridad). Se crítica que el modelo cognitivo de la ciencia, o sea la búsqueda de explicaciones la vida social, ha perdido importancia en función de otras formas de hacer sociología, que pueden ser legítimas pero que son secundarias (Boudon 2001).

Los principios básicos de objetividad, anti-relativismo, unidad de las ciencias y en particular la exigencia de claridad, enmarcan las preocupaciones de la sociología analítica. Lo cual comparten con otras perspectivas, lo que la diferencia es una fuerte explicación vía mecanismos (Hedstrom 2005, Hedstrom 2009, Noguera 2006, Manzo 2010):  Es importante superar las explicaciones de variables, que al final son ‘cajas negras’. La idea central es que explicar un fenómeno es generarlo (Manzo 2010: 210).

En este sentido, se puede plantear que es una perspectiva cierto sentido anti-hempeliana: la noción de ley de cobertura resulta insuficiente; como forma de superar la explicación solamente a través de variables. La idea de leyes de cobertura no es suficiente porque, precisamente, entrega regularidades sin mecanismos que expliquen cómo se genera esa regularidad.

Entonces, lo que hay que hacer es explicar vía mecanismos. donde podemos observar cómo se generan los procesos desde niveles más bajos (Hedstrom y Swedberg 1998}; y para un listado virtuosístico de mecanismos se puede leer a Elster (2007). Hay múltiples definiciones de mecanismos. Así Hedstrom (2010: 50-52) plantea que: (a) éstos se identifican por el efecto que causan, son siempre mecanismos de algo; (b) es una noción causal irreductible, se refiere a las entidades que causan el efecto; (c) tiene una estructura, hace visible como las entidades que lo forman producen el efecto; y (d) forman una jerarquía, lo que en cierto estudio se puede dar como un mecanismo dado se espera que a su vez este sea producido por mecanismos de menor nivel. Otra definición es la de Elster que tiene la ventaja de mostrar su naturaleza  alegal: ‘Roughly speaking, mechanisms are frequently occurring and easily recognizable causal patterns that are triggered under generally unknown conditions or with indeterminate consequences. They allow us to explain, but not to predict’ (Elster 2007: 36). No sólo los mecanismos claramente no son semejantes a leyes, sino que tampoco pueden pensarse como aquello que permite entender una ley -explicar sin predecir sería casi un anatema bajo la idea de explicación de cobertura.

En cualquier caso, no deja de ser curiosa esta fuerte defensa de la idea que una explicación para ser científica debe ser a través de mecanismos, y que es casi un oscurantismo plantear que se explica sin tener un mecanismo. Porque en la mecánica clásica ya encontramos ese mismo problema y la solución fue efectivamente declarar que no es necesario tener un mecanismo causal para tener una buena teoría científica: no hay mecanismo causal que explique la gravedad en Newton, y es esa falta la que originó la frase de hypothesis non fingo: No es necesario tener un mecanismo que explique la ley de gravitación para tener una muy adecuada ley de gravitación que nos permite comprender el mundo. En otras palabras, la filosofía de análisis que está detrás de este movimiento es tan exigente que elimina parte importante de las ciencias duras. Por cierto que, finalmente, a veces se reconoce que efectivamente resulta inviable tener explicaciones por mecanismos, pero no deja de ser algo extraña esta insistencia.

La explicación por mecanismos se aproxima a perspectivas de agentes, lo que se asocia al carácter accionalista de la perspectiva en términos teóricos: la idea de explicar el macro-resultado a través de elementos menores se traduce fácilmente a la idea que esos micro procesos son individuales. Los fenómenos agregados no se explican al nivel agregado: ‘Macro-level outcomes and relationships tell us very little about why we observe the macro-level outcomes and relationships we observe’ (Hedstrom 2009: 340). Al mismo tiempo, se critica la idea que esta asea una aproximación reduccionista, dado que el fenómeno agregado no es una simple ‘suma’ de lo que sucede con los actores, sino que depende de las formas en que ellos interactúan.

La formulación de Manzo es quizás una de las más claras en ubicar las diversas formas metodológicas que permiten explicar los fenómenos sociales: ‘wherein variable analysis describes, mechanism modeling (where mechanisms are built in non-reductionist methodological individualism terms) explains, and simulation activates and runs (as well as tests) the mechanisms assumed to be the basis for observed statistical relations’ (Manzo 2007: 37). Una síntesis de mecanismos con simulación, en todo caso, pareciera ser el núcleo de uno de los programas más relevantes de sociología científica en la actualidad.

 

La sociología analítica tiene varias de las ventajas y problemas de los programas de investigación que se originan polémicamente, en contra de otros: Tiene la fuerza y el entusiasmo de quienes quieren hacer un giro en una disciplina que ven con problemas y que se requiere recuperar o tomar por primera vez algo que es relevante y que puede ser pasado por alto; pero al mismo tiempo resultan algo monotemáticos y exagerados (por ejemplo, en su rechazo a explicaciones no mecanicistas). Ahora bien, por cierto que en la medida que esta tradición se desarrolla algunos de sus rasgos más unilaterales se difuminan (y así, es un accionalismo que incorpora parámetros estructurales).  En cualquier caso, es una trayectoria que otros programas de investigación han tenido, desde la teoría del actor racional a aproximaciones relacionales; y pareciera ser que es así, a punta de entusiasmos unilaterales, que la reflexión teórica y metodológica de la disciplina, con todo, realiza producción de algún valor.

 

Referencias Bibliográficas.

Boudon, R. (1998). Social mechanisms without black boxes. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 172–203). Cambridge: Cambridge University Press.

Boudon, R. (2001). Sociology that really matters. Paris: European Academy of Sociology, Inaugural Lecture

Elster, J. (2007). Explaining Social Behavior. Cambridge: Cambridge University Press.

Fehr, E., y Gintis, H. (2007). Human Motivation and Social Cooperation: Experimental
and Analytical Foundations. Annual Review of Sociology, 33, 43–64.

Hedström, P., y Swedberg, R. (1998). Social Mechanisms: An introductory essay. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 1–31). Cambridge: Cambridge University Press.

Hedström, P. (2005). Dissecting the Social. Cambridge: Cambridge University Press.

Hedström, P. (2009). The Analitical Turn in Sociology. En P. Hedström y B. Wittrock (Eds.), Frontiers of sociology (pp. 331–342). Leiden: Brill.

Hedström, P., y Ylikoski, P. (2010). Causal Mechanisms in the Social Sciences. Annual Review of Sociology, 36, 49–67.

Manzo, G. (2007). Variables, Mechanisms and Simulations: Can the Three Methods Be Synthesized? A Critical Analysis of the Literature. Revue Française de Sociologie, 48(Supplement: An Annual English Selection), 35–71.

Manzo, G. (2010). Analytical Sociology and Its Critics. European Journal of Sociology, 51, 129–170.

Manzo, G. (2012). Full and Sketched Micro-Foundations: The Odd Resurgence of a Dubious Distinction. Sociologica, 1, 1–8.

Manzo, G. (2013). Is rational choice theory still a rational choice of theory? A response to Opp. Social Science Information, 52(3), 361-382.

Manzo, G. (2014). Data, Generative Models and Mechanisms. En G. Manzo (Ed.), Analytical sociology (p. 4-52). Chichester: Wiley.

Noguera, J. A. (2006). Introduction : Why We Need an Analytical Sociological Theory. Papers 80, 7–28.

Parsons, T. (1949). The Structure of Social Action. Glencoe, Il: The Free Press.

La Construcción Social de la Investigación Cuantitativa

Lo que originalmente fue un conjunto de entradas, luego una ponencia en el Congreso se transformó en un artículo que publicó la revista Fronteras de la UFRO. El link aquí. (Además se suma a la sección de escritos como corresponde).

Y aprovechemos de colocar aquí el resumen:

La investigación social es siempre un proceso social. Conocer sobre la vida social es una actividad en la cual están insertos todos los actores sociales. ¿Cuáles son procesos sociales en los que emerge y tiene sentido realizar una forma de investigación social, la cuantitativa, que no parece tomar en cuenta estas afirmaciones iniciales? Más bien, para poder entender el estudio cuantitativo de lo social es preciso más bien partir del reconocimiento todos los actores sociales están continuamente interesados en conocer la vida social, y parte de esa búsqueda es una búsqueda de información ‘cuantitativa’.

Si se parte de actores capaces de darle sentido a sus acciones y que requieren información, se puede mostrar que en la vida cotidiana, y desde la perspectiva de esos actores, emergen demandas de información que requieren una aproximación objetual. Esa misma aproximación se refuerza, y requiere ya información cuantitativa, cuando se desarrolla el mundo organizacional.

Luego, efectivamente partiendo de la idea que la vida social es una actividad que requiere de todos los actores buscar información, se puede entender la emergencia y rol del conocimiento objetual y cuantitativo en la vida social. El reconocimiento del carácter significativo y construido de la vida social no minimiza la necesidad y utilidad de la investigación cuantitativa, sino más bien ésta se entiende mejor a partir de ese reconocimiento.

La Construcción Social del Malestar. Una comparación metodológica.

Durante la escritura del Informe Los Tiempos de la Politización, un asunto que resultó interesante en la discusión del equipo fue comparar cómo se expresaba la crítica y malestar entre la evidencia cuantitativa y cualitativa: Esto porque sistemáticamente la evidencia cualitativa muestra mucho más malestar, y una mayor intensidad de él, que lo que ocurre en la encuesta. Una forma simplista de mirar y analizar sería decir ‘una de las dos formas está equivocada’ y observar cuál de ellas lo está. Sin embargo, más fructífero resulta preguntarse cómo se genera esa diferencia y cómo ella se entiende a partir de las características de las técnicas y del contexto en el cual se dan esas percepciones -que es, de acuerdo al Informe, no cualquier contexto, sino uno de politización. Si se tiene en cuenta lo anterior es posible entender esa diferencia y ello nos permite, entonces, comprender mejor las dinámicas que están a la base de las percepciones.

Para entender la diferencia es relevante recordar que es lo que se produce en la conversación grupal: Se expresa el sentido común, aquello que las personas piensan que todos comparten (dado que tienen que dar opiniones que crean tengan sentido para los otros que lo escuchan). La conversación magnifica aquello en que las personas se pueden reconocer como viviendo en común.

En el habla del malestar los chilenos encuentran es fácil encontrarse y reconocerse, y uno sabe que lo que uno plantea será recogido y aceptado por los otros. Y que eso ocurra nos informa sobre el estado de la situación actual. En el juicio individual (de la encuesta) a los chilenos se les facilita reconocer elementos positivos, pero cuando se pasa a la dinámica colectiva de la conversación es el malestar el que aglutina lo que sucede.

Lo que constituye el elemento en el cual se reconocen pueden ser muy distinto en diversos contextos, y es interesante que en la situación del Chile actual, el aspecto en el cual las personas se reconocen como un grupo con elementos comunes sea el malestar. Es relevante enfatizar esto porque en otros contextos no sucede esa dinámica: En otros momentos el habla sensata que aglutinaba no era un habla que se concentraba en el malestar. Mi experiencia en grupos de conversación durante los ’90 era, precisamente, que la forma de presentarse a sí como un sujeto razonable era la de enfatizar el carácter moderado y sopesado de la propia opinión. Lo que constituía sentido común era el habla que reconocía, a cada momento, elementos positivos y negativos -que no era tan iluso para pensar que no había problemas ni tan ciego de no observar elementos positivos. El hecho que esa dinámica no se diera en las conversaciones actuales en Chile, que la conversación lo que hiciera fuera magnificar el malestar, sería entonces un dato sintomático e ilustrativo de lo que sucede en nuestro país.

Si la hipótesis de este informe es correcta y se viven tiempos de politización, lo que ocurre en la dinámica colectiva de la conversación es relevante. Porque si es un dato del contexto actual de politización el que las conversaciones refuerzan y potencian la sensación de malestar, entonces este proceso puede repetirse en miles de conversaciones cotidianas. La dinámica de un juicio individual más moderado en su crítica que es reemplazado por una expresión más crítica en la conversación podría resultar crucial para entender el Chile de hoy.

Mayor seriedad. A propósito de las encuestas CADEM-Plaza Pública.

Desde hace un buen tiempo las encuestas de CADEM Plaza Pública se han transformado en parte de la agenda de medios (son publicadas y usadas). Un tracking semanal de opinión pública tiene su utilidad bien se puede pensar.

Ahora bien, en la sección de metodología -que hay que reconocer CADEM pone al inicio de sus informes, así que nadie puede reclamar que no le dijeron al menos- se dice lo siguiente sobre la muestra (luego de decirnos que usan dos técnicas para producir la información)

Para las entrevistas a través de teléfono fijo el muestreo fue probabilístico, a partir de BBDD con cobertura nacional, propias de CADEM, y dentro del hogar, la selección de los sujetos se hizo por cuotas de sexo, edad y NSE (Alto C1-C2; Medio C3; Bajo D/E).

Para las entrevistas cara a cara en punto fijo con tablet se pre-definieron cuotas para comunas específicas en la Región Metropolitana, Valparaíso y Biobío, además de sexo, edad y GSE (ABC1 y D/E) como complemento al muestreo del teléfono fijo.

Y sobre el tamaño de la muestra:

711 casos. 508 entrevistas fueron aplicadas telefónicamente y 203 entrevistas cara a cara en puntos de afluencia. Margen de error de +/- 3,7 puntos porcentuales al 95% de confianza.

A decir verdad, no funciona. Tiene sentido complementar teléfono fijo (dado el hecho que su cobertura no sólo es baja sino que disminuye, y además no sólo está sesgada por GSE sino además por edad, los hogares más jóvenes tienden a tener menos teléfono fijo). Pero las entrevistas en punto fijo no son un método que permita controlar sesgo alguno, por la simple y sencilla razón que es una técnica que no tiene ningún tipo de control. Siquiera atreverse a poner un margen de error en esas circunstancias es algo inválido.

Se puede plantear que hay excusas: No es posible suponer que un tracking semanal tenga los estándares de otros estudios, que la información que entrega no es tan descabellada. Y si uno está con ánimo magnánimo, incluso podría llegar a escucharlas. Pero sigue siendo cierto que son estudios que no cumplen estándar alguno. Sigue siendo cierto, además, que los estudios de encuestas se usan por las cifras exactas que entregan: No necesitamos un estudio para saber, por ejemplo, que la popularidad del gobierno ha caído; lo que no sabemos, y sería interesante saber, es cuanto -precisamente la razón por la cual se hacen encuestas. Pero el número es lo que no podemos usar de las encuestas CADEM Plaza Pública.

En otras palabras, necesitamos exigir y hacer las cosas con una mínima seriedad.

El Ingreso de Independientes y Asalariados en la CASEN 2013. O de la importancia de cambiar de Mediciones

Cada vez que salen los datos de la CASEN hemos repetido en este blog el mismo ejercicio: Comparar el ingreso de trabajadores independientes y asalariados, controlando por nivel educacional. En todas las ocasiones hasta ahora había dado el mismo resultado: los cuenta propia (o sea sin empleadores) obtenían mayores ingresos que los asalariados (reuniendo asalariados sector público y privado, y excluyendo trabajadores domésticos y FF.AA). La diferencia además era relativamente relevante (alrededor del 50%).

Luego la idea era realizar la comparación de nuevo con la CASEN 2013. Sin embargo en esta ocasión había una diferencia de interés: La CASEN 2013 al revés que en ocasiones anteriores no realizó una corrección por cuentas nacionales; y los trabajadores independientes era uno de los grupos que más se veía afectado por esa corrección. La CASEN 2013 se basa en las respuestas de las personas a las preguntas de ingresos sin mayor corrección.

Esa diferencia en los métodos produce, entonces, una diferencia radical en los resultados. Veamos:

Ingresos Promedio Ocupación Principal por Categoría Ocupacional y Nivel Educacional

Independientes Asalariados Diferencia % Diferencia % CASEN 2011
Sin Educación Formal 142.206 212.223 -33% 1%
Básica incompleta 171.215 228.275 -25% 32%
Básica Completa 205.951 249.033 -17% 44%
Media Humanista incompleta 216.205 263.060 -18% 59%
Media T-P incompleta 200.520 316.515 -37% 30%
Media Humanista Completa 268.758 317.515 -15% 81%
Media T-P Completa 274.388 332.852 -18% 46%
Superior incompleta 355.817 409.832 -13% 103%
Superior Completa 742.002 808.807 -8% 55%

El año 2013 las diferencias son todas a favor de los asalariados, mientras que el 2011 eran siempre a favor de los cuenta propia (como siempre habíamos dado las diferencias en positivo, cuando beneficiaban a cuenta propia, en el cuadro presentamos las diferencias CASEN 2013 en negativo, al ser inversas).

De hecho, los ingresos de la ocupación principal disminuyen para trabajadores por cuenta propia entre CASEN 2011 y 2013 (a partir de media completa de manera bastante fuerte, los ingresos nominales disminuyen alrededor de un 50% en varios casos).

Lo que nos indican los datos es que claramente no se puede comparar directamente los resultados de la CASEN 2013 en ingresos con CASEN anteriores -dado que ha cambiado la metodología. Dado que la metodología de la CASEN 2013 implicó dejar de hacer ajustes anteriores, en principio se podrían hacer comparables de nuevo si se usan los datos brutos de CASEN anteriores (y si mal no me equivoco, las bases están disponibles).

La pregunta que cabe hacerse, es ¿qué dato representa mejor la realidad? Hay algunas consideraciones que se pueden plantear en torno a que realizar ajustes tiene sentido, en particular para trabajadores por cuenta propia: Primero, que son ingresos más difíciles de estimar (al ser inherentemente variables), y una estrategia de respuesta puede ser dar el una estimación mínima (‘menos que eso no gano’). Segundo, hay algunos estudios -pero realizados para EE.UU- que indican que las personas pueden responder a las encuestas de ingresos como si fueran formularios de impuestos y reducir el ingreso reportado, operación que es más sencilla para los asalariados (ver Are Household Surveys Like Tax Forms? Evidence from Income Underreporting of the Self-Employed, Hurst, Li y Pugsley, The Review of Economics and Statistics, 2014, 96: 19-33, y originalmente era un paper del NBER publicado el 2010). Por otro lado, la decisión de no realizar ajustes dice relación con que normalmente no se hacen en otros países, y por lo tanto por comparabilidad tiene sentido no hacerlo. Es necesario decir que, dado que había hecho el ejercicio varias veces estoy algo comprometido con la idea que era más adecuado realizar ajustes, así que la opinión puede no ser completamente imparcial -pero creo que la corrección tenía sentido.

En cualquier caso, nos encontramos con lo que debiera ser conocido: los resultados no son independientes de los métodos. Un resultado que era estable en la CASEN, al menos había ocurrido en todas las que había revisado, al cambiar la forma de medir ingresos se revierte.

¿Consejo? Lea, aunque le parezcan aburridas, las secciones metodológicas de los textos que le interesan, porque los resultados dependen de ellos.

Comparando Encuestas. CEP (Julio 2014) y UDP (Sept-Oct 2014) en Educación.

Una de las consecuencias positivas de que existan varias encuestas es la posibilidad de comparar sus resultados. Y como el tema de educación se ha tomado buena parte de la agenda pública en los últimos meses, algo de utilidad tendrá el ejercicio de comparar resultados en torno a esas preguntas.

Hace algunos meses atrás el CEP publicó resultados de preguntas de educación que fueron bastante discutidos por sesgados, y que también tratamos en este blog (link aquí y aquí). Recientemente el ICSO de la UDP publicó su encuesta regular de opinión pública, que también trataba el tema. Ahora bien, los resultados de la CEP daban la impresión de un fuerte rechazo a las reformas de educación, mientras que lo que mostraría la encuesta de UDP sería, en principio, lo contrario a ello. ¿Son las impresiones de disparidad ciertas? De serlo, ¿que nos indican sobre las encuestas y sobre lo que se puede interpretar de ellas?

Partamos con los datos generales de cada encuesta (resumidos en la siguiente tabla). En el caso de la CEP se ha mezclado elementos de la pregunta y de la respuesta para poder resumir la información -dado que en ella ambos elementos son significativos. La encuesta UDP, en general, tiene formas simples de respuesta (acuerdo o desacuerdo) con lo que la simple presentación de la pregunta es suficiente.

Ítem Porcentaje
Aprobación a que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos? (CEP Julio) 52
Aprobación los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños siempre y cuando tengan un buen nivel y los padres estén informados (CEP Julio) 49
Aprobación que los colegios religiosos tengan un proceso de admisión que verifique si las familias están comprometidas con el proyecto educativo y los valores del colegio (CEP Julio) 37
Aprobación que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión (CEP Julio) 54
Aprobación que la Educación sea entregada por el Estado solamente, para que todos reciban la misma educación (CEP Julio) 41
Importancia terminar con el lucro en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,94
Importancia terminar con el copago en educación escolar, escala 1-7 (UDP Septiembre-Octubre) 5,63
Importancia terminar con la selección de estudiantes en educación media, escala 1-7 (UDP Septiembre-Octubre) 5,55
Los colegios particular-subvencionados debieran pasar a ser del Estado (UDP Septiembre-Octubre) 57
No debiera haber colegios particulares pagados, sino que sólo colegios públicos (UDP Septiembre-Octubre) 49
Todas las universidades privadas debieran pasar a ser del Estado (UDP Septiembre-Octubre) 60

Lo primero es que en realidad no hay demasiada diferencia. Las preguntas donde se manifestaba opinión anti-reforma en la CEP no son las que hace el UDP. La pregunta de importancia de la UDP no es una pregunta de adhesión finalmente (‘es muy importante y es muy mala’ no es una respuesta contradictoria). Lo único que ambas preguntan es sobre el tema del rol del Estado y aunque hay diferencias, ambas básicamente dicen lo mismo: Un porcentaje muy alto de la población plantea que el Estado debiera hacerse cargo de toda la educación. Una cifra muy alta para un país que tiene provisión mixta de hace más de un siglo y donde ese tema, de hecho, no está entre lo que las reformas proponen.

¿Qué es lo que pasa?

Por un lado es posible insistir en el tema del sesgo. La comparación entre las preguntas UDP (que son más sencillas) y las CEP (que son más complejas, integran más de una consideración) es, en general, favorable a la UDP. Por lo menos son más simples de interpretar. Sin embargo, como ya hicimos mención en su oportunidad, lo del sesgo no es un tema tan central -el dato de todas formas es usable si se lo interpreta adecuadamente.

Lo que nos gustaría insistir es más bien otra cosa. Una persona tiene sobre un determinado tema múltiples consideraciones (piensa varias cosas). Cuando ellas están alineadas y se refuerzan el efecto de una pregunta es más débil en general (i.e si uno es consistentemente anti-X, no importa como se haga la pregunta uno responderá anti-X). Pero sí estas consideraciones no están tan alineadas, y hay algunas que impelen a pensar de determinada forma y otras que impelen a pensar de otra forma, entonces sí se producen efectos de preguntas (i.e si la pregunta me hace pensar en A, entonces respondo pro-X; si la pregunta me hace pensar en B, entonces respondo anti-X). Ahora bien, no hay pregunta que pueda evitar hacer pensar en alguna consideración y no hay pregunta que pueda hacer pensar en todas las consideraciones (Todo esto resumiendo algunas ideas que están en Tourangeau et al, The Psychology of Survey Response, que es un libro algo viejo -es del 2000- pero creo todavía es interesante y útil).

Pensemos, entonces, en nuestro caso. Podemos decir lo siguiente: Hablar que el Estado se haga cargo de colegios puede hacer pensar en las personas (es una hipótesis pero creo razonable explorarla) en la vieja educación fiscal, que tengo la impresión es relativamente bien vista. Luego, si se me hace pensar en ello, tenderé a estar de acuerdo con cambios ‘estatalizantes’. Hablar sobre copago para mejorar me hace pensar en las razones por las cuales pago ese copago (o me gustaría hacerlo si pudiera) y por lo tanto me hace pensar en oponerse a esos cambios. Lo importante es enfatizar que, si estamos en lo correcto, estas diferencias no son formas de falsear la realidad, corresponden a lo que ocurre en la realidad.

Reflejarían que en relación a la Educación, los chilenos y chilenas tienen múltiples ideas, que todavía no terminan de cristalizar. En otras palabras, que están pensando en ello. Esto puede ser un problema para quienes nos dedicamos a investigar y encuestar dicha opinión, pero no deja de ser algo positivo en términos de deliberación pública.

La Construcción Social de la Investigación Cuantitativa.

Habiendo escrito algunas entradas sobre mi experiencia en el 8° Congreso de Sociología, supongo que es razonable además escribir algo (y subirlas) sobre las ponencias que expuse en dicho Congreso.

Una de ellas versaba sobre la investigación cuantitativa (y que de hecho sintetiza ideas expuestas en entradas anteriores). La idea central es que sí es cierto que la investigación social es un proceso social, y que los actores son investigadores (ideas a partir de las cuales se suele criticar o limitar las técnicas cuantitativas), entonces se sigue que la investigación cuantitativa es válida y produce información útil. En cierta medida, se radicaliza algunas ideas (en Ibáñez por ejemplo) de porque esta investigación funciona, pero mientras en muchas lecturas esta aceptación es para mostrar lo débil o secundario de lo cuantitativo, aquí es para mostrar su relevancia y potencia.

Lo cual, al final, dice relación con el título de la ponencia: la investigación cuantitativa es una construcción social, pero como cuando los actores construyen, están efectivamente construyendo realidad, de ahí se sigue que ella produce información real.  Sí se quiere, la ponencia es tomarse en serio el hecho que los actores construyen en serio.

Y aquí el link.

Impresiones del 8º Congreso de Sociología en La Serena

Habiendo llegado recién del Congreso de Sociología será interesante declarar algunas de las impresiones de lo que pude ver del Congreso. Por cierto, sólo comentó las ponencias que a mí me resultaron interesantes –hay varias que, siendo buenas en sí mismas, a mí no me llamaron la atención.

Miércoles 22 de Octubre.

Las primeras sesiones que asistí fueron del GT 25 de Trabajo. El estudio de Pamela Caro sobre trabajadores migrantes en dos valles vitivinícolas (uno en Mendoza y Casablanca) mostró como dos situaciones que pueden parecer similares (trabajadores migrantes precarios) en realidad son muy distintos. En el valle de Mendoza tenemos inmigración internacional de familias, que se mueven itinerantemente de valle en valle; en Casablanca tenemos inmigración nacional más bien individual, y las personas tienden a quedarse en Casablanca.

Luego fui al Panel organizado por el COES sobre redes sociales y cohesión –que fue uno de los puntos altos del Congreso creo. Expuso Gabriel Otero de la UDP mostrando los conceptos fundamentales de teoría de redes. Luego Oscar Vásquez del DII de la U de Santiago mostrando sus intentos de formalizar los experimentos de grados de separación de Milgram, usando nociones de esfuerzo y de incentivo, y elementos de la teoría de agente-principal. Se veía interesante –aunque no sé cuanto entendieran quienes no conocen del tema, no tanto por las matemáticas sino por la falta de contexto del problema. Luego Felipe Link de la PUC que mostró un estudio muy bien hecho sobre redes personales en sectores populares del Gran Santiago. Todo en la presentación estuvo perfecto creo. El resultado es uno que ya ha aparecido en otros estudios, mostrando que las redes de sectores populares son muy densas y locales, pero con poca ‘salida’ a la ciudad como tal. Refuerza, profundiza y hace avanzar nuestro conocimiento al respecto. Finalmente Alfredo Joignant habló del cierre del campo político, donde al parecer está desarrollando una aproximación más general a los distintos capitales sociales. Pero habrá que esperar al libro para evaluar mejor estas ideas.

Jueves 23 de Octubre

El día lo inicié en el GT 11 de Malestar. Aquí hay que decir que la discusión posterior a las exposiciones estuvo particularmente interesante. Valentina Olivares expuso una aproximación freudiana al tema del malestar, Carla Azócar de la U de Chile habló de la relación del malestar con la salud mental, y se expuso una investigación de la U de Concepción, donde en principio exponía Bernando Castro, pero finalmente expuso otra persona del equipo de investigación, sobre construcción de la desconfianza. La discusión se centro en cómo se relaciona el malestar con declaraciones de bienestar (tenemos señales, por ejemplo, de malestar individual en salud mental, ¿cómo ello se relaciona con el hecho que las personas declaran estar satisfechas? ¿Qué pasa ahí?); en la construcción política del malestar (uno de los asistentes, que es parte junto a Azócar del grupo de Mayol, habló de una expresión espasmódica del malestar, precisamente por cómo se organiza la subjetividad); y de la relación del Estado con el malestar (las personas ‘piden’ Estado, pero al mismo tiempo hay expresiones de rechazo a él). Una mañana productiva creo.

A medio día fui al GT 15 de Ciencia y Tecnología. Siendo una especialización relativamente nueva, hay que decir que este campo está bastante bien en Chile al parecer. No fui, pero me comentaron varias veces, a una exposición de Claudio Ramos sobre las redes y obra de Brunner, Moulián y Morandé que parece estuvo brillante –pero Ramos siempre trabaja bien hay que decirlo. El día jueves Gabriel Otero nos mostró dos ‘ideales’ de formas de trabajo sociológico que están en juego en la actualidad en la academia, y cómo ellos han ido variando: El paso del modo tradicional –quien escribe libros sobre la situación general del país y se relaciona con la política- a un modo profesional (no me gusta mucho usar esa palabra, pero bueno hay que usar una para describir al fenómeno) –de quien escribe papers ISI sobre temas específicos y ya sin relación con la política. Jorge Gibert nos mostró las redes de colaboración en dos disciplinas –Bioquímica y Ciencias de la Información- y sus variaciones (Bioquímica con redes más integradas y con núcleos de colaboración más grandes) y el impacto de esas variaciones en la productividad. Alejandro Espinoza mostró un estudio también de redes de colaboración pero en este caso en Astronomía en Chile. Los resultados era muy distintos de la ponencia anterior, pero creo que esto se debe en parte a la diferencia metodológica (Gibert examino redes de personas, Espinoza redes de papers). José Coloma expuso un estudio sobre redes de co-ocurrencia de palabras en la investigación de la UFRO para identificar áreas temáticas de investigación, más allá de lo disciplinar. Como la metodología me podría ser útil para algunas cosas que quiero hacer me pareció muy interesante. Carolina Pinto presentó un estudio de entrevistas sobre estudiantes de postgrado y nos enfatizó la continua relevancia de la homogamia universitaria (i.e hacen clases en la U X quienes estudiaron en dicha U).

Finalmente, fui al GT 24 de Sociología del Individuo. Aquí, siendo un grupo muy variopinto, me llamaron mucho la atención en particular dos estudios. El primero presentado por Karol Morales de la U Valpo sobre las formas en que desde la política pública se piensa a los beneficiarios. Primero que son vistos como trapecistas (pensé inicialmente que era un nombre que le puso el equipo investigador pero después mostraron que el nombre se usa efectivamente en los mismos documentos oficiales) –o sea quienes se pueden arriesgar y aprovechar oportunidades porque la política pública les entrega una malla de seguridad si fracasan en esos riesgos. Felipe Acuña expuso sobre subjetividad de profesores, y mostró una metodología muy interesante para poder hacer explícitas elementos que pueden estar menos elaborados (para lograr hacer visible lo inédito viable usando conceptos de Freire). El uso de metáforas, lo que él llamo temas generadores (que se refieren a cómo te aproximas a problemas que debes resolver), un estudio en fases (primero haces un focus más normal, luego presentas al grupo lo que resulta del focus para ir más allá de esas impresiones). Las ponencias no descritas no lo son porque no fueran de calidad (por ejemplo Oriana Bernasconi presentó un estudio sobre una incubadora de emprendedores muy bueno pero como el tema no me interesa tanto no profundizo en él).

Viernes 24 de Octubre

En la mañana fui al GT 12 de Metodología (donde expuse, pero obviamente no hablaré de mi exposición). Luego Emmanuelle Barozet (U de Chile) y Oscar McClure (U de Los Lagos) nos presentaron la metodología de juegos que han usado en el marco de sus estudios de desigualdad. Un juego de clasificación (a las personas se les presentan una serie de cartas donde hay personas concretas que deben agrupar, y como lo hacen en grupo además deben hacer jugar y validar sus criterios), un juego de personaje desconocido (orientado a descubrir que criterios usan las personas para identificar socialmente a las personas) y el juego del dictador (en que una persona distribuye pesos ficticios entre varios personajes que sirve para descubrir orientaciones sobre desigualdad). Muy interesante. Luego Salvador Vargas nos mostró como logró validar un indicador de desafección política usando LAPOP, y bueno, otra muestra más de cómo el trabajo metodológico es siempre complejo cuando uno se la toma en serio. Hector Mora de Temuco hizo una presentación sobre las retóricas científicas, y en particular sobre las retóricas de la objetividad: Cómo para presentar datos los investigadores muchas veces eligen (y sobreusan) una presentación objetivizante, que en realidad no da cuenta de lo que están haciendo. Algunos de los ejemplos –de cosas publicadas o presentadas- eran bien claros en las exageraciones del estilo objetivizante (unos gráficos bien horribles a decir verdad). Me gustó el grupo a decir verdad.

A media mañana fui al GT 5 de Emplazamientos a la Sociología (que en realidad, lo mencionaron los co-ordinadores del grupo ocupa un poco la posición de ‘varios’). Primero expuso Nicolás Sanhueza de la UAH sobre la teoría de la actor-red, lo que produjo un debate bien interesante sobre Latour (en todo caso, tengo la impresión que Bernasconi está creando escuela al respecto en la UAH). Luego Adela Bork de la U de Valparaíso sobre como nuestras prácticas de enseñanza y académicas disciplinan y cierran más que permitirnos estar abiertos a lo que sucede en la sociedad. Finalmente Felipe Rivera de la UCEN más que nada nos anunció un tema –el de Big Data, el que creo muy central para entender lo que se nos viene: Es efectivamente un emplazamiento, algo que hacen otros que pone en juego lo que la Sociologìa tiene que decir. Pero, como él mismo dijo, es el inicio de una reflexión.

Finalmente estuve en el GT 25 de Trabajo, porque también me tocaba exponer (y de nuevo no diré nada de mi exposición). Las dos ponencias de mayor interés, y las que generaron mayor debate fueron las siguientes: Maureen Berho de la UDP expuso sobre los seguros de cesantía y como afectan la subjetividad –que tuvo el siempre bienvenido hecho y actitud de decir, bueno una de nuestras hipótesis no funcionó, aunque al menos estás otras sí lo hicieron. En cualquier caso un estudio bien serio multinivel comparativo a nivel global. Alexander Páez de la Fundación Sol expuso sobre el endeudamiento y su relación con el mundo laboral. Básicamente la idea es que los niveles de endeudamiento no se explican por factores individuales (que son consumistas etc.) sino por el tema de bajos salarios (que en los últimos años no han seguido el aumento de la productividad) que hace que muchos no puedan enfrentar sus gastos cotidianos con sus sueldos y requieran el uso del crédito.

Y todo concluyó con una conferencia de Cristián Bellei sobre, finalmente, como se ejerce el oficio del sociólogo en Chile –que estuvo bien interesante a decir verdad. Pero como en realidad estas charlas finales no reflejan lo que sucede en el Congreso lo dejaremos fuera de nuestro reporte.

Del sesgo de la encuesta CEP y de cómo analizar datos sesgados

Que la reciente encuesta CEP (ver aquí resultados) tiene sesgo en sus preguntas, y en particular en las de educación, es tan evidente que en menos de un día desde su presentación ha quedado, en cierta medida, establecido como un hecho.

El sesgo de las preguntas.

Y si alguien quisiera que esa percepción de sesgo se argumentara, bastaría con hacer notar que no es procedente hacer preguntas dónde a una opción se le da en la forma de pregunta una razón para elegirla y a la otra no. Es la forma más obvia de sesgo. Tampoco corresponde, en general, hacer preguntas cuyas alternativas no cubren todas las posibles respuestas.

Dados esos lineamientos generales preguntas y alternativas como las siguientes claramente no resultan preguntas aceptables (para decirlo de forma clara: son el tipo de preguntas que si las presentara un alumno en un curso de metodología harían que su trabajo fuera reprobado)

¿Qué le parece que los colegios particulares subvencionados, además de entregar educación, generen ganancias a sus dueños? Alternativas:

  1. Le parece mal que se obtengan ganancias y debiera estar prohibido por completo
  2. Le parece bien, siempre y cuando tengan un nivel educacional bueno y los padres estén informados

¿Cree Ud. que es bueno que los padres puedan complementar el subsidio educacional que otorga el Estado a través de un copago (pagando matricula y/o colegiatura) para mejorar la educación de sus hijos, o Ud. cree que esto debiera estar prohibido? Alternativas:

  1. Es bueno que  los padres puedan complementar el subsidio
  2. Debiera estar prohibido que los padres puedan complementar el subsidio

A los sesgos de las preguntas hay que sumar los sesgos de la interpretación. Por ejemplo,  ayer 14 La Segunda tuvo como titular que el 63% apoyaba que el Gobierno negociara con la oposición. Lo que la población respondió fue: Me gustaría que se tratara de llegar a acuerdos entre las coaliciones políticas antes de la votación en el Congreso. Ahora bien, ¿es la oposición equivalente a lo anterior? (¿es la oposición, léase Alianza, la única coalición con la que hay que discutir?) Más aún, pensando en posibles interpretaciones políticas, eso no es necesariamente un apoyo a democracia de los acuerdos. Más aún, eligió en un 63% esa respuesta frente a la alternativa de ‘Me gustaría que se impusiera el programa de gobierno sin consideración de la minoría en el Congreso’.

O pensemos en preguntas específicas. Por ejemplo la pregunta sobre selección académica: ¿Está usted de acuerdo o en desacuerdo con que los liceos de excelencia del país, como el Instituto Nacional, seleccionen a sus alumnos a través de pruebas de admisión? Ahora bien el 54% está de acuerdo con ello. De eso no se sigue que en general estén de acuerdo con la selección académica -la pregunta ex profeso fue sobre liceos de excelencia. O la pregunta sobre si las universidades deben ser gratuitas para todos o sólo para estudiantes de menos recursos. Un 57% declaró que las universidades debieran ser gratuitas para quienes tienen menos recursos. Ahora bien, ¿quienes son, para la población, los estudiantes de menos recursos? No es claro que esa frase les diga lo mismo a quienes respondieron la encuesta que a la élite que lo interprete.

Quizás lo más central es lo siguiente: El rechazo a la reforma como presentada, y a sus principios, no es igual a la aceptación del status quo (o incluso, de preferir sólo cambios leves). Las personas pueden desear cambios muy importantes a pesar que no les convenza la reforma actual y sus parámetros.

 

¿Cómo se puede usar los datos del CEP?

Una vez establecido que las preguntas son sesgadas, ¿se sigue de ello que la información que entrega la encuesta no es usable? Creo que la respuesta a lo anterior es negativa, y que la información de la encuesta puede usarse con provecho.

Primero porque las respuestas a una pregunta de encuesta son, indefectiblemente, respuestas a una pregunta de encuesta. No hay tal cosa como la expresión de la opinión real de las personas a través de estas preguntas. Las personas siempre eligen entre alternativas ya dadas a una pregunta ya dada. Tampoco es que ello ‘distorsione’ la opinión, porque eso implicaría que hay tal cosa como una actitud establecida distinta del hecho de responder a cuestiones en una conversación. Si preguntadas de tal forma responden X y preguntadas de esta otra forma responden Y, ambos son datos importantes para entender el proceso social. Al fin y al cabo, en la vida social sucede que se nos plantean preguntas dadas con alternativas pre-existentes, y no por estar dadas dejan de tener efectos sociales reales. Luego, si bien las preguntas están mal planteadas representan un hecho real: Es lo que la gente piensa cuando se le presentan alternativas tan sesgadas como esas.

Segundo porque si uno tiene conciencia de lo anterior, entonces es posible interpretar mejor los resultados y efectivamente encontrar un mejor uso de ellos. En otras palabras, si en vez de hacer una lectura inmediata tomo en cuenta que estamos ante respuestas específicas dadas en una situación concreta los datos me permiten entender algo de lo que sucede en Chile. Los resultados de las preguntas son resultados ‘exactos’ a condición que los analicemos en lo que son exactos (como respuestas a esa pregunta), al salirnos de ello pierden esa ‘exactitud’.

Una vez dicho lo anterior, entonces ¿que nos dice la encuesta?

  • Es un hecho real de la sociedad chilena que, presentadas alternativas sesgadas como lo hizo la encuesta, la mayoría de los chilenos rechaza eliminar la selección y el copago. Para todo aquél que le interese influenciar los términos del debate, eso es una información muy relevante.
  • Es un hecho también que frente a alternativas y preguntas sesgadas entre un 35% y un 40% de la población responde en cada pregunta a favor de un cambio radical: Por ejemplo un 37% piensa que el copago debiera estar prohibido incluso sí se le dice que es para mejorar la educación de sus hijos. Ese es un núcleo duro.
  • Es un hecho, anómalo en el contexto de la encuesta y en el contexto histórico de Chile, que un 41% de la población declare que ‘Es bueno que la educación sea entregada por el Estado solamente, para que todos reciban la misma educación’. Va en la misma lógica de un núcleo duro importante a favor de cambios muy radicales (de hecho, más radicales de lo que cualquiera ha planteado)
  • Es un hecho que la respuesta de las persona varía de acuerdo a las consideraciones que se pongan explícitas. La situación de las dos preguntas de selección es interesante. El CEP (y esto es un acierto de la encuesta, reconozcamos lo que está bien hecho) diferenció la selección por proyecto educativo y la selección académica y encontró resultados dispares. La selección académica, si es que además se plantea en relación a liceos de excelencia, es aceptada (54%) pero en relación a proyecto educativo no es aceptada (55% en desacuerdo). Si la CEP hubiera hecho un juego similar en otras preguntas hubiera sido de interés.
  • Es un hecho que las personas prefieren colegios de estatus socioeconómico similar: Prefiero que mis hijos vayan a colegios con sus ‘iguales’ a qué estén en colegios con ‘distintos’. Una posible interpretación es que el miedo a juntarse con ‘los de más abajo’ es mayor que la posibilidad de ‘mejora’ por compartir con ‘los de más arriba’. En una sociedad altamente segregada en general no es raro que eso se siga valorando en el colegio. Ahora bien, la pregunta es comparada (se realizó también el 2006, por lo que no es un problema de este cuestionario) y nos muestra una disminución leve de esa preferencia. Sí se quiere, ese es el núcleo duro contra la reforma (del mismo modo que ya vimos algo del núcleo duro a favor de cambios).

Para calibrar los datos sería bueno disponer de las bases (el CEP no las ha liberado al momento de escribir estas líneas) y quizás sería excelente poder disponer de una encuesta con el sesgo contrario: Que buscara respuestas pro-reforma. Al tener los efectos de dos sesgos distintos podemos calibrar la variación de las respuestas de acuerdo a las consideraciones que cada pregunta instala.