Anotaciones sobre Las Reglas de Durkheim (II). Considerar los hechos sociales como cosas

El capítulo 2 de Las Reglas (las reglas relativas a la observación de hechos sociales) se inicia con una frase famosa y discutida:

La première règle et la plus fondamentale est de considérer les faits sociaux comme des choses (Cap 2. p 15)

Esta frase ha sido interpretada de múltiples formas. En particular, en ocasiones se la lee como un rechazo a la subjetividad, en términos que la metodología de Durkheim no le da relevancia a las creencias y conceptos del actor. Estos serían más bien prenociones, y la recomendación de Durkheim sobre estas prenociones es bien clara:

Le premier de ces corollaires est que: Il faut écarter systématiquement toutes les prénotions. Une démonstration spéciale de cette règle n’est pas nécessaire; elle résulte de tout ce que nous avons dit précédemment. Elle est, d’ailleurs, la base de toute méthode scientifique (Cap 2, II, p 31)

Sin embargo, esa lectura equivoca cual es el centro de la preocupación de Durkheim. La regla está dirigida al investigador no se refiere a cuál es el objeto del estudio.

El núcleo de la regla es que el investigador debe aproximarse al estudio de la vida social como algo externo a él. La insistencia en que la vida social debe estudiarse como cosa y no como idea, es una crítica a la práctica en la que el investigador parte de su propia idea de como son las cosas y la da por cierta. Primero desarrollaremos esta idea. Luego, abordaremos como esta idea se transfiere al tema del objeto de estudio

Considerar los hechos sociales como cosas implica que el investigador debe salir de sus ideas

Esto hace entonces la regla plenamente compatible con la idea de estudiar los conceptos de los actores, o de tomarse esos conceptos de manera seria como conformando la vida social. Puesto que esos conceptos son, para el investigador, también algo externo, algo ‘dado’ al investigador:

Est chose, en effet, tout ce qui est donné, tout ce qui s’offre ou, plutôt, s’impose a l’observation, Traiter des phénomenes comme des choses, c’est les traiter en qualité de data qui constituent le point de départ de la science (Cap 2, I, p 27)

No faltará quien dirá, basado en las discusiones contemporáneas, que ese énfasis en el carácter dado de la evidencia es una muestra del positivismo de Durkheim, y que siendo equivocada, demuele el punto. El caso es que, lo importante es fijarse en la intención del autor: Nuevamente es criticar el hecho que el investigador pueda simplemente usar sus propias ideas, sin realizar observación. El que esa observación sea pasiva (sobre algo dado) o activa (que el ‘dato’ se construye) es lo secundario. Lo importante es realizar esa observación.

Lo que está criticando Durkheim es el siguiente procedimiento, que ejemplifica aquí con la teoría del valor en economía (pero anteriormente lo ha ejemplificado en criminología y en otros ámbitos de estudio):

C’est que, pur la faire [la teoría del valor], l’economiste se contente de se recueillier, de prendre conscience de l’idée qu’il se fait de la valeur, c’est-a-dire d’un objet susceptible de s’échanger; il trouve qu’elle implique l’idée de l’utile, celle du rare , etc., et c’est avec ces produits de son analyse qu’il construir sa définition (Cao 2,  I. p 25)

Pensar que el investigador simplemente poniendo en orden sus ideas puede conocer mucho del mundo, es ello lo que está criticando Durkheim. No habrá que defender demasiado que está en lo correcto. Por último, porque la cantidad de posibles esquemas que pueden ser producidos simplemente pensando son múltiples, y por lo tanto bien poco sabemos cuál de ellos podría realizarse. O siguiendo un razonamiento a la Popper,  que, siendo esquemas genéricos , pueden aplicarse a cualquier situación pensable -pasa A y el esquema aplica, pasa no-A y el esquema también aplica-, lo cual nos muestra lo vacío que ellos resultan ser.

Ese es el centro de la crítica que realiza Durkheim y el eje de su propuesta. Y no queda más que decir, frente a ello, que es rigurosamente cierto.

Considerar los hechos sociales como cosas implica observar desde la práctica

Ahora bien, se puede seguir argumentando que si bien ese es el eje, hay de todas formas una devaluación de los conceptos e ideas como tal, y en ese sentido de la subjetividad. Cuando Durkheim quiere explicar y ejemplificar el tema de los datos, unas frases más adelante de nuestra segunda cita, continúa de este modo:

Ce qui nous est donné, ce n’est pas l’idée que les hommes se font de la valeur, car elle est inaccessible: ce sont les valeurs qui s’échangent réellement au cours des relations économiques. Ce n’est pas telle ou telle conception de l’idéal moral; c’est / l’ensemble des règles qui déterminent effectivement la conduite. Ce n’est pas lídée de l’utile ou de la richesse; c’est tout le détail de l’organization économique (Cap 2, I, 27.28)

Es claro que no estamos solamente frente entonces un llamado a investigar la realidad social y no simplemente quedarse en las prenociones del investigador: Observemos no las ideas de que las personas se hacen del valor, sino como ellos se intercambian.

¿No vuelve aquí, entonces, el tema del abandono de la subjetividad? De hecho, no. Y no lo hace por una consideración que es crucial en toda las teorías que enfatizan la subjetividad: Que ella se traduce a la acción, que esos conceptos son necesarios para comprender la acción. Luego, si ello es correcto entonces cuando observemos el intercambio o la organización económica, aquellos elementos de los conceptos y nociones de los sujetos que son parte de esos intercambios y organización tendrán que manifestarse de alguna forma que resulte posible de indagar.

Durkheim en este sentido no está negando la subjetividad. Lo que nos está diciendo es que lo que nos interesa está, en primer lugar, en esos procesos y prácticas, en esos hechos que pueden ser observados. Si la subjetividad importa, es porque se requiere para analizar dichos procesos y prácticas -que es lo que nos dicen esas mismas teorías de la subjetividad.

Más aún, podemos recordar una distinción que, por ejemplo hacen tanto Giddens y Bourdieu, sobre la diferencia entre el discurso del agente y los conceptos que están instalados en la práctica. Lo que el agente dice que hace no necesariamente corresponde a los conceptos que efectivamente usa en su práctica. Y este es, precisamente, el punto de Durkheim, y la razón fundamental por la cual insiste en sus ‘hechos sociales como cosas’: Lo que nos interesa es la práctica y las interacciones sociales. ¿Alguien podría decir que esa es una recomendación errada?

Del mismo modo que la entrada anterior, estamos usando la edición Quadrigé de las Presses Universitaires du France, 2013.

Anotaciones sobre Las Reglas de Durkheim (I). La Definición de Hecho Social

Iniciamos aquí una pequeña serie de entradas en torno a una de las obras más clásicas de la sociología: Las Reglas de Durkheim. En tiempos recientes la fortuna de Durkheim, y de la visión metodológica que las Reglas encarnan, ha experimentado fuertes embates. A las críticas tradicionales del conservadurismo, y a una visión que negaría el carácter subjetivo de la vida social (digamos, el Giddens de las Nuevas Reglas), se han sumado otras en torno a que su visión social de la vida social (la exigencia de explicar lo social por lo social) fue una apuesta equivocada, y así.

Estas entradas defenderán el punto de vista contrario: Una parte importante de las apuestas teóricas que realiza Durkheim en las Reglas son fundamentalmente correctas. No siempre se obtienen las consecuencias correctas de ella (y de ello se puede incluso culpar al propio Durkheim), pero la aproximación que realiza  -en lo fundamental- da cuenta de elementos centrales para comprender la vida social. En particular, los elementos fundamentales (la definición de hecho social, las reglas de observación y de explicación) son correctos. Las afirmaciones incorrectas son aquellas que derivan del organicismo de Durkheim, pero esa postura es independiente de las posturas básicas: Es posible mantener las posturas sobre los temas mencionados sin ser organicista.

Partamos con la definición de hecho social en el capítulo 1. Dejemos hablar a Durkheim y su definición clásica:

ils consistent en des manières de agir, de penser et de sentir, extérieures à l’individu, et qui sont douées d’un pouvoir de coercition en vertu duquel ils s’imposent à lui (Cap 1, p 5)

Ahora bien, en principio, una definición no es correcta o no. Uno puede definir las cosas como uno desee. Lo importante es que sean útiles: que delimiten un conjunto de situaciones, que más o menos corresponde a las que uno quiere delimitar. Lo que haremos en el resto de esta entrada es mostrar que esa definición es útil en ese sentido, y que buena parte de las críticas que se le han realizado son inexactas e incorrectas.

Los puntos centrales de la definición son (a) carácter exterior del individuo y su (b) carácter coercitivo. En relación con lo primero, es obvio que Durkheim no quiere decir que estos hechos (digamos, el lenguaje o las reglas morales) no operen en el individuo. Lo que está puntualizando es que son formas de actuar, pensar y sentir que no son generadas por el individuo y no se reducen a lo que cada individuo puede hacer

Le système de signes dont je me sers pour exprimer ma pensée, le système de monnaies que j’emploie pour payer mes dettes, les instruments de crédit que j’utilise dans mes relations commerciales, les pratiques suivies dans ma profession, etc., etc., fonctionnent indépendamment das usages que j’en fais (Cap 1, p 4)

Es claro que la cita recién usada es correcta. El español como lenguaje no se reduce a lo que yo hablo y así sucesivamente. Conste que esto no implica -para nada- que esas prácticas puedan subsistir sin individuos que la realicen: El español no puede subsistir como práctica activa sin hablantes. Esa es una afirmación completamente separada que puede decirse con la definición usada: Todo hecho social (id est exterior a cada individuo y coercitivo) no puede subsistir sin que existan individuos que lo realicen y pongan en acción.

Hay un tema que es pasado por alto por los críticos de la afirmación: Que entre cada individuo (y recuerde que Durkheim en su ejemplo usa la primera persona singular, ‘yo’) y todos los individuos hay un salto. Y que ese salto no puede ser superado por ningún individuo -el conjunto de individuos y lo que ellos realizan es una realidad social, ‘exterior’ en relación a cada individuo en particular. Es, de hecho, por eso que las dos características (exterior y coercitivo) aparecen como exigencias diferentes en la definición: Uno puede pensar en un hecho exterior a cada individuo (cualquier característica que dependa del conjunto de individuos) que no fuera coercitivo.

Pasemos a la segunda parte. La disputa aquí no es claro si existen hechos coercitivos en la vida social, es claro que existen. La pregunta es sobre si esa característica efectivamente delinea al conjunto de situaciones que nos interesa reunir. Durkheim enfatiza en torno al carácter coercitivo que eso no se refiere a si aceptamos o no la exigencia social -incluso si la aceptamos sigue siendo una exigencia. Y tampoco se refiere al hecho de si la presión requiere o no violencia física: incluso si ella no existe, la presión sigue existiendo. Y eso es lo definitivo.

Ailleurs, la contrainte, pour n’être qu’indirecte, n’en est pas moins efficace. Je ne suis pas obligé de parler français avec mes compatriotes, ni d’employer les monnaies légales; mais il est impossible que je fasse autrement (Cap 1, p 5)

El imposible puede resultar algo exagerado, (y ya veremos que no es indispensable para la definición) pero los ejemplos son claros en mostrar la existencia de una presión sobre el actor: Si a mi alrededor todo el mundo habla español, si quiero comunicarme con ellos, la opción de hablar en ese idioma es claramente la que corresponde, más allá de si prefiriera hablar en otro idioma (y hablaré en otro idioma cuando el contexto social, los otros con los que interactúo, así lo permitan). El hecho de la presión se refiere finalmente sólo a la circunstancia que una práctica usada por los otros actores con quienes interactúo hace más difícil no usarla (por eso repito la imposibilidad no es necesaria para definir esta característica).

Ninguna de las características de la definición requiere, y esto incluso en contra del uso habitual de Durkheim, que ello opere al nivel de la sociedad global: No es la sociedad lo que es exterior al individuo, no es la coerción algo de la sociedad. El hecho que lo que ocurre en la interacción es exterior a cada individuo ocurre bajo cualquier contexto de interacción, a cualquier nivel. Del mismo modo, la presión que se genera por el hecho mismo que es más fácil (produce menos fricción) seguir la práctica de mis co-interactantes también ocurre a cualquier nivel. Se puede plantear que esas características son más claras y fuertes al nivel societal, pero no son exclusivas de ella. Ocurren donde quiera que hay situaciones de interacción.

Durkheim de hecho discute un problema similar: La idea que su definición dejaría fuera a aquellas situaciones no plenamente estabilizadas y todavía no constituidas (que, de hecho, uno puede decir es lo que le critica Latour). Ahora bien, nos dice:

Mais il est d’autres faits qui, sans présenter ces formes cristallisées, ont et la même objectivité et le même ascendant sur l’individu. C’est ce qu’on appelle les courants sociaux. Ainsi, dans une assemblée, les grands mouvements d’enthousiasme, d’indignation, de pitié qui se produisent, n’ont pour lieu d’origine aucune conscience particulière (Cap 1, p 6)

Nuevamente: Que estas corrientes no tengan como origen una conciencia particular no quiere decir que el primer momento puede ser iniciado por un actor en particular. Pero la corriente como tal es algo que supera a cada individuo (un grito de entusiasmo individual sin que exista el ambiente donde los interactantes toman ese grito y se expande no produce ese resultado, y esa situación es algo que generan todos los interactantes).

Durkheim es consciente que, en general, existe un continuo de situaciones de estabilidad en la vida social. Pero para todas ellas nos dirá que funcionan sus características. Ya vimos lo que planteaba en torno a situaciones inestables. También lo dirá para situaciones muy estables. Comenta que los hechos que se refiere son maneras de hacer, pero ¿que pasa con las maneras de ser? (con la distribución de la población en el territorio, con las vías de comunicación o las modalidades de las viviendas, Cap 1, p 12). Ahí nos dirá entonces, después de observar que ahí también se cumplen las características que menciona, que:

Mais elle n’est même pas utile: car ces manières d’être ne sont que des manières de fair consolidées. La structure politique d’une société n’est que la manière dont les différents segments qui la composent ont prise l’habitude de vivre les uns avec les autres (Cap 1, p 13)

Las formas de ser son producto, al final, de las formas de hacer -y parecen distintas, nos dice Durkheim, pero no lo son fundamentalmente. De hecho, es posible encontrar gradaciones. Al pasar, uno puede observar que los hechos morfológicos de Durkheim incluyen varios que se manifiestan a través de y con objetos (los inmuebles, las vías de comunicación) -la idea que la definición durkheimiana exige no observar la relación con el mundo objetual no tiene demasiada base.

A lo largo de la argumentación, entonces Durkheim insiste que las características básicas de exterior y coercitivo operan en todos los niveles de estabilidad. El mismo argumento que hemos realizado en torno a que ocurre a todos los niveles de interacción. Es por ello, entonces, que pueden esas características delimitar bien lo que interesa estudiar como mundo social. O como dice Durkheim en una de las frases finales del capítulo:

Est fait social toute maniére de faire, fixée ou non, susceptible d’exercer sur l’individu une contrainte exterieure (Cap 1, p 14)

El texto usado es la edición de las Presses Universitaires de France, Eidición Quadrige. 2013.

La Particularidad de las Encuestas Electorales

El miércoles 13 de este mes, el Colegio de Sociólogos tuvo a bien realizar un Panel sobre Encuestas Políticas. En la discusión, a propósito de la diferencia entre encuestas de opinión y encuestas electorales, mencioné como comentario una vieja idea de Jesús Ibáñez: Que la encuesta y la elección son actividades homólogas: En ambos casos se realiza la misma operación (se realiza una selección entre varias alternativas pre-determinadas); y que ello constituye, al final de cuentas, una ventaja de la encuesta electoral sobre otras -donde ello no ocurre.

A propósito de lo anterior, Bernardo Mackenna -que exponía como panelista- hizo el comentario que la encuesta electoral no era la única que tenía un baremo externo. Se puede comparar los ingresos que se obtienen en la CASEN con los datos del Banco Central, se puede comparar los datos de las Encuesta Nacional de Seguridad Ciudadana con las estadísticas de delitos. Y sin embargo, pareciera ser que sólo a las encuestas electorales se les pide una corrección tan precisa.

Creo que a partir de esa discusión se puede perfilar mejor la particularidad de la encuesta electoral -y por qué es, finalmente, muy razonable que a ellas les pidamos una exigencia de corrección tan alta. Volvamos a la observación inicial. Ella no es que hay baremo externo, es que la operación de responder una encuesta y de votar en una elección son la misma operación. Entonces, es claro que ello no ocurre en los otros casos.

En las encuestas de actitud simplemente porque claramente la actitud o creencia que uno tiene no es -para nada- equivalente al responder una encuesta. La respuesta de la encuesta está siempre alejada, no puede corresponder exactamente, a lo que se quiere medir. Hay una distancia infranqueable. No por eso dejan de ser útiles las encuestas de opinión, pero esa utilidad se construye a través de esa distancia.

En el caso de otras encuestas de comportamientos es cierto que, en principio, hay una ‘respuesta correcta’ que es posible determinar. Existe tal cosa como los ingresos de una persona, y ello puede decirse. Sin embargo, sigue siendo cierto que la operación de recibir un ingreso (o la situación de sufrir un delito) no son equivalentes a la de una votación: Recibir un sueldo no es seleccionar una alternativa de un listado, tampoco lo es el realizar un trabajo o el ser asaltado. La distancia aquí no es infranqueable, pero dependiendo de la situación la pregunta y la realidad tienen distancia. Es cosa de pensar en todas las dificultades que existen en lo relativo a poder determinar el ingreso del hogar (es cosa de revisar el cuestionario de la CASEN y observar todas las operaciones que requiere una persona para seleccionar una respuesta). El mapeo de lo real y el mapeo de la encuesta no son idénticos. Más aún, el baremo externo a su vez es distinta de la realidad que queremos investigar: Los ingresos que reciben las personas no son las cuentas nacionales (hay ingreso que no aparece en ellos), los delitos que efectivamente suceden no son equivalentes a las denuncias (hay delitos que no se denuncian, hay denuncias que no siempre corresponden a un delito). Si bien en principio es posible realizar una prueba de realidad, ella es manifiestamente compleja.

El caso de la encuesta electoral es, entonces, claramente más sencillo. Seleccionar al candidato X de una lista de posibles candidatos es la misma operación que realizo al votar. Por cierto, la medición no es trivial ni transparente, pero la cercanía estructural de las operaciones facilita la resolución de esos temas (en última instancia, es tan equivalente que el CEP puede, simplemente, hacer encuesta con voto en urna). Más aún, aquí la prueba de realidad es perfecta: El conteo de votos es el resultado de la votación (mientras que las cuentas nacionales no son el ingreso nacional). La encuesta electoral, que tiene sus propios problemas, tiene bastante menos problemas de validez de medición y una prueba de corrección que, al ser más precisa, permite un mejor ajuste.

Ahora bien, ese permite un mejor ajuste, se traduce en un ‘se demanda mejor ajuste’. Es razonable suponer que la CASEN no de lo mismo que las cuentas nacionales (y en los tiempos en que se ajustaban los ingresos declarados de la CASEN con dichas cuentas, había cambios relevantes). La dificultad de medir el ingreso, y el hecho que las cuentas nacionales no sean la realidad a medir, tiene esa consecuencia. Pero dado que en la encuesta electoral hay menores dificultades, y la realidad es perfectamente conocida, es razonable que se pida mayor precisión y se tengan mayores exigencias en la medición.

En algún sentido, hasta pocos años atrás la encuesta electoral en Chile era un asunto relativamente sencillo. Ahora, debido a diversos cambios (que, por cierto, tampoco está claro en concreto que está detrás de los problemas recientes), esa medición se ha vuelto más compleja. Y, sin embargo, sigue siendo algo menos complejo que lo que el INE debe resolver con empleo, el MDS para medir pobreza y uno puede continuar con otros casos. Y si, en última instancia, esos otros problemas han podido ser resueltos (al menos, se puede entregar una medición que tenga algún sentido y validez), entonces uno debiera esperar que ello también ocurriera con las encuestas electorales.

De las encuestas en el contexto actual. O cómo las técnicas siempre dependen de los contextos sociales

Entre todas las sorpresas que para muchos trajo el 2016 ha aparecido una regularidad: El fracaso predictivo de las encuestas. O al menos eso se ha dicho en torno al Brexit, al plebiscito colombiano, también en torno a las encuestas de la municipal, y finalmente también se ha repetido ello con relación a la reciente presidencial en EE.UU. Se podría plantear que dicho fracaso ha sido exagerado: Las encuestas Brexit indicaban un resultado parejo, en el caso de EE.UU las encuestas nacionales predecían que Clinton obtendría más votos que Trump, y así sucedió (estando la diferencia en el margen de error). Sin embargo, serían defensas débiles.

Porque el caso es que a partir de las encuestas se construyeron expectativas, y ello sin falsear los datos. Los agregadores de encuestas, y recordemos que el mero ejercicio de agregar en principio debiera aumentar la precisión, indicaban ciertos resultados. Hay algo entonces más complejo de fondo.

Si nos remitimos a la realidad chilena nos encontramos con una serie de asuntos en la investigación de encuestas que requieren, al menos, un examen. Por un lado, las encuestas cara-a-cara cada día más se encuentran con problemas de tasa de respuesta, y ni el mejor procedimiento de selección garantiza resultados confiables si la tasa de respuesta es baja. Por otro lado, las telefónicas se enfrentan al hecho que cada año disminuyen los hogares con teléfono fijo, y los teléfonos celulares no hay forma de controlar quienes están detrás de los números (i.e la relación entre números y personas nos es 1 a 1). En el caso de las Online, se ha expandido la idea de contar con un pool de entrevistados a partir de los cuales seleccionar (más o menos aleatoriamente), aunque no conozco mucho que la adecuación de dichos pools esté muy garantizada.

En otras palabras, el contexto social de las encuestas ha cambiado, y el mismo procedimiento que años atrás permitía conocer la realidad no lo permite en la actualidad. Un recordatorio sencillo que los métodos y las técnicas no caen del cielo ni son cosas puras, sino que dependen de la realidad que examinan. Y que cuando la realidad se modifica, entonces no queda más que cambiar las formas de acercarse a ella.

¿Cuáles? Existe la tentación de, dada la gran expansión de datos sobre la realidad social, entonces olvidarnos de este extraño asunto de preguntarle a las personas lo que opinan y lo que hacen y remitirnos a lo que realmente hacen. Dos problemas. Uno es relativamente menor -que no todos participan de aquellos instrumentos que generan datos de conducta. Pero eso es cosa de no olvidar ello, pero de esos universos acotados de los cuales pueden hablar efectivamente lo hacen con gran confiabilidad. El segundo es realmente el clave: Porque es fácil olvidar que de la conducta no se pueden derivar opiniones. La idea que la conducta es la preferencia revelada ilumina cosas, a condición de no olvidar lo que no debe olvidarse: Que no siempre aprobamos nuestra conducta, que el nivel de agrado de nuestra selección es variable; que el arrepentirse, que el protegerse de uno mismo, son situaciones reales que tienen consecuencias, y si alguien lo olvidara no estaría de más que revisara Ulises y las Sirenas de Elster.

En el período del cenit de las encuestas, muchas veces ellas parecían ser el paradigma del buen conocimiento. Ahora es claro que no lo son. Será perdonable la esperanza que, aprendiendo de nuestros errores, no caigamos de nuevo en la idea que hay cierta técnica infalible que nos asegura conocer bien el mundo. Aprender del mundo no es algo que se pueda realizar repitiendo recetas, y ella es la primera lección de metodología que un sociólogo debiera aprender.

Sobre los malos usos de las pruebas de significación

El preguntar si una diferencia es significativa estadísticamente es una de las operaciones comunes y más recurrentes del análisis en muchos campos, y en específico en sociología. Pensemos en las discusiones existentes sobre si las diferencias entre resultados de encuestas son significativas.

Ahora bien, desde hace varios años se han desarrollado diversas críticas sobre el uso de la idea de significación, y que buena parte de los analistas en realidad no tienen claro que significa una prueba de significación.  En algún sentido, que usamos mal las dichosas pruebas y, luego, generamos mal conocimiento a partir de ese uso.

En estos últimos días, la American Statistical Association (ASA) decidió emitir una declaración formal (en este link) sobre el uso de estas pruebas. Una de las frases puestas al inicio de la declaración muestra un poco lo meramente ritual de mucho de nuestro uso y conocimiento al respecto:

Q: Why do so many colleges and grad schools teach p = .05?
A: Because that’s still what the scientific community and journal editors use.

Q: Why do so many people still use p = 0.05?
A: Because that’s what they were taught in college or grad school.

La definición informal que se da de la prueba de significación no es particularmente clara, pero eso es al parecer una característica común del dichoso parámetro:

Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data (for example, the sample mean difference between two compared groups) would be equal to or more extreme than its observed value

Aunque el autor no es estadístico, una de las mejores y más claras descripciones de lo que implica esta declaración informal es en una entrada en el blog Crookedtimber (link aquí). Se usa el ejemplo de lanzar monedas y te encuentras que te ha salido cara en 5 ocasiones. Ahora bien, la probabilidad de ello sería 1/32 que sería inferior al límite estándar de  p < .05. La idea entonces es que si la moneda es ‘fair’ tendríamos una chance más baja que 1 en 20 a que podrías obtener un resultado equivalente (o mejor) que cinco caras seguidas. El autor de la entrada entonces nos hace las siguientes equivalencias entre esa afirmación en cursiva y el esquema de la ASA:

  • ‘Bajo un modelo estadístico específico’ = si esta moneda es ‘fair’
  • ‘La probabilidad que un resumen estadístico de los datos sea igual o más extremo que’ = la chance es inferior que 1 en 20 a que podrías obtener ese resultado
  • ‘Su valor observado’ = las cinco caras que tuve seguidas

El ejemplo, en todo caso, al mostrarnos más claramente en que consiste la significación estadística, nos muestra también sus límites: Porque de la significación del resultado, de la frase que está en cursiva, a pocos se nos ocurriría obtener como conclusión que la moneda está cargada. Por así decirlo, siguiendo una idea ‘bayesiana’ diríamos que la probabilidad de obtener una resultado significativo igual es mayor que la de tener una moneda cargada. En otras palabras, del rechazo de la hipótesis nula no se sigue nada en relación con la validez de la hipótesis sustantiva.

Citemos a continuación a algunos comentaristas que han enfatizado este último punto:

One of the most important messages is that the p-value cannot tell you if your hypothesis is correct. Instead, it’s the probability of your data given your hypothesis. That sounds tantalizingly similar to “the probability of your hypothesis given your data,” but they’re not the same thing (Christie Aschwanden en FiveThirtyEight.com, link aquí)

Y ahora a Andrew Gelman, que ha sido uno de los críticos más importantes de todo el uso de la significación estadística en la práctica de investigación:

Ultimately the problem is not with p-values but with null-hypothesis significance testing, that parody of falsificationism in which straw-man null hypothesis A is rejected and this is taken as evidence in favor of preferred alternative B (Link aquí)

Gelman continúa enfatizando la diferencia entre las hipótesis estadísticas con respecto a las hipótesis científicas sustantivas. Y que, como ya hemos visto, la prueba de significación no indica sobre la verdad de tu hipótesis. Los principios que establece la declaración de la ASA en ello es claro: Los valores de P indican cuan incompatible son tus resultados dados un modelo estadístico. Pero no miden la probabilidad que tu hipótesis sustantiva sea verdadera, ni tampoco que el proceso que generó el resultado sea al azar. (Principio 2)

Todo lo anterior tiene consecuencias para la investigación: La misma declaración de la ASA nos dice que las conclusiones científicas (o de recomendación de política) no pueden basarse sólo en el hecho que se ha obtenido un ‘resultado significativo’. Y la ASA recuerda algo que es conocido pero suele olvidarse: La significación estadística no es la sustantiva, no indica nada sobre la importancia de la relación declarada significativa.

En la discusión que generó la declaración de la ASA uno de los puntos era, ¿con qué se podría reemplazar entonces los valores de p? Sin embargo, creo que la conclusión de Gelman es más adecuada: Hay que salir de la idea que existe un indicador que establece por sí mismo la validez de un resultado.

Quiero a partir de este último punto hacer algunas observaciones más específicas sobre el tema de los usos de las pruebas de significación en sociología. La discusión que hemos mencionado hasta ahora aplica a múltiples disciplinas, el uso de los valores de p y el límite de p < .05 aparecen en diversos contextos, y en todos ellos re-aparece el tema del mal uso de estos parámetros. Pero creo que en nuestras disciplinas se suman otros elementos que hacen incluso más crítico este mal uso.

El caso es que dada la forma en que a los sociólogos se les enseña estadística, la tentación de reducir todo al simple parámetro del valor de significación es muy alto. Como la estadística se nos enseña como una caja negra, y luego en términos de unos procedimientos a seguir que en realidad no entendemos (¿cuántos sociólogos podrían reconocer la función que produce la distribución normal?), entonces nos es más fácil reducir todos los resultados de un análisis al simple parámetro de la prueba de significación. Que además viene con un criterio ‘claro y definido’: Alguien que no entiende mucho lo que está haciendo de todas formas puede revisar cualquier resultado de cualquier procedimiento y observar si p es menor a 0.05, y luego concluir que hay o no asociación significativa entre tal y tal.

Algunos de los problemas de la sociología en relación con el uso de las pruebas de significación dicen relación con aspectos que, en todo caso, resultan incluso más básicos que los anteriores; y hacen que el mal uso de este parámetro sea incluso más penoso en nuestra disciplina.

El primero de ellos es en torno al uso del umbral del p <.05 como muestra de resultado importante. Ello no es exclusivo de nuestras disciplinas: Uno de los temas que se discute, y que ha sido importante, en generar esta discusión es el uso no reflexionado del umbral de p < .05 como umbral de publicación y de resultados importantes. Ahora bien, como en toda investigación existe un importante grado de libertad en las operaciones (en el tipo de análisis, en el modelo concreto, en el procedimiento, en las variables que se insertan etc.) ‘buscar’ un resultado significativo es una tentación importante. Más aún, podemos recordar que una relación con el mismo grado de fuerza puede ser o no significativa dependiendo del tamaño de la muestra. La presión para publicar genera esta tentación para encontrar algo significativo.

Siendo un asunto general, creo que en sociología esto se refuerza con la aceptación de estándares muy bajos del nivel de efecto. Pensemos en los innumerables artículos publicados con modelos que explican un porcentaje bajo de la varianza: Se publican porque se encuentran efectos significativos estadísticamente, pero en realidad sigo tan desconocedor de la realidad como antes. La libertad de los modelos además tiene otro efecto: Que puedo terminar con un alto número de variables que influyen, dependiendo de cómo realizo el modelo el número de posibles variables que se asocian significativamente puede ser muy alto. Pero en la interpretación y discusión modelos que explican entre un 10% o un 14% se usan como si se estuvieran descubriendo procesos altamente importantes.

Oro elemento que suele afectar las lecturas de la significación, y tengo la impresión que ello es muy común en nuestras disciplinas, es la confusión entre X está asociado con Y con que los X son Y. Pensemos que encontramos que tal grupo (los hombres, las personas de estrato alto, los trabajadores bancarios etc.) tienen una diferencia significativa con respecto a otro grupo en determinada dimensión (digamos, son mayores lectores o más intolerantes o etc). Y de ahí concluimos y actuamos como si los hombres se caracterizaran por la lectoría o la intolerancia o etc, y se publicarán reportajes mostrando como ejemplo paradigmático de los hombres a quienes tienen esa característica. Pero uno revisa los datos y se encuentra con que la diferencia significativa es, por ejemplo, 3 o 4 puntos; y todos los grupos se caracterizan (a grandes rasgos) por la misma distribución entre los valores de la variable. Sólo pudiendo observar diferencias, entonces pasamos a pensar como si las diferencias fueran el valor.

En general, los problemas que hemos mencionado -desde los más sutiles a los más brutos, de los que cruzan a diversas disciplinas hasta los que son comunes, para nuestra vergüenza, en nuestras disciplinas- provienen de una voluntad de alejarse de las complejidades que implica analizar datos. La realidad no se deja asir a través de un sólo instrumento, y menos a través del uso burdo y simplista de reducir todo a la pregunta por el umbral de significación. Para hacer de verdad un análisis estadístico, hay que saber y conocer las herramientas usadas, describir los procesos y las decisiones, y tener claro que no hay un valor mágico que simplifica todas las complejidades de observar la realidad.

Una brevísima relación de la Sociología Analítica

Que las aproximaciones sociológicas suelen, al final, dividirse entre versiones de teorías de acción y de estructura, por más que se intente superar (de diversas formas esa distinción). Ahora bien, dentro de las diversas formas que adquiere la preocupación por la acción una vertiente que ha adquirido fuerza en los últimos años, que tiene interés intrínseco y que además sus movimientos como tales son ilustrativos de las trayectorias de la teoría social en general es lo que se ha llamado sociología analítica  (Hedstrom 2005, Hedstrom 2009, Manzo 2010). La sociología analítica es tanto una propuesta teórica como una propuesta metodológica y trataremos ambas por separado aquí.

La sociología analítica como teoría

En lo que concierne a sus declaraciones teóricas podemos observar que tiene una clara raigambre accionalista:  ‘Through their actions actors make society ‘tick’, and without their actions social processes would come to a halt. Theories of action are therefore of fundamental importance for explanatory sociological theories’  (Hedstrom 2005: 5). Todo análisis requiere una micro-fundación (o sea, una explicación al nivel de los actores) robusta, sin ello no hay propiamente análisis -dado que lo que se niega, junto a toda la tradición accionalista, la existencia de mecanismos causales directos macro-a-macro (toda afirmación requiere pasar por el nivel del actor).

¿Qué modelo de actor? Claramente se tiende a rechazar la idea del rational choice, o al menos declararla insuficiente, Así Manzo plantea que esa teoría se debate entre una fuerte formalización que resulta empíricamente equivocada y entre versiones más débiles que no están tan equivocadas pero que predicen poco (Manzo 2013: 362). Y que existen modelos de actor que no tienen esas limitaciones. En esto se parece bastante a Raymond Boudon, que colaboró con un capítulo (1998)  en el libro de Social Mechanisms, que en cierta manera es el origen de esta perspectiva (y que estuvo en cercanía al esta vertiente por un buen tiempo). Ahora bien, de todas formas existe una preferencia compartida por la formalización; y lo que interesa es la  posibilidad de desarrollar una aproximación más formal, y con predicciones importantes, pero que no siga la tradición del rational choice.

Para ello se piensa que la acción intencional es la base de toda buena explicación, pero ello no requiere modelos racionalistas. El modelo DBO de Hedstrom (2005: 38-42), o  ver también Fehr y Gintis 2007) es una forma sencilla de modelo alternativo: La acción se comprende como el resultado de los deseos (D), las creencias (B, por beliefs) y las oportunidades (O). Este modelo sencillo se nos plantea ya es útil para explicar; Hëdstrom reconoce que es ‘sicología popular’, pero al mismo tiempo el hecho que en la vida cotidiana usemos un modelo de este tipo que sirve para predecir acciones de los otros basados en nuestras creencias sobre sus estados mentales, nos muestra que en algún nivel efectivamente funciona. Y dado que la ciencia social no tiene como objetivo explicar los estados individuales, sino usarlos como base para otras explicaciones, entonces quizás baste entonces con esa sicología popular.

Ahora bien esta perspectiva, si bien tiene una raíz claramente en las teorías de la acción y en perspectivas individualistas transita hacia una incorporación de una visión interaccional, reconociendo las estructuras. Luego de la cita de Hedstrom del párrafo anterior nos plantea que la estructura de interacciones tiene una importancia propia para la explicación. Recientemente, Manzo (2014: 17-21) ha enfatizado que la sociología analítica usa un individualismo estructural (también ver Hedstrom 2009, Manzo 2012), reconociendo que los actores están inscritos en una red de relaciones y en contextos. Que se requieren, para usar el subtítulo de un texto reciente en que se presenta esta perspectiva, ‘Acciones y Redes‘ para comprender la vida social implica un alejamiento de una perspectiva puramente accionalista.

En algún sentido, se puede plantear que el movimiento de la sociología analítica muestra los límites y posibilidades de la aproximación de la acción. Por un lado, (a) reconoce la necesidad de una visión más compleja del actor y (b) para explicar mediante acciones son necesarios parámetros estructurales (i.e las redes). Lo cual no deja de ser interesante porque replica un paso anterior de la teoría social. Esa es precisamente la solución de Parsons en la Estructura de la Acción Social (1949): complejizar la visión del actor, ingresar parámetros estructurales, todo en nombre de reconocer intencionalidad (voluntarismo en el lenguaje del primer Parsons). De alguna forma, la resolución de los problemas de las teorías accionalistas se resuelven en una dirección que envía hacia fuera de ella. Pero esta pareciera ser una lección olvidada porque, digamos, es un proceso que hay que hacer una y otra vez. Por otro lado, y ello tampoco debiera olvidarse, sí hay cierta evolución: El parámetro estructural que en Parsons era normas y valores es reemplazado por otro parámetro, que está constituido por otros actores. Y uno diría que, sí, ello constituye un avance teórico de alguna significación.

 

La sociología analítica como metodología.

La aproximación metodológica de la sociología analítica nace de una mirada muy crítica al estado de la sociología: la teoría social no es más que un conjunto de textos poco claros que nombran pero no explican -y no es extraño encontrar en estos autores referencias bastante caústicas sobre la definición de habitus de Bourdieu por ejemplo (usando la idea de ‘estructuras estructuradas predispuestas a funcionar como estructuras estructurantes’ como modelo de la falta de claridad). Se crítica que el modelo cognitivo de la ciencia, o sea la búsqueda de explicaciones la vida social, ha perdido importancia en función de otras formas de hacer sociología, que pueden ser legítimas pero que son secundarias (Boudon 2001).

Los principios básicos de objetividad, anti-relativismo, unidad de las ciencias y en particular la exigencia de claridad, enmarcan las preocupaciones de la sociología analítica. Lo cual comparten con otras perspectivas, lo que la diferencia es una fuerte explicación vía mecanismos (Hedstrom 2005, Hedstrom 2009, Noguera 2006, Manzo 2010):  Es importante superar las explicaciones de variables, que al final son ‘cajas negras’. La idea central es que explicar un fenómeno es generarlo (Manzo 2010: 210).

En este sentido, se puede plantear que es una perspectiva cierto sentido anti-hempeliana: la noción de ley de cobertura resulta insuficiente; como forma de superar la explicación solamente a través de variables. La idea de leyes de cobertura no es suficiente porque, precisamente, entrega regularidades sin mecanismos que expliquen cómo se genera esa regularidad.

Entonces, lo que hay que hacer es explicar vía mecanismos. donde podemos observar cómo se generan los procesos desde niveles más bajos (Hedstrom y Swedberg 1998}; y para un listado virtuosístico de mecanismos se puede leer a Elster (2007). Hay múltiples definiciones de mecanismos. Así Hedstrom (2010: 50-52) plantea que: (a) éstos se identifican por el efecto que causan, son siempre mecanismos de algo; (b) es una noción causal irreductible, se refiere a las entidades que causan el efecto; (c) tiene una estructura, hace visible como las entidades que lo forman producen el efecto; y (d) forman una jerarquía, lo que en cierto estudio se puede dar como un mecanismo dado se espera que a su vez este sea producido por mecanismos de menor nivel. Otra definición es la de Elster que tiene la ventaja de mostrar su naturaleza  alegal: ‘Roughly speaking, mechanisms are frequently occurring and easily recognizable causal patterns that are triggered under generally unknown conditions or with indeterminate consequences. They allow us to explain, but not to predict’ (Elster 2007: 36). No sólo los mecanismos claramente no son semejantes a leyes, sino que tampoco pueden pensarse como aquello que permite entender una ley -explicar sin predecir sería casi un anatema bajo la idea de explicación de cobertura.

En cualquier caso, no deja de ser curiosa esta fuerte defensa de la idea que una explicación para ser científica debe ser a través de mecanismos, y que es casi un oscurantismo plantear que se explica sin tener un mecanismo. Porque en la mecánica clásica ya encontramos ese mismo problema y la solución fue efectivamente declarar que no es necesario tener un mecanismo causal para tener una buena teoría científica: no hay mecanismo causal que explique la gravedad en Newton, y es esa falta la que originó la frase de hypothesis non fingo: No es necesario tener un mecanismo que explique la ley de gravitación para tener una muy adecuada ley de gravitación que nos permite comprender el mundo. En otras palabras, la filosofía de análisis que está detrás de este movimiento es tan exigente que elimina parte importante de las ciencias duras. Por cierto que, finalmente, a veces se reconoce que efectivamente resulta inviable tener explicaciones por mecanismos, pero no deja de ser algo extraña esta insistencia.

La explicación por mecanismos se aproxima a perspectivas de agentes, lo que se asocia al carácter accionalista de la perspectiva en términos teóricos: la idea de explicar el macro-resultado a través de elementos menores se traduce fácilmente a la idea que esos micro procesos son individuales. Los fenómenos agregados no se explican al nivel agregado: ‘Macro-level outcomes and relationships tell us very little about why we observe the macro-level outcomes and relationships we observe’ (Hedstrom 2009: 340). Al mismo tiempo, se critica la idea que esta asea una aproximación reduccionista, dado que el fenómeno agregado no es una simple ‘suma’ de lo que sucede con los actores, sino que depende de las formas en que ellos interactúan.

La formulación de Manzo es quizás una de las más claras en ubicar las diversas formas metodológicas que permiten explicar los fenómenos sociales: ‘wherein variable analysis describes, mechanism modeling (where mechanisms are built in non-reductionist methodological individualism terms) explains, and simulation activates and runs (as well as tests) the mechanisms assumed to be the basis for observed statistical relations’ (Manzo 2007: 37). Una síntesis de mecanismos con simulación, en todo caso, pareciera ser el núcleo de uno de los programas más relevantes de sociología científica en la actualidad.

 

La sociología analítica tiene varias de las ventajas y problemas de los programas de investigación que se originan polémicamente, en contra de otros: Tiene la fuerza y el entusiasmo de quienes quieren hacer un giro en una disciplina que ven con problemas y que se requiere recuperar o tomar por primera vez algo que es relevante y que puede ser pasado por alto; pero al mismo tiempo resultan algo monotemáticos y exagerados (por ejemplo, en su rechazo a explicaciones no mecanicistas). Ahora bien, por cierto que en la medida que esta tradición se desarrolla algunos de sus rasgos más unilaterales se difuminan (y así, es un accionalismo que incorpora parámetros estructurales).  En cualquier caso, es una trayectoria que otros programas de investigación han tenido, desde la teoría del actor racional a aproximaciones relacionales; y pareciera ser que es así, a punta de entusiasmos unilaterales, que la reflexión teórica y metodológica de la disciplina, con todo, realiza producción de algún valor.

 

Referencias Bibliográficas.

Boudon, R. (1998). Social mechanisms without black boxes. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 172–203). Cambridge: Cambridge University Press.

Boudon, R. (2001). Sociology that really matters. Paris: European Academy of Sociology, Inaugural Lecture

Elster, J. (2007). Explaining Social Behavior. Cambridge: Cambridge University Press.

Fehr, E., y Gintis, H. (2007). Human Motivation and Social Cooperation: Experimental
and Analytical Foundations. Annual Review of Sociology, 33, 43–64.

Hedström, P., y Swedberg, R. (1998). Social Mechanisms: An introductory essay. En P. Hedström y R. Swedberg (Eds.), Social mechanisms (pp. 1–31). Cambridge: Cambridge University Press.

Hedström, P. (2005). Dissecting the Social. Cambridge: Cambridge University Press.

Hedström, P. (2009). The Analitical Turn in Sociology. En P. Hedström y B. Wittrock (Eds.), Frontiers of sociology (pp. 331–342). Leiden: Brill.

Hedström, P., y Ylikoski, P. (2010). Causal Mechanisms in the Social Sciences. Annual Review of Sociology, 36, 49–67.

Manzo, G. (2007). Variables, Mechanisms and Simulations: Can the Three Methods Be Synthesized? A Critical Analysis of the Literature. Revue Française de Sociologie, 48(Supplement: An Annual English Selection), 35–71.

Manzo, G. (2010). Analytical Sociology and Its Critics. European Journal of Sociology, 51, 129–170.

Manzo, G. (2012). Full and Sketched Micro-Foundations: The Odd Resurgence of a Dubious Distinction. Sociologica, 1, 1–8.

Manzo, G. (2013). Is rational choice theory still a rational choice of theory? A response to Opp. Social Science Information, 52(3), 361-382.

Manzo, G. (2014). Data, Generative Models and Mechanisms. En G. Manzo (Ed.), Analytical sociology (p. 4-52). Chichester: Wiley.

Noguera, J. A. (2006). Introduction : Why We Need an Analytical Sociological Theory. Papers 80, 7–28.

Parsons, T. (1949). The Structure of Social Action. Glencoe, Il: The Free Press.

La Construcción Social de la Investigación Cuantitativa

Lo que originalmente fue un conjunto de entradas, luego una ponencia en el Congreso se transformó en un artículo que publicó la revista Fronteras de la UFRO. El link aquí. (Además se suma a la sección de escritos como corresponde).

Y aprovechemos de colocar aquí el resumen:

La investigación social es siempre un proceso social. Conocer sobre la vida social es una actividad en la cual están insertos todos los actores sociales. ¿Cuáles son procesos sociales en los que emerge y tiene sentido realizar una forma de investigación social, la cuantitativa, que no parece tomar en cuenta estas afirmaciones iniciales? Más bien, para poder entender el estudio cuantitativo de lo social es preciso más bien partir del reconocimiento todos los actores sociales están continuamente interesados en conocer la vida social, y parte de esa búsqueda es una búsqueda de información ‘cuantitativa’.

Si se parte de actores capaces de darle sentido a sus acciones y que requieren información, se puede mostrar que en la vida cotidiana, y desde la perspectiva de esos actores, emergen demandas de información que requieren una aproximación objetual. Esa misma aproximación se refuerza, y requiere ya información cuantitativa, cuando se desarrolla el mundo organizacional.

Luego, efectivamente partiendo de la idea que la vida social es una actividad que requiere de todos los actores buscar información, se puede entender la emergencia y rol del conocimiento objetual y cuantitativo en la vida social. El reconocimiento del carácter significativo y construido de la vida social no minimiza la necesidad y utilidad de la investigación cuantitativa, sino más bien ésta se entiende mejor a partir de ese reconocimiento.

La Construcción Social del Malestar. Una comparación metodológica.

Durante la escritura del Informe Los Tiempos de la Politización, un asunto que resultó interesante en la discusión del equipo fue comparar cómo se expresaba la crítica y malestar entre la evidencia cuantitativa y cualitativa: Esto porque sistemáticamente la evidencia cualitativa muestra mucho más malestar, y una mayor intensidad de él, que lo que ocurre en la encuesta. Una forma simplista de mirar y analizar sería decir ‘una de las dos formas está equivocada’ y observar cuál de ellas lo está. Sin embargo, más fructífero resulta preguntarse cómo se genera esa diferencia y cómo ella se entiende a partir de las características de las técnicas y del contexto en el cual se dan esas percepciones -que es, de acuerdo al Informe, no cualquier contexto, sino uno de politización. Si se tiene en cuenta lo anterior es posible entender esa diferencia y ello nos permite, entonces, comprender mejor las dinámicas que están a la base de las percepciones.

Para entender la diferencia es relevante recordar que es lo que se produce en la conversación grupal: Se expresa el sentido común, aquello que las personas piensan que todos comparten (dado que tienen que dar opiniones que crean tengan sentido para los otros que lo escuchan). La conversación magnifica aquello en que las personas se pueden reconocer como viviendo en común.

En el habla del malestar los chilenos encuentran es fácil encontrarse y reconocerse, y uno sabe que lo que uno plantea será recogido y aceptado por los otros. Y que eso ocurra nos informa sobre el estado de la situación actual. En el juicio individual (de la encuesta) a los chilenos se les facilita reconocer elementos positivos, pero cuando se pasa a la dinámica colectiva de la conversación es el malestar el que aglutina lo que sucede.

Lo que constituye el elemento en el cual se reconocen pueden ser muy distinto en diversos contextos, y es interesante que en la situación del Chile actual, el aspecto en el cual las personas se reconocen como un grupo con elementos comunes sea el malestar. Es relevante enfatizar esto porque en otros contextos no sucede esa dinámica: En otros momentos el habla sensata que aglutinaba no era un habla que se concentraba en el malestar. Mi experiencia en grupos de conversación durante los ’90 era, precisamente, que la forma de presentarse a sí como un sujeto razonable era la de enfatizar el carácter moderado y sopesado de la propia opinión. Lo que constituía sentido común era el habla que reconocía, a cada momento, elementos positivos y negativos -que no era tan iluso para pensar que no había problemas ni tan ciego de no observar elementos positivos. El hecho que esa dinámica no se diera en las conversaciones actuales en Chile, que la conversación lo que hiciera fuera magnificar el malestar, sería entonces un dato sintomático e ilustrativo de lo que sucede en nuestro país.

Si la hipótesis de este informe es correcta y se viven tiempos de politización, lo que ocurre en la dinámica colectiva de la conversación es relevante. Porque si es un dato del contexto actual de politización el que las conversaciones refuerzan y potencian la sensación de malestar, entonces este proceso puede repetirse en miles de conversaciones cotidianas. La dinámica de un juicio individual más moderado en su crítica que es reemplazado por una expresión más crítica en la conversación podría resultar crucial para entender el Chile de hoy.

Mayor seriedad. A propósito de las encuestas CADEM-Plaza Pública.

Desde hace un buen tiempo las encuestas de CADEM Plaza Pública se han transformado en parte de la agenda de medios (son publicadas y usadas). Un tracking semanal de opinión pública tiene su utilidad bien se puede pensar.

Ahora bien, en la sección de metodología -que hay que reconocer CADEM pone al inicio de sus informes, así que nadie puede reclamar que no le dijeron al menos- se dice lo siguiente sobre la muestra (luego de decirnos que usan dos técnicas para producir la información)

Para las entrevistas a través de teléfono fijo el muestreo fue probabilístico, a partir de BBDD con cobertura nacional, propias de CADEM, y dentro del hogar, la selección de los sujetos se hizo por cuotas de sexo, edad y NSE (Alto C1-C2; Medio C3; Bajo D/E).

Para las entrevistas cara a cara en punto fijo con tablet se pre-definieron cuotas para comunas específicas en la Región Metropolitana, Valparaíso y Biobío, además de sexo, edad y GSE (ABC1 y D/E) como complemento al muestreo del teléfono fijo.

Y sobre el tamaño de la muestra:

711 casos. 508 entrevistas fueron aplicadas telefónicamente y 203 entrevistas cara a cara en puntos de afluencia. Margen de error de +/- 3,7 puntos porcentuales al 95% de confianza.

A decir verdad, no funciona. Tiene sentido complementar teléfono fijo (dado el hecho que su cobertura no sólo es baja sino que disminuye, y además no sólo está sesgada por GSE sino además por edad, los hogares más jóvenes tienden a tener menos teléfono fijo). Pero las entrevistas en punto fijo no son un método que permita controlar sesgo alguno, por la simple y sencilla razón que es una técnica que no tiene ningún tipo de control. Siquiera atreverse a poner un margen de error en esas circunstancias es algo inválido.

Se puede plantear que hay excusas: No es posible suponer que un tracking semanal tenga los estándares de otros estudios, que la información que entrega no es tan descabellada. Y si uno está con ánimo magnánimo, incluso podría llegar a escucharlas. Pero sigue siendo cierto que son estudios que no cumplen estándar alguno. Sigue siendo cierto, además, que los estudios de encuestas se usan por las cifras exactas que entregan: No necesitamos un estudio para saber, por ejemplo, que la popularidad del gobierno ha caído; lo que no sabemos, y sería interesante saber, es cuanto -precisamente la razón por la cual se hacen encuestas. Pero el número es lo que no podemos usar de las encuestas CADEM Plaza Pública.

En otras palabras, necesitamos exigir y hacer las cosas con una mínima seriedad.

El Ingreso de Independientes y Asalariados en la CASEN 2013. O de la importancia de cambiar de Mediciones

Cada vez que salen los datos de la CASEN hemos repetido en este blog el mismo ejercicio: Comparar el ingreso de trabajadores independientes y asalariados, controlando por nivel educacional. En todas las ocasiones hasta ahora había dado el mismo resultado: los cuenta propia (o sea sin empleadores) obtenían mayores ingresos que los asalariados (reuniendo asalariados sector público y privado, y excluyendo trabajadores domésticos y FF.AA). La diferencia además era relativamente relevante (alrededor del 50%).

Luego la idea era realizar la comparación de nuevo con la CASEN 2013. Sin embargo en esta ocasión había una diferencia de interés: La CASEN 2013 al revés que en ocasiones anteriores no realizó una corrección por cuentas nacionales; y los trabajadores independientes era uno de los grupos que más se veía afectado por esa corrección. La CASEN 2013 se basa en las respuestas de las personas a las preguntas de ingresos sin mayor corrección.

Esa diferencia en los métodos produce, entonces, una diferencia radical en los resultados. Veamos:

Ingresos Promedio Ocupación Principal por Categoría Ocupacional y Nivel Educacional

Independientes Asalariados Diferencia % Diferencia % CASEN 2011
Sin Educación Formal 142.206 212.223 -33% 1%
Básica incompleta 171.215 228.275 -25% 32%
Básica Completa 205.951 249.033 -17% 44%
Media Humanista incompleta 216.205 263.060 -18% 59%
Media T-P incompleta 200.520 316.515 -37% 30%
Media Humanista Completa 268.758 317.515 -15% 81%
Media T-P Completa 274.388 332.852 -18% 46%
Superior incompleta 355.817 409.832 -13% 103%
Superior Completa 742.002 808.807 -8% 55%

El año 2013 las diferencias son todas a favor de los asalariados, mientras que el 2011 eran siempre a favor de los cuenta propia (como siempre habíamos dado las diferencias en positivo, cuando beneficiaban a cuenta propia, en el cuadro presentamos las diferencias CASEN 2013 en negativo, al ser inversas).

De hecho, los ingresos de la ocupación principal disminuyen para trabajadores por cuenta propia entre CASEN 2011 y 2013 (a partir de media completa de manera bastante fuerte, los ingresos nominales disminuyen alrededor de un 50% en varios casos).

Lo que nos indican los datos es que claramente no se puede comparar directamente los resultados de la CASEN 2013 en ingresos con CASEN anteriores -dado que ha cambiado la metodología. Dado que la metodología de la CASEN 2013 implicó dejar de hacer ajustes anteriores, en principio se podrían hacer comparables de nuevo si se usan los datos brutos de CASEN anteriores (y si mal no me equivoco, las bases están disponibles).

La pregunta que cabe hacerse, es ¿qué dato representa mejor la realidad? Hay algunas consideraciones que se pueden plantear en torno a que realizar ajustes tiene sentido, en particular para trabajadores por cuenta propia: Primero, que son ingresos más difíciles de estimar (al ser inherentemente variables), y una estrategia de respuesta puede ser dar el una estimación mínima (‘menos que eso no gano’). Segundo, hay algunos estudios -pero realizados para EE.UU- que indican que las personas pueden responder a las encuestas de ingresos como si fueran formularios de impuestos y reducir el ingreso reportado, operación que es más sencilla para los asalariados (ver Are Household Surveys Like Tax Forms? Evidence from Income Underreporting of the Self-Employed, Hurst, Li y Pugsley, The Review of Economics and Statistics, 2014, 96: 19-33, y originalmente era un paper del NBER publicado el 2010). Por otro lado, la decisión de no realizar ajustes dice relación con que normalmente no se hacen en otros países, y por lo tanto por comparabilidad tiene sentido no hacerlo. Es necesario decir que, dado que había hecho el ejercicio varias veces estoy algo comprometido con la idea que era más adecuado realizar ajustes, así que la opinión puede no ser completamente imparcial -pero creo que la corrección tenía sentido.

En cualquier caso, nos encontramos con lo que debiera ser conocido: los resultados no son independientes de los métodos. Un resultado que era estable en la CASEN, al menos había ocurrido en todas las que había revisado, al cambiar la forma de medir ingresos se revierte.

¿Consejo? Lea, aunque le parezcan aburridas, las secciones metodológicas de los textos que le interesan, porque los resultados dependen de ellos.