Etiqueta: metodología

No comments

De la disputa de los métodos, o de codificaciones y números aplicados a los textos

  By

A propósito de otras cosas estaba leyendo un blog en que se discute un libro de Richard Biernacki Reinventing Evidence in Social Inquiry (la discusión en Orgtheory aquí), y en particular una reseña del libro en el blog Scatterplot de Andrew Perrin (aquí el link). La tesis del libro es, si se reduce a lo mínimo, que los recientes usos de análisis numéricos y cuantitativos a textos no funcionan. Parte central del argumento es mostrar como las reducciones de los textos a codificaciones que luego se cuentan terminan por deformar el significado de esos textos. 

Como estos métodos han tenido un gran auge en los últimos años ayudados por los avances en procesamiento computacional -pensemos en cosas como los N-grams de Google por ejemplo- esta crítica ha generado polémica (y leyendo los blogs se puede observar que la publicación tuvo una azarosa historia). Perrin en particular que hace una crítica exhaustiva revisa varios puntos; pero como al final su rechazo al texto tiene un fundamento epistemológico bien podemos citar esa parte de la crítica

Finally, it is epistemologically indefensible. The main epistemological claim is wholism: that decontextualized fragments of text have no meaning separate from the surrounding text, and that in turn texts have no meaning separate from the cultural milieux in which they were produced.

  1. On the first: “The ‘representative sample’ approach of science cannot accommodate the pursuit of exchanges of cultural significance” (62). “Word frequencies never have a legible relation to cultural competencies, repertoires, or semiotic systems. Numbers do not sketch anything of verbal significance” (143). This is a bizarre theory of language, utterly irreconcilable with any reasonable understanding of how meaning is encapsulated in and extracted from text. Taking it to its logical conclusion, it is an indictment of any kind of analysis (the root, ana-, referring to dismantling an object of interest to understand its parts). All science is about discarding some information in order better to understand the information that remains,
  2. On the second: the requirement that texts be interpreted in their own cultures would reduce the meaning in such texts to nothing—the whole point of written text is that it is transportable across time and space and can be interpreted elsewhere in ways that bridge author, reader, and the respective cultural environments of each. The ridiculous requirement that texts be read within their “own” cultures quickly reduces to Borges’ fable of the map.

Ahora, los dos puntos en que se basa la crítica epistemológica no son tan fuertes finalmente. Decir que no se recoge el significado contando frases es, a decir verdad, una trivialidad. Por una parte, sabemos que de hecho no es extraño que la información relevante de una frase no sea dicho explícitamente en ella. Por otra, el efecto de significado de una frase en un texto no depende de su repetición. Una frase dicha una sola vez puede ser crucial y decisiva.

Como estas cosas son de análisis empírico mejor ilustrarlas empíricamente (es un ejemplo que sueldo dar en clases). A estas alturas hace más de 10 años participé en un estudio de focus sobre imágenes de la juventud entre grupos jóvenes. Ahora en uno de ellos, que casualmente no se reconocía como un grupo joven, se dio la siguiente dinámica. El grupo partió hablando de cierta manera -criticando a los jóvenes de la época por su falta de compromiso político. En cierto punto, uno de los participantes hizo una intervención planteando que, en realidad, eso estaba bien -la generación de los participantes del grupo en realidad no había podido disfrutar de su juventud debido a la necesidad de hacer política, y era algo positivo que los jóvenes ya no tuvieran que hacerlo. Luego de esa intervención toda la tónica del grupo cambió, y ya no se pudo volver a criticar a los jóvenes como se lo había hecho antes. Fue la frase más poderosa y relevante dicha, y lo fue tanto, que sólo fue necesario decirla una sola vez. Al mismo tiempo, para poder entender su fuerza es necesario entenderla en el contexto -o sea, o analíticamente separando en sus partes, sino analizando el significado de ella en relación a las otras frases (que, al fin y al cabo, era uno de las intuiciones básicas de la lingüística estructural*).

La segunda crítica en realidad requiere una mala lectura. Cuando Biernacki dice que los textos son parte de contextos específicos  y por lo tanto requieren ser leídos “as they are embedded in a culture different from [del analista]” no requiere plantear que un texto sólo puede ser interpretado en su propia cultura. Sólo que para poder entenderlo hay que entenderlo en su contexto. Digamos, un criterio y requisito bastante estándar -pruebe a leer un documento histórico sin saber nada del período y las posibilidades de cometer graves errores no son menores.

Plantear que estos criterios muy triviales son epistemológicamente indefendibles nos envía al título de la entrada. Al final lo que tenemos es la usual mutua incomprensión que ocurre entre defensores de una sola perspectiva para las ciencias sociales. Y por lo tanto lo que desde una perspectiva no es más que sentido común es indefendible desde otro. En última instancia, toda la ciencia consiste en el desarrollo del método que uso (la ciencia es análisis, es descomposición en partes).

Ahora, a estas alturas, la larga historia de la investigación social nos debiera mostrar que, de hecho, ambos métodos producen información útil y valiosa, y que no entregan el mismo tipo de información -no son reemplazables entre sí. Como lo cualitativo a veces tiene que defenderse bien podemos recordar lo siguiente. El que la vida social funcione nos muestra que lo cualitativo entrega información valiosa. Interpretar el significado de las comunicaciones de los otros es algo que hacemos todos de manera cotidiana, y es porque esa interpretación más o menos funciona que podemos operar en la vida social**. Por cierto los métodos cualitativos van más allá de esa interpretación cotidiana pero el que ella funcione nos muestra que sí entregan información.

Del mismo modo el que los métodos cuantitativos para analizar textos sean insuficientes e incompletos no quiere decir que no tengan sus usos (aunque, por cierto, no es eso lo que plantea Biernacki). Hay un momento en que sencillamente la cantidad del corpus no hace posible usar métodos hermenéuticos  y aunque uno sepa que es muy deficiente, algunas pistas da el contar palabras. El caso es que hay que reconocer las limitaciones de cualquier aproximación.

En todo caso, hay que recordar que la combinación y coexistencia de los métodos es algo que es parte del estado de la sociología. Por más que algunos se desesperen el hecho que los sociólogos realizarán estudios cualitativos y estudios cuantitativos y estudios mixtos esta entre las cosas que probablemente nos seguirá acompañando en el futuro.

(*) La lingüística estructural probablemente no tenga tanta influencia como en décadas anteriores, pero la idea que el significado es relacional creo que sigue siendo relevante.

(**) Si alguien necesitare otra prueba de la utilidad de lo cualitativo, baste con recordar que las empresas privadas los requieren y usan. Y como esas empresas no suelen gastar recursos en investigación por gusto, podemos pensar que tiene alguna utilidad para ellas.

No comments

Siguendo con el Censo

  By ,

La situación sobre el Censo que discutíamos en un post anterior tuvo resolución ese mismo día en el sentido de la renuncia del director del INE -con investigación del Ministerio Público. Teniendo director nuevo y habiendo tomando algunas decisiones, uno puede proceder a observar que lo que está pasando con el INE. El domingo apareció una nota en La Tercera sobre el tema y lo que uno puede sacar en limpio es:

  • Al parecer la base para realizar ajustes y estimaciones existe y estaría en condiciones adecuadas. Los 15.8 millones de cuestionarios lo permitirían.
  • Se revisará cómo se hicieron las estimaciones a partir de la información existente, porque todavía no hay claridad de cómo se hicieron. Por lo menos uno debiera esperar que las estimaciones cambiaran, y hay promesa que lo que es estimado será así claramente mencionado.

En general, el nuevo director parece serio y las medidas de auditoria (interna y externa) también parecen bien encaminadas.

Sin embargo (siempre hay un sin embargo) tenemos lo siguiente:

También está en revisión la cobertura real del último censo y su tasa de omisión, que se situó en torno a 1,5%. Todo indica, señalan Flores y Coeymans, que si se contabilizaron personas estimadas como personas censadas, esa cifra ya no corre. Sobre la noción de que si hubo 800 mil personas estimadas sobre un total de 16.600.000, esa tasa de omisión podría ser más cercana a 5%, no se pronuncian, pero sí manifiestan que sigue siendo “una buena muestra de la población”, muy representativa.

“Una muestra en que se levantó el 95% de la población nos entrega una certeza (de la realidad del país). Esto, porque se puede presumir que ese 5%, la tasa de omisión que no encuestaste, al ser aleatorio, no tiene un comportamiento tan distinto con el resto del 95% de la población censada”, señala Flores (ver entrevista página 6). En el Censo 2002 la tasa de omisión alcanzó el 3,8%.

Lamentablemente no es tan claro. Una tasa del 95% de cobertura suena muy bien, y ¿como podrían estar tan descaminados los datos? Pero precisamente el tema es si la omisión es aleatoria. No es claro que ella lo sea. Y la hipótesis de una no aleatoriedad de la atrición debiera al menos ser tomada en serio.

En el censo, cada casa fue visitada varias veces. Lo mismo que en una encuesta normal, sólo que más acucioso. Ahora, la probabilidad de encontrar a una persona en un hogar no es igual ente todos los hogares. Precisamente por eso se visita varias veces. Ahora, los hogares que no pudieron ser censados a pesar de varias visitas probablemente son distintos -al menos tienen mayor probabilidad que no se encuentre nadie en el hogar. Hogares de una sola persona, o donde todos trabajan, u hogares más jóvenes (presumiblemente más propensos a salir) etc. Bien se sabe en encuestas que hay segmentos que son más difíciles de encontrar que otros.

Lo anterior ocurre bastante menos en un censo de hecho (si es que los patrones de atrición de esos censos son los que están usando y estos se estimaron como no aleatorios). Esto porque la instrucción a la ciudadanía era a no abandonar sus hogares -y eso en general se cumplía. Por lo que incluso un hogar en el que habitualmente no se encuentra persona alguna, de todas formas tenía el día del censo a sus personas presentes.

Tengo la impresión que otras posibles causas de atrición no aleatoria no serían relevantes -pero es sólo una impresión. La dificultad de encontrar el hogar en zonas de difícil acceso, por ejemplo algunas rurales, no sé si sea relevante. A los censistas, al parecer, se les pagaba por día, así que usar todo un día para encontrar una vivienda censada (por ejemplo) no debiera ser mayor problema -y nuevamente si había que visitarla de nuevo. Si las personas de viviendas rurales tienden a estar fuera de sus hogares (en sus labores por ejemplo) eso podría afectar, pero ese era el tema que mencionábamos con anterioridad. Eso sí, es probable que los niveles de atrición no sean homogéneos a lo largo del país, y que a niveles comunales existan varias con atriciones muy superiores.

Otra causa posible es que existan segmentos que tengan una menor disposición a contestar el censo, que se resistan a él (y que por ello no contestaron). Si esto ocurre claramente produce un sesgo, pero no tengo evidencias que eso ocurra. De hecho, la circunstancia que fuera común que los no censados reclamaran hablaría en contra -pero eso tampoco es evidencia concluyente.

En cualquier caso, existe una probabilidad de atrición no completamente aleatoria y debiera ser trabajado.

Más aún, hay dos tipos de procesos de atrición no completamente aleatorios. El primero es atrición aleatoria (missing at random) en la cual la atrición no depende de la variable que estamos midiendo, aun cuando puede depender de otra variable. Supongamos que estamos midiendo desempleo y el hecho de estar desempleado no afecta la atrición, pero podría estar afectada por sexo (los hombres responden menos). Pero como no está asociado a la variable, el sesgo puede ser solucionado por otras formas (digamos ponderación, dado que los hombres que responden son iguales a los que no responden). El segundo es atrición no ignorable, en la cual la probabilidad de la atrición depende de lo que estamos midiendo, y por lo tanto ya no es solucionable con ponderación -sino que se requieren modelamientos más complejos. Ahora en el caso del censo, incluso suponiendo que estamos ante atrición aleatoria (i.e los hombres tienden a responder menos que las mujeres, y recordemos que al parecer habrían 200.000 hombres menos) el ajuste no es sencillo -precisamente porque es el censo el que usamos para calibrar otros datos.

Qué es lo que habría que hacer para detectar y solucionar los posibles sesgos que tenga la atrición del Censo no es algo que con la información que tenemos disponible en la actualidad se pueda determinar. Si podemos plantear, en todo caso, que la realización de un trabajo de campo (ya sea re-encuastaje o derechamente otro estudio) sobre las viviendas habitadas sin moradores podría resultar adecuado.

 

NOTA. Y este fue el post 300 de este blog. No deja de ser un hito supongo.

3 Comments

El naturalismo ético en Sociología

  By ,

Una idea común en ciencias sociales es lo que podemos llamar el naturalismo ético: La idea que lo real es bueno. Parte relevante de la discusión entre el tema del compromiso y la neutralidad se basa en ello: La única forma, finalmente, que de la existencia de ciertas cosas se puedan pasar a ciertas conclusiones normativas es que se suponga de antemano que la realidad tiene un cierto talante ético. Y dadas las discusiones en ciencias sociales ese es positivo. La idea que cuando mostramos que algo es “natural” al mismo tiempo mostramos que es incriticable, criticar la idea que X es natural porque de ello se sigue que sería adecuado; implica pasar del ser la deber ser sin otra transición.

Esto es algo que no sólo los más diversos argumentos tecnocráticos usan. Están a la raíz, de hecho, de muchos argumentos críticos. Pero, ¿no se supone que ellos critican la realidad? Pero critican la realidad actual en buena medida porque no es toda la realidad, que en ella se esconden aspectos más profundos de la realidad. Al fin y al cabo, cuando se pasa de la constatación que X es socialmente construido a la idea que con ello ya critique a X (ya mostré con ello que X es malo), lo que está detrás es la idea que la construcción social es negativa porque a través de ella se limita lo que podemos hacer y ello es negativo. Ergo, lo que es bueno es la potencialidad, o sea nuestra realidad subyacente. La crítica opera entonces, muchas veces, también afirmando la bondad de la realidad, solo que la realidad actual no es toda la realidad.

A pesar de lo extendido del naturalismo ético en Ciencias Sociales, no es la única posición ética defendible. Al fin y al cabo, existen muchas éticas religiosas que parten de un prejuicio más bien contrario -que hay que luchar contra una naturaleza perversa. Y podrán ser muchas cosas, pero contradictorias no necesariamente.

El caso es que para personas que no tienen una visión religiosa del mundo (como buena parte de los cientistas sociales) esa solución no parece viable. Y sin religión, entonces lo único que parece podría fundar una ética sería la realidad -y por ello entonces la premisa básica de que la realidad es éticamente buena.

Sin embargo, algo me dice que hay más opciones que las anteriores. Pensemos en el caso de Habermas. Supongamos que esta equivocado en las cuestiones de hecho -la situación ideal de habla bajo ningún caso puede decirse es fundamental a la realidad del habla. Los procesos de habla pueden producirse bajo condiciones autoritarias, manipuladoras y sesgadas (para usar su vocabulario) y de todas formas producen lo que todos los procesos de habla producen, digamos producen igualmente mundos de la vida etc. Sin embargo,  ¿porque de ello debiera concluirse que la situación ideal de habla no puede ser una situación ideal?

En un seminario reciente que realizó Daniel Chernilo en la Universidad de Chile (link aquí) planteo que, por ejemplo, cuando pensamos que lo social es de determinada forma (que se forma en la interacción, que es reconocimiento etc.) entonces al mismo tiempo estamos planteando una visión normativa: Que lo bueno es lo que permite a esa determinada forma (la interacción o el reconocimiento) desplegarse y potenciarse. Sin embargo, ¿por qué son esas las únicas alternativas? La conexión sólo tiene sentido si parto de la idea que la realidad ha de ser positiva.

El naturalismo ético, al menos en Ciencias Sociales, ha terminado asociado a la posición que no existen razones propiamente éticas, y que las únicas razones que existen son las que se refieren al mundo de los hechos. Ahora, en ese sentido, uno nunca hubiera creído que el positivismo hubiera sido tan influyente en las ciencias sociales, incluyendo a los críticos del positivismo, para aceptar tan buenamente la idea que sólo lo que se refiere a los hechos tiene sentido (‘es racional’).

Pero lo que olvida el naturalismo ético, al final, es que es una posición ética. No es una afirmación de hecho declarar que la realidad es buena; es una afirmación normativa. Y el naturalista ético tendrá que defender esa posición normativa, no solamente mostrarnos la realidad -porque en esa realidad no está esa afirmación.

No comments

La Situación del Censo

  By ,

Una cosa son las discusiones metodológicas (digamos el cambio de censo de hecho a uno de derecho), en el que siempre se pueden tener controversias; y otra cosa también es que siempre en las mediciones hay problemas. Creo que lo del Censo supera ambas cosas.

La entrevista a Mariana Alcérreca en CIPER es bien devastadora:

En primer lugar. porque revela temas de incompetencia bien importantes. Por ejemplo, en lo relativo al cálculo de la fecundidad. Me llamó la atención que la cifra de fecundidad fuera un promedio de hijos por mujer en edad fértil (revisar página 16 de la síntesis en el sitio del censo). Yo algo había escuchado que en realidad es un número estimado (dado que, por ejemplo, las mujeres en edad fértil no han tenido todos los hijos que tendrán). Pero, bueno, no siendo  especialista en el tema quizás estaba mal. En la entrevista se plantea que:

La tasa de fecundidad: la calcularon simplemente tomando el total de hijos y el total de mujeres en edad fértil, y lo dividieron, por desconocimiento de cómo se calcula y por no preguntar a la gente de Demografía. Y ese cálculo erróneo lo hizo el propio director. Y lo sé porque a la semana, en una reunión con el equipo de Demografía, cuando nos dicen por qué hay un error y cómo se calcula la tasa de fecundidad –que se calcula desde las estadísticas vitales- el director dijo que la cifra entregada la había calculado él mismo. La filtración la hizo alguien que tuvo acceso al documento de síntesis de los resultados que se iba a entregar al día siguiente. Allí estaba la errónea tasa de fecundidad que después debió corregirse, al igual que las otras cifras con errores.

En segundo lugar, porque hay elementos directos de manipulación. En la entrevista hay varios así que sólo presentaré el que me parece más impresentable porque implica manipulación directa de datos. Incluso el tema relativo a la diferencia entre los 5.800.000 censados y 6.600.000 estimados podría achacarse, si uno tuviera buena voluntad, a un tema de comunicación y a un deseo de no complicar la difusión con detalles que nadie entiende. Pero lo siguiente no tiene esa excusa:

Finalmente, el director hace un viaje a Arica a mediados de marzo y el jefe del Censo, Eduardo Carrasco, se sienta conmigo y me dice: “Mariana, tengo un problema, con la base de datos estoy llegando a 16 millones 300 mil”. Le respondo que es grave porque cómo vamos a llegar a menos población que la que dijimos en agosto. ¡Imposible! “La diferencia la hacen esas personas de aquellas viviendas con moradores ausentes que estimamos en la primera vez”, agrega. ¿El director sabe?, le pregunto. “No”, dice. El director llega al día siguiente. Me voy a su oficina y le digo lo que pasa. De inmediato Labbé llama a Eduardo Carrasco. Y escucho que le dice: “Pero esto hay que arreglarlo, tienen que ser más, agrega la población”

De hecho, el tema del ocultamiento de información, primero frente a los propios equipos del INE, luego en relación incluso a la Presidencia también es muy notorio en la entrevista.

En aras de presentar cifras que avalaran la idea que estábamos frente al mejor censo de la historia se esconden varios antecedentes que muestran problemas relevantes. Nuevamente el punto no es que el Censo tuviera problemas -con cambio de metodología se pueden esperar algunos-, el tema es cómo se manipula la información.

Por ejemplo, en relación a la cobertura:

El dato de cobertura de viviendas no mide la calidad de un Censo. Según todos los papers internacionales lo que mide la calidad de un censo es la omisión de población, no de viviendas, porque uno no tiene ningún dato que le permita decir con exactitud cuántas viviendas hay. Como se habló de una cobertura del 98% de las viviendas, a partir de ahí el director y sus asesores empiezan a hablar del “mejor Censo de la historia de Chile”, porque la información que existe de los censos anteriores te hablaba de coberturas menores.

Pero la realidad de la omisión puede ser bastante más preocupante:.

Ese documento lo conoce todo el equipo de Demografía y el director. Por lo que sé, este demógrafo no tuvo acceso tampoco a la base completa del Censo, le pasaron solamente la parte demográfica. Entonces, él asumió que los 16 millones 600 mil que le estaban reportando, era población censada [y no que era un dato estimado]. Incluso así estimó la omisión en un 4,8%

En otras palabras, esto implica que ya se salió del ámbito normal de las dificultades y problemas de la medición social, que siempre es compleja. Estamos ante otra cosa.

Dada la relevancia del Censo como información y como generadora de información (los marcos muestrales de muchos estudios provienen de él, y espero que esto no se haya visto afectados -al menos la información que se sabe hasta ahora nada indican al respecto, pero no sabemos que puede aparecer mañana), como mínimo alguna auditoría externa sería necesaria.

PS 1. Si es sociólogo o en general usa datos de mediciones sociales, lea la entrevista.

PS2. Si hace clases de metodología, haga leer la entrevista a sus alumnos.

2 Comments

Neutralidad y compromiso en Ciencias Sociales

  By ,

Una de las discusiones perennes de las ciencias sociales es la que dice relación entre la neutralidad valorativa y la necesidad del compromiso. A continuación intentaremos mostrar que ambas posiciones son más compatibles de lo que muchas veces se plantea, en al menos en algunas de sus variantes; y que -de hecho- ambas comparten el mismo adversario y la misma crítica.

La neutralidad valorativa se puede basar en la siguiente consideración humeana: No es posible pasar de una sentencia descriptiva a una sentencia de valor. Cuando uno extrae una conclusión de valor a partir de una descripción del mundo, hay siempre una premisa normativa. Esta premisa puede parecer muchas veces muy obvia, pero no deja de ser normativa. La exigencia mínima de esta posición es solamente que la posición normativa es normativa, no es algo que deriva puramente de descripciones.

El compromiso valorativo parte de la idea que un analista social es un actor, y que entonces tiene intereses. Lo que sucede en la realidad no le es indiferente, hay elementos que prefiere que sucedan y otros que no. En la medida en que, además el investigador se inserta en las acciones de otros actores, esos otros actores claramente sí tienen intereses y objetivos. Y por lo tanto, el uso de la investigación siempre implica que hay elementos valorativos.

Si lo anterior es correcto, entonces uno puede observar que hay formas de hacer compatibles ambas posiciones. La neutralidad valorativa es una posición sobre las afirmaciones, mientras que el compromiso es una posición sobre los investigadores. Y por lo tanto es posible al mismo tiempo la neutralidad de las afirmaciones y el compromiso de los investigadores.

Pensemos en los puntos más directos de confrontación

  • Que la elección de temas y objetivos de investigar, la ‘relevancia’ es un tema normativo. Pero desde la neutralidad no es algo tan complejo de reconocer (de hecho Weber mismo lo hacía cuando defendía la neutralidad); en tanto reconozcamos que la validez de las descripciones encontradas no es un tema normativo.
  • Que la evaluación normativa, desligada de la descripción, quedaría sin validez objetiva, o solamente sería algo subjetivo. Pero nada en la posición neutral implica que no se pueda discutir ‘objetivamente’ sobre normas; sólo que esas discusiones no son discusiones empíricas. La posición neutral, como ya dijimos, no implica la posición ’empirista’ que sólo de los hechos empíricos es posible discutir objetivamente. Ese es otro tema.

La compatibilidad de ambas posiciones es quizás más clara cuando observamos que ambas comparten un mismo adversario: la posición tecnocrática que es posible intervenciones neutrales. Bajo ambas ideas la idea de una acción que no tiene involucrado valores no tiene el menor sentido. En el compromiso eso es evidente, pero también lo es bajo el neutralismo: Lo que es neutral es la descripción no la acción. Precisamente la neutralidad se basa en la idea que de la descripción no se siguen evaluaciones, no se siguen acciones. Pensar que existe una intervención técnica, ‘neutral’, va en contra de la idea básica de la neutralidad: que descripciones y valoraciones son elementos distintos y no se puede deducir uno del otro.

La posición tecnocrática a veces reconoce lo anterior (i.e toda intervención tiene objetivos que no son neutrales) y define la posición técnica como una de herramienta: Otros actores definen los objetivos, y el investigador entrega el mejor medio técnico para su logro. Y eso es neutral, no normativo. El problema de ello es que no por ser una parte de una acción se deja de participar en ella. En otras palabras, un actor está pragmáticamente comprometido con los objetivos de las acciones en que se inserta, incluso si él no los define, los está aceptando al promover su cumplimiento. En otras palabras, no hay forma válida de escabullir el hecho que las intervenciones son temas valóricos, y por definición no pueden ser neutrales.

En resumen, si se mantienen distintas las referencias de la neutralidad y el compromiso, ambas son compatibles; y ambas critican las posiciones tecnocráticas, bajo las cuales es posible intervenir en la sociedad en un rol puramente técnico. La validez de una descripción puede no ser un tema normativo; pero todo lo relacionado con las intervenciones es irremediablemente un tema intrínsecamente normativo.

No comments

Sobre la Actitud del Analista Social

  By ,

A propósito de otra discusión, pero para que no se me olvide.

Uno de los primeros textos que uno podría plantear hablan desde una perspectiva de análisis social, de ‘ciencia’ social es el panfleto del Viejo Oligarca (pseudo-Jenofonte). Un análisis desde una perspectiva crítica, aristocratizante, de la democracia ateniense.

¿Por qué digo que tiene la perspectiva de la ciencia social? Es cosa de leer su inicio:

I do not approve of the form of government which the Athenians chose for themselves, for in so choosing they benefited the rabble rather than the citizens of a better sort. On these grounds, as I say, I disapprove. But granting that the Athenians did decide to establish such a form of government, I shall show that they preserve it well and, contrary to the belief of the rest of the Greeks, practice it successfully.

¿Qué es lo que transforma a ese texto en una muestra de la actitud de alguien que desea analizar la sociedad? El hecho que -teniendo muy clara su visión, y su carácter crítico (por más que a nosotros no nos guste su crítica)- entiende que eso es algo distinto de la tarea del análisis empírico: Desapruebo la democracia de los atenienses, pero  eso no obsta para que me pregunte sobre cómo funciona y porque se mantiene. Es esa distancia de la propia opinión para intentar realizar un análisis empírico lo que todo analista debiera intentar tener.

El texto, además, muestra con gran claridad como algunas discusiones típicas de las ciencias sociales no tienen mucho sentido: Toda la oposición entre neutralidad valorativa y el compromiso del científico. El compromiso del Viejo Oligarca es claro en su crítica a la democracia (y nunca pierde el tiempo en recordar la distinción entre los pocos y nobles frente a los muchos y sin valor), pero también es impecablemente empírico en muchas partes del texto (como la relación entre el poder naval y la democracia en Atenas, en la explicación de porqué los atenienses insistían en que las controversias jurídicas de las polis bajo su poder se resolvieran en Atenas, en la importancia del gasto público etc.). Que ambas cosas -el compromiso y la neutralidad- son posibles al mismo tiempo es algo que era claro ya en este primer texto de análisis social.

 

No comments

Antropología y Sociología (I) Una nota sobre métodos cualitativos en dos disciplinas

  By

A veces hacer clases implica que uno se da cuenta que cosas que son un poco obvias, pero uno las había pasado por alto.

Revisando para una clase de metodología el libro editado por Manuel Canales sobre Metodologías de Investigación Social, me di cuenta que en el listado de técnicas cualitativas sólo están representadas técnicas de entrevista. Lo cualitativo, es finalmente, un análisis de discursos.

Ahora bien, eso es muy extraño (y lo extraño también es no haberlo notado antes). Porque en antropología, la técnica cualitativa ‘clásica’ es la etnografía -que no puede reducirse, para nada, a una operación de entrevista. Lo que desaparece en el texto es todo lo relacionado con la temática de la observación y de la integración en aquello que será estudiado.

Y esto tiene que ver, creo, con un tema disciplinario. El texto de Canales es un texto escrito por sociólogos para sociólogos, y la introducción de lo cualitativo en la disciplina (y en particular en Chile) ha estado centrada en el tema del discurso. El sentido se piensa como algo inscrito en discursos y en textos. Y lo social se piensa en términos de ese sentido.

Pero reducir el sentido al discurso y al texto (y esto sin entrar siquiera al tema de reducir lo social al discurso y al texto) no tiene mucho sentido. El sentido es (también) algo que está inscrito en las prácticas, y las prácticas no se dejan abordar solamente como texto. Es por ello que hay que observarlas -y es por ello que se inventó la etnografía.

Ahora, tampoco hay que olvidar que las prácticas incluyen habla, y que lo que intentamos es recuperar sentido. En otras palabras, una observación interna no una externa. La observación cualitativa incluye conversación. Pero claro está, eso es ya sabido en antropología, y por eso es la etnografía el método ‘clásico’ para investigar cualitativamente.

Si la entrevista es un medio para indagar sentidos en los discursos; la etnografía es un medio para indagar sentidos en las prácticas. Lo que no debiera olvidarse en sociología es lo que la antropología siempre supo: el sentido no se puede pensar solamente como discurso.

 

No comments

La representación de la realidad social en las encuestas, o sobre la opinión real de las personas

  By

Todo partió en Chilesoc. José Manuel Ferreiro envío un correo a la lista haciendo notar que  en El Mostrador se había publicado una columna de Sabrobsky a propósito de las encuestas -la columna en este link-, y que ‘por otro lado, creo que todos quienes directa o indirectamente hemos trabajado con encuestas (como encuestadores o en su diseño y/o análisis) hemos tenido varias de las dudas que aquí se plantean (y probablemente hemos activado mecanismos para dejarlas de lado y seguir trabajando)’. Escribí una réplica, y para que no se me olvide, la escribo también en este blog, y aparece -tal cual fue enviada a Chilesoc- a continuación:

En realidad yo discrepo con el supuesto básico de la columna: Se dice que las encuestas no representan la opinión real de las personas y que eso es un problema. Pero es evidente que las encuestas no pueden representar la opinión real de las personas (i.e la opinión real sobre un tema siempre va más allá de las cuatro o cinco alternativas que se le presentan, es claro que no siempre tienen claro lo que creen etc.). Las encuestas funcionan porque la sociedad no funciona sobre la opinión real de las personas (por ejemplo, muchas veces la opinión deseable tiene más implicancias reales en la sociedad que la supuestamente real), y la opinión limitada que responden en una encuesta es muchas veces la opinión limitada que efectivamente usan en la vida social.

De hecho en mi opinión, la mayoría de los problemas con las encuestas de opinión es un problema de interpretación más que de pregunta. Hay un caso famoso de efectos de contexto en encuestas. A los gringos en los años 50 se les preguntaba si creían si un reportero soviético tenía el derecho a ir a EE.UU y volver a su país a decir las cosas que quisiera. La mayoría se opuso. Ahora, si eso se preguntaba luego de hacerles la misma pregunta pero invertida (sobre un reportero gringo en la Unión Soviética) las cifras cambiaban. La pregunta se repitió en los ’70 con el resultado que el efecto se mantuvo pero mucho más diluido. Ahora, todo eso es informativo y nos dice cosas acerca de la sociedad norteamericana. Imagínese la pregunta más sesgada que le sea posible pensar, e incluso esas respuestas serán informativa de algo.

Si uno recuerda lo limitado que es la respuesta a las preguntas de una encuesta (están seleccionando una alternativa ente las que les presenté, en ese contexto específico de cuestionario; no me están dando la opinón real sobre el tema), entonces no dejan de ser útiles e informativas; tratarlas como otra cosa genera una serie de problemas

Que las encuestas generan realidad y no sólo la describen es bien sabido. Pero todas las acciones en la sociedad construyen sociedad. No es algo particular de las encuestas.

BTW, la paradoja inicial es falsa. La siguiente afirmación podría caer bajo paradoja: ‘Yo, que soy chileno, afirmo que ningún chileno en ocasión alguna dice las cosas de frente’. Ahora la siguiente afirmación no es equivalente a la anterior: ‘Yo, que soy chileno, afirmo que es propio de los chilenos no decir las cosas de frente’. El sujeto bien puede pensar que el no hace las cosas típicas de los chilenos, o al menos que no lo hace siempre (incluyendo la respuesta a la pregunta). Ya dije que el principal problema de las encuestas era la interpretación y ahí aparece de nuevo

No comments

A propósito de la fenomenología

  By

Supongo que es de rigor conseguirse y leer los libros de los profesores. Así que empecé a leer el libro ‘Socio-fenomenología‘ de Ulises Toledo, y en su lectura encontré que, a pesar del sentido que tiene el programa, aparece una de las razones por las cuales la fenomenología se encuentra, al final, creo con problemas importantes.

El libro presenta todos los argumentos sobre los cuales se fundamenta la aproximación fenomenológica, y creo que la exposición de Toledo es en general bastante clara -lo que en una teoría que no es la más fácil del mundo es de agradecer. Y la idea de fundamentación aquí es central: es la búsqueda de aquello que fundamenta nuestros conocimientos lo que genera todo el programa. Simplificando mucho, y recordando que no estoy exponiendo aquí la doctrina (para ello mejor lea el libro), el caso es que los objetos no son cosas dadas a la experiencia, sino que se forman en la experiencia. Luego, el conocimiento objetivo externo es derivado si se quiere.

Pasando más propiamente al tema social, podemos decir que los sentidos compartidos son básicos: la vida social es posible y se forma a través de los sentidos y significados, y los procesos centrales para entenderla son aquellos a través de los cuales se forman esos sentidos. Las ideas de horizonte, de mundo de la vida son forman de conceptualizar y comprender esas temáticas.

Esto no implica que el conocimiento cuantitativista-objetivizante no tenga cabida. Pero es claramente derivado. Una vez que cierto sentido se ha tipificado -se ha estabilizado como un significado compartido y se ‘usa’ en nuestras acciones- por cierto que cabe estudiarlo cuantitativamente. La posición fenomenológica entonces da cuenta tanto del sentido de hacer investigación cualitativa como de las razones por las cuales se hace tanta investigación cuantitativa (y no deja ese tipo de estudios como algo meramente ideológico).

Hasta acá entonces, todo bien. Pero iniciamos la entrada declarando problemas importantes, ¿cuáles son estos?

(1) El primero es la orientación básica. La fenomenología, y así lo deja claro el libro de Toledo que analizamos, desde sus inicios es una búsqueda de fundamentos, las cosas esenciales. Pero las ciencias no requieren fundamentos. No es esa la lógica de su operación. Operan a nivel de los fenómenos (y cómo se relacionan), no a través de los fundamentos de ellos. En ese sentido, la fenomenología puede ser buena filosofía (bien por Husserl) pero no es claro que encontrar fundamentos sea relevante para las ciencias sociales (digamos, el valor de Schutz no es tan claro). Pero este también es un punto más bien filosófico, y no afectaría el valor de la aproximación en realidad.

(2) El segundo, que creo más crucial, es que la idea de lo cuantitativo como derivado tiene una afirmación escondida: Que las características de lo derivado dependen de su sustrato inicial. Las dinámicas cuantitativas de la votación son derivadas del proceso significativo que constituye los significados del acto de votar, de la elección etc. Aceptemos eso. Pero no por ello las dinámicas dependen de esos significados.

Es perfectamente posible pensar que al menos algunas dinámicas cuantitativas son independiente de sus sustratos. Por ejemplo, es un tema de sentido y significado el que constituye la relación de amistad y otro tipo de relaciones, y por lo tanto sin sentido no hay relaciones: ellas son derivadas del sentido. Pero las dinámicas que surgen a partir de una red centralizada pueden ocurrir independiente de qué tipo de relación sea. Y en ese sentido, la dinámica cuantitativa es derivada pero no dependiente de los procesos de significación.

Una de las ventajas en general de las argumentaciones a favor de las aproximaciones cualitativas es que, como ya vimos, dan cuenta no sólo de por qué su propia aproximación funciona, sino también explican la aproximación contraria. Ese es de hecho algo destacable, porque las aproximaciones cuantitativas de hecho no suelen explicar porqué puede tener sentido lo cualitativo. Pero a pesar de ello, la argumentación cualitativa tiende de todas formas a disminuir la relevancia de lo cuantitativo: A dejarlo como secundario. Pero creo que la relación entre cualitativo y cuantitativo no es entre lo que es central o secundario, sino lo que es relevante para distintos aspectos de la vida social.

4 Comments

A propósito de la discusión sobre la CASEN 2011

  By

No es la costumbre de este blog dedicarse a comentar asuntos de coyuntura, pero todo el tema de la CASEN me tiene algo aburrido. Y por la razón más sencilla: porque todos los participantes del debate se han dedicado a politizar el asunto.

Veamos cada uno de los puntos de la polémica.

(1) La comunicación sobre la disminución de la pobreza en 0,7 puntos. Dado el error muestral diseñado del estudio, y el hecho que es probable que el error muestral efectivo sea mayor, hace que -por lo menos- hacer una alharaca con el resultado estaba de más. Aquí el Gobierno no tiene, creo, como defenderse de la acusación que hizo una manipulación comunicacional. Que Andrés Hernando, ex-jefe de la División de Estudios, declare que siente que Lavín lo manipuló, aun cuando defiende todas las decisiones técnicas de la encuesta, debiera ser suficiente para dejar en claro la situación.

(2) El tema de las dos muestras. Primero, los documentos al respecto estaban disponibles en el sitio web del Ministerio (hacer click aquí), o sea la crítica que esto no se sabía sólo muestra que el crítico no buscó la información. Aquí uno puede ver que la propuesta del Ministerio de la CASEN ya hablaba de ampliar el tiempo de la encuesta y de hacer una muestra en dos fases. El Ministerio ha planteado que la recomendación de la muestra en dos fases fue del Comité de Expertos, pero Larrañaga ha negado que esa fuera una recomendación, sino que la recomendación fue ampliar el período. Ok. Ahora si amplio el período de toma de datos de una variable que es estacional, como lo es ingresos, evidentemente si quiero comparar tengo que hacerlo con lo comparable: Ergo, puedo comparar los mismos meses, que es equivalente a lo que se hacía antes. No puedo hacer la comparación con el período completo de terreno, que el 2011 fue más extenso, porque entonces es probable que los cambios encontrados sean producto del cambio en el diseño del estudio. En otras palabras, todo el escándalo por ese tema no tiene el menor sentido.

(3) El tema de los subsidios: Que estos subsidios no se mensualizaron como era lo que correspondía. A la respuesta del gobierno que la CEPAL fue la que tomó esa decisión porque ellos estimaron que la diferencia no era relevante y porque había una alta tasa de sub-reporte (y de hecho al parecer el efecto son dos décimas), se respondió con una acusación más profunda que de manipulación de cifras, que es la de mal diseño:

‘Una respuesta posible es que la “imputación del bono” nunca había sido necesaria, pues en encuestas anteriores los cuestionarios permitían distinguir si un ingreso dado (por ejemplo, un bono) era periódico y regular o por una sola vez. Cuando reconoce la necesidad de imputar específicamente el bono, el asesor confirma un segundo error técnico: el cuestionario fue mal diseñado’ (Velasco y Contreras en La Tercera el 21 de Agosto, ver aquí).

Dado que los cuestionarios son públicos es cosa de comparar (aquí Cuestionario 2009 y aquí Cuestionario 2011). En general, no parecen ser formas demasiado distintas de preguntar. Los bonos únicos (por ejemplo, bonos marzo o invierno) se preguntaron por período de referencia de 12 meses en los dos cuestionarios. En otros casos, como el bono de protección social se preguntó por la recepción en el último mes. En general, bonos comparables se preguntaron de formas similares. Los cuestionarios no son idénticos porque los bonos entregados por el Estado no eran los mismos, pero cuando cambia la realidad no queda más que cambiar el cuestionario. En todo caso, en general no se agregó en relación a subsidios preguntas por periodicidad ya sea el 2009 o el 2011 (donde se pregunta de manera sistemática por periodicidad es en ingresos laborales). Eso no obsta para que existan problemas en relación a la pregunta y su comparabilidad, y que se pueda discutir sobre el tema de cómo se asignó el subsidio, pero de ahí a decir que el cuestionario fue mal diseñado hay un trecho bastante grande.

(4) Finalmente, el tema de la pregunta y11, la pregunta por ingresos de desocupados o inactivos. Aquí el centro de la polémica ha estado en que la CEPAL originalmente no incluyó esa pregunta en su cálculo (y daba un 15%, o sea no había existido baja) y el gobierno, entonces, manipuló y exigió que se incluyera (y quedo en el 14,4% conocido). Ahora, escuchemos lo que dice Hernándo, que era el jefe de la División Estudios, en entrevista en el Ciper (aquí):

-¿Quien le pidió que la enviara? 
-Mi jefa me preguntó cuál era la opinión de mi quipo [sic]. Quiero aclarar que no estuve en el proceso de elaboración del cuestionario cuando se hizo la pregunta “y11”. Ese proceso dependía de la División de Desarrollo Social. Yo le pregunté a Carolina Casas-Cordero que es la actual encargada del tema y ella me presentó sus argumentos técnicos, que están todos en la minuta que mandamos, y me convenció de que lo razonable era incluir la pregunta “y11”.

El argumento no provino entonces de las cabezas políticas ministeriales, sino finalmente de los cuadros técnicos del Ministerio. En otras palabras, cualquiera fuera el gobierno, se hubiera hecho la petición. Y la razón es clara: los cambios en cuestionario no se hacen porque sí y entonces esto tiene que ver con las posibles razones para incluir esa pregunta. El argumento de Casas-Cordero fue que la y11 no agrega ingresos sino que desagrega un ingreso que siempre fue considerado (en la pregunta de otros ingresos) y el pre-test habría mostrado eso. Ahora, la opción de desagregar posiblemente provino que desagregar entrega información más precisa, que los desempleados en la CASEN se hacen en torno a una semana de referencia pero los ingresos laborales son mensuales etc.

El caso es que sí se incluyó una pregunta nueva (la y11) dentro de ingresos no es extraño que cuando se reciben cifras que no consideran esa pregunta el diseñador del cuestionario -que no es la CEPAL en última instancia- reclame. De hecho, la CEPAL ahora intenta salirse del tema declarando que ‘ellos no discuten lo que deciden los gobiernos’, cuando la minuta de hecho indicaba que si tenían dudas las hicieran llegar. Si se quiere, la decisión del gobierno incluía que podían hacer valer su dudas.  Presumiblemente la minuta debió tener la explicación más detallada (i.e presentar los datos del pre-test que lo avalan), pero no creo que una minuta insuficientemente detallada sea para hacer escándalo tremebundo.

 

Había partido todo esto diciendo que todo el mundo había politizado el tema. El gobierno desde sus inicios lo hizo en términos comunicacionales: Armando un gran alboroto por algo que no era para tanto -incluso si uno toma los datos sin discutirlos, no había pasado más que había vuelto a disminuir la pobreza, como lo ha hecho casi siempre con la CASEN, y de hecho todavía no volvemos a los niveles del 2006.

Pero los críticos también han politizado el asunto. En primer lugar, por empezar a hablar sin informarse. Varios de estos puntos estaban en documentos públicos. En segundo lugar, por hacer también una trampa comunicacional al pedir precisiones: Si de verdad tengo consultas técnicas sobre la CASEN no se las hago al Ministro en un Seminario -el Ministro no deja de ser un mero político-, se las hago al encargado de la Encuesta. En tercer lugar, porque se ha pasado de criticar la forma de comunicación de resultados a empezar a poner dudas en todas las cifras, recordemos la cita de ‘cuestionario mal diseñado’, por algo que de hecho era similar en CASEN anteriores.

La politización de la CASEN ya tiene sus años. El primer año que se hizo uso político de estas cosas fue el 2006. Fue la primera vez que alguien habló en referencia a la CASEN como la ‘encuesta del gobierno’ (Hernán Larraín en ese momento), o en que actores políticos que nada saben de Encuestas -Allamand en ese caso- se dedicaran a hacer comentarios técnicos, por ejemplo en torno a los cambios de pobreza a nivel comunal -tema muy discutido en ese entonces. Y ahora que la Concertación está pensando en una comisión investigadora, leamos esta nota de El Mostrador del 23 de Julio del 2007:

“Derecha solicitará interpelación de ministra Hardy por encuesta Casen. El jefe de la bancada RN, Mario Bertolino, justificó la decisión ya que su sector cree que la información del Mideplan, que dio cuenta de una reducción de la pobreza de un 18,7% a 13,7% desde 2003 a 2006, es contradictoria y que su posible falta de veracidad podría poner en riesgo la elaboración de programas sociales”

Pero uno no espera mucho más de los políticos a decir verdad. Lo que es realmente penoso es que gente supuestamente más seria (30 economistas que firman una carta sobre la CASEN por ejemplo) empiece a adquirir los mismos malos hábitos (i.e no revisar la información, no hacer las preguntas a quién probablemente puede responderlas etc.) creo que es más preocupante.