El verdadero problema en la encuesta CASEN

El verdadero problema en la encuesta CASEN

Lunes 3 Sep 2012

Tal como dice Benito Baranda, en esta teleserie que se ha armado sobre la CASEN hay un montón de cosas equivocadas. No tengo suficiente conocimiento ni paciencia para opinar sobre la parte política, ni quiero opinar sobre lo insuficiente que puede ser la encuesta para medir la pobreza (con lo que estoy de acuerdo). Sin embargo, luego de las opiniones de varios políticos sobre las estadísticas involucradas, no puedo sino opinar sobre este punto en particular.

Este fin de semana varios medios recogieron aspectos de la polémica desatada luego de que Ciper Chile ([1] [2]) denunciara que el gobierno de Piñera habría "negociado" con Cepal para incluir una pregunta en la encuesta CASEN que habría "permitido" disminuir la medida del nivel de pobreza en Chile desde un 15.0% a 14.4% en 2011, lo que el presidente Piñera anunció el 20 de julio pasado como un logro de la gestión de su gobierno. Andrés Hernando, hoy ex-asesor del Ministerio de Desarrollo Social, y responsable (hasta cierto punto) de la aplicación de la encuesta, habría advertido al ministro Lavín la noche antes del anuncio que la baja en la pobreza de 15.1% a 14.4%, aun incluyendo la pregunta cuestionada, no era significativa.

De todas las cosas que pueden estar mal en esta historia, ¿qué es lo que realmente invalida estadísticamente el resultado que el gobierno quiere presentar como un logro? A mi juicio, no es la supuesta "negociación" con Cepal para incluir una pregunta nueva, ni los "pre-tests" tomados antes de la encuesta, ni lo significativo de la cifra misma (dependiendo de algunos parámetros, según mis cálculos la disminución sí es significativa). No, lo realmente cuestionable es el momento en que se toma la encuesta.

Qué no está mal en la encuesta

Revisemos primero las razones negativas. La metodología para tomar una encuesta es algo realmente complejo, y es una muy buena práctica el testear las preguntas para ver qué no funciona bien y cómo mejorarlas. Cuando se termina el diseño de una encuesta, se aplica a un número usualmente pequeño de personas para asegurarse que de las preguntas son comprendidas por los encuestados, si la pregunta funciona bien fuera del laboratorio, etc. Si ese era el objetivo de los "pre-tests", y siempre y cuando esos datos no se hayan utilizado, me parece una práctica encomiable.

Segundo, la "negociación" con Cepal. Si no consideramos el hecho de que el ministro Lavín parece haber llamado a CEPAL después de recibir la primera cifra de pobreza para el 2011 (un 15.0%), entonces el intercambio con Cepal, tal como dice Andrés Hernando en la entrevista que dio a CIPER Chile, debe ser considerado como técnico y no político. CEPAL ha sido siempre un organismo internacional serio que está por sobre las políticas locales, que funciona en este caso como contraparte técnica, como garante de la consistencia de la metodología. Si CEPAL emite una opinión técnica diciendo que está bien reemplazar la pregunta X por la pregunta Y, tenemos que confiar en su imparcialidad y seriedad. Sin embargo, sería deseable que todo el intercambio estuviera a disposición de todo el mundo, para no tener que especular.

Tercero, lo significativo de la baja de la cifra. Cuando uno dice "el nivel de pobreza en Chile el 2009 fue un 15.1%", eso es en realidad una simplificación. Lo correcto sería decir algo así como "con un 95% de confianza, la cifra de pobreza está entre 14.8% y 15.4%", que es otra forma de decir que existe sólo un 5% de probabilidad de que la "verdadera" cifra de la pobreza no esté dentro de ese rango. Los estadísticos llaman a esto un intervalo de confianza, y puede estimarse sumando y restando al promedio (15.1%) una cifra que depende del promedio mismo, de la confianza con que queramos hacer nuestra observación (usualmente 95%) y del número de personas encuestadas:


Típicamente la fórmula anterior se simplifica un poco más en las encuestas para entregar una cifra conservadora (un viejo y sano hábito de los investigadores para evitar cometer un error de tipo I). La fórmula anterior es mayor cuando p es 50%, en cuyo caso queda como:


La fórmula anterior es una aproximación, y depende de dos cosas: que se entreviste a un número grande de personas (con más de 30 basta, lo que claramente ocurre en este caso), y que la muestra sea tomada aleatoriamente (técnicamente, estos supuestos son necesarios para poder aproximar un proceso binomial (pobre/no-pobre) a una normal, y para asegurar que la varianza de la muestra no difiera demasiado de la varianza de la población). En esta fórmula, Z es aproximadamente igual a 1.96 para un 95% de confianza, y 2.576 para un 99% de confianza. El segundo número corresponde a una aproximación a lo que típicamente se conoce como "error estándar".

(Alguien podría preguntarse: ¿porqué no tener un 100% de confianza? La respuesta es: porque ese caso no es interesante: si queremos 100% de confianza, lo único que podemos decir de una estimación es que está entre un 0 y un 100%.)

Las cifras de la CASEN de este año aún no son públicas, así que no sabemos cuánto es n, pero la encuesta del 2009 incluyó a 71.460 hogares, y entiendo que se entrevista sólo a una persona por hogar. En el caso de las cifras de pobreza para el 2011, el intervalo de confianza va entre 14.4-0.34% y 14.4+0.34%, es decir, entre 14.1% y 14.7%, con un 95% de confianza. Es decir, si se usa este criterio, la baja desde 15.1% a 14.4% podría ser considerada significativa.

Sin embargo, la estimación de este intervalo de confianza depende del hecho que se tome una muestra al azar de personas. Es muy difícil argumentar que una muestra de personas para medir pobreza pueda realmente ser aleatoria, y es necesario aplicar técnicas complicadas para acercarse a este ideal.

A mi juicio, ninguno de los problemas anteriores es insalvable, excepto el cuándo se tomó la encuesta.

Para entender por qué, recordemos el ejemplo del chef preparando una gran olla de caldo. Imaginemos que la olla representa al país entero, y que el nivel de sal en el caldo es como la pobreza. Tal como antes, queremos medir la pobreza ("el nivel de sal") del país ("la olla entera") a través de una encuesta a un conjunto de personas ("una muestra de caldo"). No queremos encuestar a todas las personas (es decir, no queremos probar todo el caldo) porque eso sería muy caro, y porque dados ciertos supuestos ("revolver bien") suponemos que la pobreza será relativamente homogénea en todo el país. El problema es que la pobreza no es homogénea, en particular en términos geográficos. La pobreza (y la riqueza) se concentra en comunas y provincias específicos (y Chile es el país con mayor desigualdad del grupo de países de la OECD). Los encuestadores no pueden simplemente ir a una comuna y empezar a entrevistar a todos los vecinos de una manzana, porque es casi seguro que todos ellos tienen niveles de pobreza similar. Antes de tomar la encuesta, es absolutamente necesario el "revolver el caldo" y tomar varias muestras que incluyan distintos lugares de manera aleatoria.

Tengo sin embargo plena confianza en que los profesionales que trabajan en la encuesta CASEN son expertos calificados para entender todo esto y aplicar estas técnicas. Entonces, ¿cuál es el problema?

"Marty, ¡no estás pensando en la cuarta dimensión!"

A mi juicio, ninguno de los problemas anteriores es insalvable, excepto el cuándo se tomó la encuesta, junto al problema de recordación forzada de la pregunta introducida.

La encuesta ya se estaba aplicando en noviembre del año pasado, que es cuando el gobierno empieza a entregar un bono de diez mil pesos (unos US$20) para mujeres trabajadoras. Junto con eso, se incluye una pregunta específica sobre ingresos especiales. La descripción de la CASEN en el sitio del Ministerio de Desarrollo Social dice que los "[h]ogares con jefatura femenina se encuentran más expuestos a vivir en condiciones de indigencia y pobreza. El 47,9% de los hogares indigentes tiene jefatura femenina y el 43,2% de los hogares pobres tiene a una mujer a cargo del hogar". Al aplicar un instrumento para medir la pobreza al mismo tiempo que se está entregando un bono de 20.000 pesos, se está introduciendo un error insalvable en la medición. Metodológicamente, no importa si se trata de $2.000 o de $200.000, el error existe. La única forma en que esto no constituyera un error sería que el bono hubiese sido entregado al azar en toda la población, pero esto obviamente destruye el propósito del bono. En la práctica, la cantidad puede parecer baja, pero estamos hablando de personas para las cuales el bono puede ser el 20% de su ingreso mensual.

A esto se suma el problema de la recordación forzada. Supongamos que alguien te detiene en la calle y te pregunta: "De 1 a 10, donde 1 es 'Muy seguro' y 10 es 'Muy peligroso' ¿cómo considera usted viajar en avión?", tu respuesta depende de lo que pasó en la última semana. Si una encuesta así hubiese sido tomada una semana antes y una semana después de los accidentes en Juan Fernández en Chile (o para el caso, antes y después de los atentados a las torres gemelas el 11 de septiembre de 2001 en Estados Unidos), los resultados hubiesen sido con toda seguridad muy distintos. De hecho, los viajes en avión en Estados Unidos disminuyeron dramáticamente después de los atentados. En la encuesta CASEN, la pregunta introducida es sobre desagregación de ingresos, y 45% de las personas reportó recibir el bono.

En mi opinión, estos errores son incorregibles, y lo único que podemos extraer de esta encuesta son lecciones para realizar una mejor encuesta el próximo año.

Una cosa más

No quiero terminar esta columna sin agregar una opinión muy personal respecto al uso de la palabra "técnico". La columna de Ciper Chile, aunque asumo bien intencionada, insiste en llamar a Andrés Hernando un "técnico". La prensa y los políticos usan profusamente la palabra para referirse a profesionales y académicos altamente calificados cuando utilizan su conocimiento para intentar aportar al avance de nuestro país. No conozco personalmente a Andrés Hernando, pero entiendo que él es doctor en economía de Harvard. La última que revisé, este es exactamente el mismo título que tiene el presidente Piñera.

¿Es necesario hacer evidente el que la mayor parte de los políticos no tiene la menor idea de estadísticas básicas? ¿Ni de economía, biología humana, pedagogía, ecología, y el sinnúmero de disciplinas necesarias para resolver los problemas más urgentes de nuestro Chile? ¿No sería más sano y constructivo para el país el aprovechar estos conocimientos sin ponerle el pie encima a los profesionales que los tienen?

Imágenes: Wikipedia [1], [2], LinkedIn, y elaboración propia. Fuentes: la Tercera: [1] [2], el Mostrador: [1] [2] [3], Cooperativa: [1] [2].
Foto de Tama Cristian Bravo-Lillo @tamabravolillo Ingeniero Civil en Computación, Universidad de Chile. Doctor en Ingeniería y Políticas Públicas, Carnegie Mellon University. http://www.linkedin.com/in/cristianbravo