Cómo sabemos si una política funciona: la razón del Nobel de Economía

La semana pasada se otorgó el premio Nobel de Economía a Abhijit Banerjee, Esther Duflo y Michael Kremer por su trabajo para aliviar la pobreza. Los gobiernos, las ONG y los investigadores interesados en cambiar la realidad buscamos sus causas para poder modificarlas. Pensamos e impulsamos políticas que respondan a ese diagnóstico, de mayor participación ciudadana, de salarios mínimos o calidad de la formación docente. Pero ¿cómo saber si estas políticas funcionan y tenemos evidencia en favor de nuestra teoría?

Una posibilidad es comparar el antes y el después de la aplicación de la política. Sin embargo, corremos el riesgo de que en ese período de tiempo haya cambiado el contexto y que la causa del cambio no sea la política implementada. Otra forma muy extendida es comparar diferentes países, provincias o estados con y sin la política, pero estos lugares pueden tener diferencias en otras características que también afecten los cambios que miramos.

La innovación propuesta por Banerjee, Duflo y Kremer consiste en descomponer los grandes problemas de salud, educación, pobreza y bienestar general, en preguntas más pequeñas, enfocándose en la evaluación de una política a la vez, mediante la implementación del método científico más aplicado en otras disciplinas: los experimentos. Los experimentos randomizados controlados –o RCT, por sus siglas en inglés– consisten en la división de la población objetivo de una política en dos grupos: el que recibe los beneficios, que será llamado "de tratamiento", y el que no los recibe, o grupo "de control". Esta asignación debe hacerse aleatoria para que las dos partes sean en promedio idénticas y que, al compararlas a través del tiempo, las únicas diferencias que notemos sean las de los efectos de nuestra política.

Esta metodología no solo nos permite medir el impacto de una política, sino también nos ayuda a conocer el tamaño de esos efectos. Podemos validar nuestras teorías y elegir entre políticas según el tamaño de su efecto en comparación con su inversión necesaria.

Un buen ejemplo de la metodología que proponen los investigadores es el trabajo que realizó su organización, JPAL, para determinar la manera más efectiva y eficiente de aumentar el uso de agua potable en varios países de África. Para eso, realizaron una serie de RCT.

Primero, compararon diferentes formatos de cloro embotellado, pero encontraron que el uso no se sostenía en el tiempo. En una segunda etapa, testearon en diferentes comunidades dos tratamientos distintos: dispensadores de cloro cerca de fuentes de agua y dispensadores de cloro con agentes promotores. En esta segunda ronda encontraron que la combinación de dispensador y promotores producía que más del 60% de los hogares en ese grupo usara agua segura en comparación con solo un 15% de los hogares del grupo de control.

Otro ejemplo del gran aprendizaje logrado a través de estas metodologías son las conclusiones de una revisión de más de cien RCTs de diferentes aspectos sobre el uso de tecnología en la educación. El análisis encontró resultados consistentes de que la provisión de tecnología no impacta por sí sola en los aprendizajes de los niños (aunque sí beneficia el acceso y capacidad de uso de dispositivos). Sin embargo, sí puede tener efectos positivos según la manera en que se provean tecnología y softwares disponibles.

Estos estudios pudieron realizarse porque existían las condiciones que permitían la aleatorización, ya sea porque eran pilotos de programas que estaban a prueba, o porque eran programas que, de todas maneras, no se hubieran podido asignar a la población entera al mismo tiempo por cuestiones logísticas. Pero es posible que este no sea el contexto para la política que queremos evaluar. Para eso, existen alternativas rigurosas que pueden ayudarnos a distinguir el efecto de una política de otras variables.

Una de ellas es el pareamiento por propensión, que permite armar un grupo de control artificialmente, mediante la selección de personas similares a las de nuestro grupo de tratamiento en variables observables (como edad, género, educación o ingreso). Esta es la técnica que utilizamos desde CIPPEC para ayudar al Ministerio de Educación de Nación a evaluar el programa nacional de Centros de Actividades Juveniles, conocidos como los CAJ. Los resultados de esta evaluación fueron muy alentadores en cuanto a los efectos en el ausentismo, la satisfacción con la escuela y las expectativas de seguir estudiando después del secundario.

Banerjee, Duflo y Kremer impulsaron una herramienta fundamental y poderosa para entender y mejorar la efectividad de las políticas públicas. Es importante que cada vez más investigadores y tomadores de decisión las incorporen al resto de sus instrumentos para mejorar la calidad de vida en la Argentina.

Temas relacionados
Más noticias de pobreza
Noticias de tu interés