Introducción
Los programas y las políticas de desarrollo social contra la pobreza generalmente propenden por mejorar el nivel de ingresos, el aprendizaje y la salud de la población. No obstante, en pocos casos se realizan evaluaciones de su impacto, dado que los administradores se focalizan en desenlaces intermedios, como cantidad de insumos logrados y gastos [1].
La evaluación de impacto económico obedece a la estimación de la diferencia, en una o más variables de desenlace, entre un grupo de beneficiarios de un programa social (denominados “tratamiento”) y un grupo de individuos que no participaron o se beneficiaron con él (llamados “control”). Dicho desenlace debe corresponder a un buen indicador o trazador del éxito (o grado de cambio) atribuible a la intervención, lo que implica la necesidad de aplicar diseños aleatorizados [2].
La importancia de las evaluaciones de impacto económico de los programas contra la pobreza está dada en que los elevados costos de los programas sociales ameritan una utilización adecuada de recursos en intervenciones que dispongan de evidencia robusta sobre sus beneficios socioeconómicos. Estas evaluaciones son determinantes para la formulación de políticas basadas en la evidencia; permiten trascender el enfoque de los insumos a los resultados; mejoran la evaluación y el seguimiento de las asignaciones presupuestales, y optimizan las decisiones de política pública [1,2]. Debido a esta importancia, previo a su ejecución, es necesario evaluar la viabilidad política y ética, la factibilidad financiera, técnica e institucional, así como delimitar sus objetivos y elegir el diseño metodológico más adecuado [2].
En términos históricos, las evaluaciones de impacto nacen con los ensayos clínicos, basados en grupos de tratamiento y control, que iniciaron en 1747 con los trabajos de James Lind sobre la eficacia de los cítricos para la prevención del escorbuto. Específicamente, el uso de experimentos en economía se puede agrupar en tres fases: la primera corresponde a los diseños aleatorizados que empezaron en 1920-1930, con experimentos agrícolas de Jerzy Neyman y Ronald Fisher; la segunda etapa corresponde a la aplicación de los experimentos en la evaluación de programas sociales, por iniciativas gubernamentales entre 1960 y 1990, a raíz de los beneficios de los sistemas de bienestar social, con el subsecuente uso, en Europa y Estados Unidos, de la evaluación de programas sobre electricidad, desempleo y subsidios de vivienda; la tercera etapa se presenta en estudios de finales del siglo xx e inicios del xxi, que subsume evaluaciones de diferentes temas de interés, en la orientación de decisiones de política pública que pretenden la identificación de las intervenciones sociales más costo-efectivas para reducir la pobreza y lograr la equidad [3].
En este contexto, en el 2003 se fundó el Abdul Latif Jameel Poverty Action Lab (j-pal) por parte de Abhijit Banerjee, Sendhil Mullainathan y Esther Duflo del Massachusetts Institute of Technology, con los siguientes objetivos: 1) implementar evaluaciones aleatorizadas en temas relacionados con la reducción de la pobreza; 2) generar evidencia para políticas públicas, particularmente con estudios de costo-efectividad; 3) socializar las evaluaciones de impacto, sus métodos y resultados, y 4) desarrollar capacitaciones y promover mejorías en las políticas públicas, en particular en temas relacionados con agricultura, educación, energía, medio ambiente, finanzas, salud y mercado de trabajo [4,5].
Específicamente, la obra de Esther Duflo, premio nobel de Economía 2019, premio Princesa de Asturias de 2015 y cofundadora y directora de j-pal, constituye un referente académico mundial en temas relacionados con las evaluaciones de impacto de programas y políticas sociales contra la pobreza. A pesar de ello, su obra se encuentra escrita principalmente en inglés y francés, lo que en algunos casos dificulta el acceso a sus trabajos. Aunado a esto, a la fecha no se dispone de un texto que, de manera sistemática, haya resumido los principales estudios de Duflo, como base para la tipificación de las intervenciones evaluadas, su eficacia, las poblaciones investigadas, entre otros factores relevantes para las personas que deseen incursionar en esta modalidad de investigación, lectores críticos de la evidencia que sustenta la implementación de programas sociales y, en general, todos los actores de diferentes políticas públicas.
Lo anterior toma mayor relevancia al tener presente que la divulgación de información relacionada con las evaluaciones aleatorizadas del impacto de programas sociales no es prolífica ni ha avanzado suficientemente en Latinoamérica [6]. En razón de lo anterior, se diseñó una revisión sistemática de la literatura, con el objetivo de caracterizar los estudios sobre la evaluación aleatorizada del impacto de programas sociales contra la pobreza en la obra de Esther Duflo.
Metodología
Tipo de estudio: revisión sistemática de la literatura.
Protocolo de búsqueda y selección: investigación según guía prisma (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) [7]. Este protocolo presenta las siguientes fases:
1. Identificación de los textos: se realizó una única estrategia de búsqueda, con el nombre del autor de interés, en ocho bases de datos: Oxford Journals, ebsco Host, jstor®, Cambridge Journals, Science Direct, PubMed, embase y SciELO. Adicionalmente, se hizo una búsqueda por sensibilidad en Scholar Google.
Algunas sintaxis empleadas en esta fase de la revisión fueron:
-
En Oxford Journals: Esther Duflo (anywhere in article) y Esther Duflo (author).
-
En ebsco Host: TX Esther Duflo y AU Esther Duflo.
-
En jstor®: (au:"Esther Duflo")
-
En Science Direct AUTHORS (Esther Duflo).
-
En Pubmed: Esther Duflo[Author]
-
En embase: Esther AND Duflo:au.
-
En SciELO: (au:(Esther Duflo)).
2. Tamización: se aplicaron los siguientes criterios de inclusión: 1) artículos con autoría de Duflo; 2) investigaciones en las cuales el objetivo central fuese la evaluación de impacto de un programa, y 3) sin restricciones temporales.
3. Elección e inclusión: se excluyeron textos en los cuales se presentaba una síntesis o revisión de varias evaluaciones de impacto e investigaciones no aleatorias. Las investigaciones que cumplieron este protocolo se incluyeron en este estudio para la síntesis cualitativa.
Reproducibilidad de selección de la información: dos sujetos aplicaron el protocolo de forma independiente, en un rango de una semana, para determinar la reproducibilidad de la selección de los textos y la extracción de la información.
Análisis de la información: en coherencia con las revisiones bajo la pregunta pico (Población Intervención Comparación Outcome-Resultado) [7], se diseñó un archivo plano en Excel® con las siguientes variables: autor principal, año de estudio, lugar de realización, población asignada al tratamiento y al control, descripción de la intervención, tipo de variables de respuesta (o desenlaces evaluados en los estudios sistematizados), resultados o efectos de los programas, conclusión y recomendaciones.
Resultados
En la búsqueda inicial de identificaron 10 791 manuscritos, de los cuales 316 tenían la autoría de Esther Duflo. Posterior a la aplicación de los criterios de inclusión y exclusión, resultaron 34 estudios para la síntesis cualitativa (véase Figura 1]. Entre los estudios analizados, 16 se realizaron en India, 10 en Kenia, 4 en Marruecos, 1 en Sudáfrica, 1 en Francia, 1 en Estados Unidos y 1 multicéntrico en 7 países.
De las 34 evaluaciones de programas con asignación aleatoria, 41,2 % (n= 14) se realizaron en educación, 20,6 % (n= 7) en salud, 8,8 % (n= 3) en microcréditos, 8,8 % (n= 3) en participación política de las mujeres, 5,9 % (n= 2)en subvenciones o transferencias directas con fines productivos (aumentar autoempleo, invertir en bienes productivos como la ganadería, capacitación a trabajadores, etc.) y otras intervenciones se evaluaron solo en una investigación (2,9 %) e incluyeron los siguientes tratamientos: efecto de una campaña formativa en las decisiones relacionadas con la consecución de empleo, uso de fertilizantes, veedurías al trabajo de policías, consecución de empleo y auditorías de control a emisiones ambientales en plantas industriales.
Síntesis de evaluaciones aleatorizadas sobre el impacto de programas educativos
Poblaciones: en los programas educativos se emplearon muestreos probabilísticos, generalmente estratificados por variables como sexo, idioma o puntajes preintervención cuando se evaluaban desenlaces en los niños. En el componente de docentes se estratificaba por edad o tipo de contratación.
En general, el número de instituciones educativas (casi la totalidad de primaria) aleatorizaron alrededor de 100 escuelas, hallándose estudios que evaluaban conglomerados que oscilaron entre 60 y 328 instituciones asignadas a los grupos de tratamiento y control (véase Tabla 1].
Tabla 1
Descripción de las evaluaciones aleatorizadas del impacto de intervenciones educativas
| Año y referencia | Lugar | Población | Intervención | Desenlace |
|---|---|---|---|---|
| 2003 [8] | India | Niños de 98 escuelas | Computacional: niño 2 horas/semana en computador, con juegos que mejoran aprendizaje | Eficaz: mejoramiento de habilidades matemáticas y de lenguaje |
| 2005 [9] | Niños de 77 escuelas | Asistencia computacional + Remedial con mujeres jóvenes de la comunidad que mejoran aprendizajes | Eficaz: mejoramiento en matemáticas y asistencia con spillover (contagio o derrame) de ambos desenlaces a niños no asistentes; efecto persiste un año. Costo-efectivo | |
| 2005 [10] | Niños y profesores de 60 escuelas con tratamiento y 60 de control | Monitoreo de ausentismo docente + Salario basado en asistencia | Eficaz: reducción de inasistencia docente mejora aprendizajes en niños. Costo-efectivo | |
| 2007 [11] | Kenia | Niños y profesores de 210 escuelas de primaria | Incentivos a docentes (profesores locales y contratos cortos, y vigilancia de padres); disminución de la razón estudiante/profesor; efecto del par (acompañamiento de estudiantes del mismo curso) | Reducción de razón estudiante/profesor no mejora aprendizajes en matemáticas y lenguaje. Reducir tamaño de clase y dar incentivos mejoran aprendizaje. Reducción de clases y hacer seguimiento a estudiantes generan los mejores resultados |
| 2008 [12] | Niños y profesores de 60 escuelas de control, y 60 de intervención | Contratación de profesores + Seguimiento a estudiantes + Spillovers del par | Eficaz: mejora puntaje en pruebas; persiste por un año | |
| 2008 [13] | Niños y profesores de 61 escuelas | Incentivo a docentes + Seguimiento a estudiante + spillovers del par | Eficaz, efecto del par | |
| 2008 [14] | India | Veeduría con provisión de información, entrenamiento a miembros de la comunidad y entrenamiento-organización de voluntarios | No hubo efecto en la participación comunitaria en asuntos escolares, ni en esfuerzos de profesores. La capacitación de niños tiene impacto en actividades externas a las escuelas y en habilidades de lectura | |
| 2009 [15] | Kenia | Niños y profesores de 140 colegios | Contratación de profesores + Clase adicional + Reducción razón estudiante/profesor | Profesor extra y reducir razón estudiante/profesor reducen el esfuerzo del profesor, pero no mejora aprendizajes (puntajes de pruebas). Contratar profesor extra y entrenar a los de planta mejoran la calidad educativa (puntajes en pruebas) |
| 2009 [16] | Niños y profesores de 60 escuelas de control y 61 con tratamiento | Contratación de profesores + Reducción razón profesor/estudiante | Eficaz: mejoramiento del puntaje en matemáticas y lenguaje. El efecto persiste un año después de finalizar el programa para todos los grupos | |
| 2010 [17] | Control 82 instituciones educativas, Programa de uniformes 83 instituciones, Entrenamiento de profesores 83 instituciones, Entrenamiento y uniformes 80 instituciones | 1) Proveer uniformes escolares. 2) Entrenamiento a profesores sobre prevención del vih | Eficaz: mejora matrícula y asistencia, y reduce deserción, embarazo en adolescentes y matrimonios | |
| 2012 [18] | India | No explicita | Monitoreo e incentivos financieros (salario en función de asistencia) | Eficaz: la reducción de ausentismo de maestros mejora las pruebas de niños (matemáticas y lenguaje) |
| 2013 [19] | Marruecos | Transferencia en efectivo a padres de niños en edad escolar no condicionados por asistencia escolar | Eficaz para participación escolar y percepción sobre beneficios de la educación. Ineficaz para indicadores educativos | |
| 2014 [20] | Kenia | Uniformes. Currículo sobre vih basado en abstinencia hasta el matrimonio | Combinación de intervenciones es eficaz para reducir infecciones de transmisión sexual; solo un programa es ineficaz en embarazo y deserción | |
| 2015 [21] | Contratación de profesores + Compensaciones + Reducción razón estudiante/profesor | Ineficaz: puntajes no mejoraron con reducción de clase. Profesores locales mejoran puntajes y reducen ausentismo |
Intervenciones: se identificaron diversas intervenciones, la mayoría multifactoriales, en la cuales se incluyen capacitaciones o talleres computacionales para niños, remediales con personas de la comunidad, monitorización del ausentismo de profesores, múltiples incentivos para docentes (salarios basados en asistencia, tipos de vinculación o contratación laboral, programas de entrenamiento), disminución de la razón estudiantes/profesor, veeduría ciudadana y suministro de uniformes para disminuir gasto familiar destinado a la educación de los niños.
Dichas intervenciones están dirigidas, en su mayoría, a mejorar la calidad de la educación, aunque focalizada en habilidades o aprendizajes en matemáticas y de lenguaje. Otras presentan fines conexos, como la disminución de la deserción estudiantil y la prevención (disminución) de los embarazos y matrimonios adolescentes.
Las intervenciones presentaron tiempos de seguimiento que oscilaron entre 6 meses y 2 años, aunque la mayoría evaluó resultados en un año lectivo y describían la duración del efecto del programa 1 o 2 años después de finalizar la intervención.
Desenlaces evaluados: mejoramiento de habilidades cognitivas, evaluadas con resultados de pruebas de matemáticas y lenguaje, validadas en apariencia, contenido y constructo.
Otros desenlaces primarios fueron: la asistencia escolar de profesores y estudiantes, número de embarazos, infecciones de transmisión sexual y deserción en estudiantes.
Como desenlaces intermedios se evaluaba la percepción del esfuerzo de estudiantes y profesores (en algunos casos con escalas diseñadas para tal fin; en otros, mediante preguntas abiertas), y en algunos estudios se adicionó la estimación del costo-beneficio.
Resultados: en la mayoría de los casos se registra una alta eficacia del programa en el mejoramiento de las habilidades matemáticas y de lenguaje, efectos que se conservan durante el tiempo de aplicación del programa social e incluso un año después de su finalización (principalmente en la contratación de profesores extra, el entrenamiento de profesores, los programas remediales y computacionales).
Las clases remediales son efectivas para los participantes y con spillovers (efecto de derrame, contagio o desbordamiento) para los compañeros de clases que no asisten a ellas.
Los programas de monitoreo mejoran (aumentan su proporción) la asistencia de profesores a la escuela. La contratación de profesores locales reduce significativamente el ausentismo y mejora los aprendizajes de los estudiantes (lo que se refleja en los resultados de las pruebas académicas aplicadas).
La provisión de uniformes disminuye el número de estudiantes en ausentismo escolar o deserción, y también reduce en número de adolescentes embarazadas.
La disminución de la razón estudiante/profesor no es efectiva para mejorar la calidad de la educación, pues solo reduce los esfuerzos de estudiantes y profesores.
Si al inicio de la intervención se homogeneizan grupos en función de los resultados de las pruebas matemáticas y de lenguaje, pueden maximizarse los resultados obtenidos.
Síntesis de evaluaciones aleatorizadas sobre el impacto de programas en salud
Poblaciones: escuelas en las que se implementó un programa preventivo, aldeas o zonas rurales aleatorizadas como conglomerados, lugares en los que tendría cobertura el servicio de agua y hogares beneficiaros de nuevas estufas para prevenir exposición al humo de cocina (véase Tabla 2].
Tabla 2
Descripción de las intervenciones en el sector salud.
| Año | Lugar | Población | Intervención | Desenlace |
|---|---|---|---|---|
| 2003 [22] | Sudáfrica | No explicita | Transferencias para mejorar estado nutricional de niños. Efecto del género de quien recibe el programa (comparación entre madres y padres) | Eficaz si las mujeres reciben pensión; mejora índice antropométrico en niñas, más bajo en niños |
| 2006 [23] | Kenia | Seis grupos:1) Solo programa Nacional (pn), 88 escuelas; 2) pn + Entrenamiento a profesores; 41 escuelas; 3) pn + Entrenamiento y Debate sobre uso de condón, en 42 escuelas; 4) pn + Uniformes, 83 escuelas; 5) pn + Condón + Uniformes, 40 escuelas, y 6) pn + Entrenamiento + Uniformes, 40 escuelas | Cuatro intervenciones: 1) Entrenamiento a profesores en educación para prevenir vih; 2) animar a estudiantes sobre rol del condón; 3) informar a adolescentes sobre variaciones del vih por género y edad; y 4) reducir costos en educación, proveyendo uniformes | Entrenamiento de profesores no reduce embarazos, bajo impacto en los conocimientos, las actitudes y las prácticas; debate sobre condón mejoró reporte de uso, sin aumento de actividad sexual. Uniformes reducen deserción, matrimonio y embarazo en adolescentes |
| 2008 [24] | India | No explicita | Programa de monitoreo de prestación de servicios de salud | Inicialmente, monitoreo con enfermeras es eficaz. Efecto desaparece luego de unos meses |
| 2010 [25] | 1) Inmunización mensual (A: 379 niños de 30 villas); 2) inmunización mensual con pequeños incentivos (B: 382 niños de 30 villas) y 3) control sin intervención (C: 860 niños de 74 villas) | Financiamiento de incentivos sobre las tasas de inmunización en niños vs. Fiabilidad de la oferta de servicios | Inmunización 39 % (148/382) en B; 18 % (68/379) en A y 6 % (50/860) en C. Costo por inmunización: $28 en A y $56 en B | |
| 2011 [26] | Marruecos | 845 hogares. Servicio público-privado de agua potable, sanidad y electricidad en la ciudad de Tánger | Demanda de conexión domiciliaria de agua en una zona urbana | No mejoró calidad del agua consumida; incrementó cantidad de consumo. Sin efecto en incidencia de enfermedades de transmisión hídrica. Mayor bienestar, a pesar de aumento de costos |
| 2011 [27] | India | 65 con fortificación de hierro, 69 controles | Producción propia de granos para consumo, fortificados con hierro y ácido fólico, sin compra de alimentos comerciales para prevención de anemia | Eficaz, sencillo, seguro, viable y factible, y eficaz en hemoglobina y síntomas |
| 2012 [28] | 15 000 hogares beneficiados con las nuevas estufas | Mejorar la estufa para disminuir contaminación del aire interior y gastar menos combustible | Reducción en inhalación de humo el primer año, sin efecto subsiguiente, sin mejoría en función pulmonar u otros marcadores de salud, ni el consumo de combustible |
Intervenciones: programas de complementación nutricional y prevención de anemia; prevención de virus de inmunodeficiencia humana (vih) y embarazos en adolescentes; monitoreo de la prestación de servicios de salud; inmunización; acceso a agua domiciliaria; prevención de enfermedades de transmisión hídrica y de exposición a humo de cocina, con seguimientos que oscilaron entre 6 meses y 2 años.
Desenlaces evaluados: indicadores antropométricos, número de embarazos, niños inmunizados, calidad y cantidad de agua consumida, problemas de salud por transmisión hídrica, valores de hemoglobina, sintomatología (vómito, malestar, diarrea, debilidad).
Entre los desenlaces secundarios están el grado de cocimientos, actitudes y prácticas sobre vih; grado de bienestar; gastos básicos (consumo, bienes, horas de trabajo) y salud mental autorreportada, los cuales varían según disponibilidad de estudios de base, como se muestra en la Tabla 2.
Resultados generales: cuando las ayudas monetarias las reciben las mujeres, mejoran los indicadores antropométricos de los niños. El entrenamiento de profesores disminuye los embarazos no deseados. Las veedurías de enfermeras en la prestación de servicios son efectivas, pero de poca duración. Las proporciones de inmunización son bajas. La conexión domiciliaria de agua aumenta la cantidad consumida, mejora la percepción de bienestar, pero no mejora indicadores de salud relacionados con las enfermedades de transmisión hídrica. La fortificación con hierro es eficaz, mientras que la implementación de estufas no resulta efectiva para los desenlaces de salud evaluados.
Síntesis de evaluaciones sobre microcréditos y subvenciones
Poblaciones: zonas rurales pobres.
Intervenciones: créditos rurales y subvenciones. Seguimiento entre 18 meses y 3 años.
Desenlaces: autoempleo, consumo, salud, educación, oferta laboral e ingresos. En subvenciones, se evaluaron los niveles de ingreso y bienestar, consumo, seguridad alimentaria, bienes de producción y de hogares, inclusión financiera, uso del tiempo, salud física y mental, participación política y empoderamiento de mujeres (véase Tabla 3].
Vale precisar que en este grupo se analizaron intervenciones que consistían en transferencias de dinero que en algunos casos derivaron en resultados como el mejoramiento de la participación política de las mujeres, mientras que en el apartado siguiente las intervenciones consisten en reservar cupos para mujeres en órganos de decisión política (lo que difieren de las transferencias mediante microcréditos y subvenciones, y sus múltiples desenlaces).
Tabla 3
Descripción de las intervenciones basadas en microcréditos rurales y subvenciones o transferencias directas
Resultados: en los microcréditos se amplían actividades de autoempleo (agricultura, ganadería) y también los gastos en mano de obra; no hay efecto en la generación de nuevos empleos, ni gastos, ni consumo, ni bienes, ni en indicadores de salud y educación. Las subvenciones aumentan el consumo en el hogar; incluso luego de un año de su finalización, el beneficio fue mayor al costo. Los enfoques multifacéticos aumentan ingreso y bienestar, y son costo-efectivos.
Síntesis de evaluaciones sobre participación política femenina
Poblaciones: zonas rurales.
Intervenciones: reservas políticas para mujeres.
Desenlaces evaluados: tipo de proyectos e inversiones lideradas por las mujeres.
Resultados: las mujeres invierten más en agua potable, combustibles y carreteras, mientras que los hombres, en centros de educación informal.
La política afecta el tipo de bienes públicos que se proveen, dado que los líderes invierten más en infraestructura, mientras que las mujeres invierten más en bienes públicos, como el consumo de agua.
El empoderamiento de las mujeres puede mejorar brechas educativas, pero sin impacto en las oportunidades laborales para ellas.
Se destaca que, en los estudios, se hacían visitas de seguimiento para garantizar que no cambiaron el diseño inicial; se propendía por la selección de personas con participación en un único programa (en caso de no cumplir esto, se verificaba que todo el conglomerado estudiado participara de los programas adicionales); y en los estudios educativos se controlaba el sesgo de medición, haciendo calificación ciega (anónima para el profesor) de los estudiantes.
En la Tabla 4 se describen otras intervenciones identificadas en la revisión.
Tabla 4
Descripción de otras intervenciones.
| Año | Lugar | Población | Intervención | Desenlace |
|---|---|---|---|---|
| 2002 [37] | Estados Unidos | Empleados de una empresa que asistieron a una feria de información con promesa de beneficios monetarios | Efecto de la información y las interacciones sociales en las decisiones de los empleados de inscribirse en un plan de jubilación | La inscripción en los meses 5 y 11 fue significativamente mayor en grupo tratamiento |
| 2008 [38] | Kenia | No explicita | Uso de fertilizantes 1) calcio y nitrato de amonio; 2) paquete recomendado por el Ministerio de Agricultura; 3) semillas híbridas en lugar de variedades tradicionales y semillas tradicionales de fosfato de diamonio sin fertilizante. | Adopción de fertilizantes depende de la falta de información; una intervención simple no afecta el costo y aumenta el uso de fertilizantes |
| 2012 [39] | India | 162 estaciones de policía | Veeduría a policías: 1) observadores comunitarios en las estaciones, 2) detener transferencias de policías, 3) entrenar personas que no están en servicios y 4) rotación semanal, con un día de descanso | Detener transferencias y hacer entrenamiento mejoran efectividad de la policía y la percepción de seguridad de la comunidad; las otras intervenciones no mostraron resultados robustos |
| 2012 [40] | Francia | 235 agencias públicas de desempleo | Consecución de empleo: Fase I, ayudar a conseguir trabajo duradero durante 6 meses o más. Fase II, formar bien para el trabajo encontrado, en los 6 primeros meses del contrato, para que permanezca en él o pueda cambiarse | Ineficaz: aumenta probabilidad de encontrar trabajo estable. El efecto es transitorio y no detectable, al competir con trabajadores educados o en mercados laborales débiles. En general, el programa presenta pocos beneficios |
| 2013 [41] | India | No explicita | Control de auditorías de plantas industriales, con asignación aleatoria de los auditores; pago fijo y bono para información precisa | Statu quo corrupto, con subregistro de emisiones en las plantas. Aumento de exactitud y cumplimiento en los informes. Reducción de emisiones |
Discusión
La mayor proporción de estudios correspondió a evaluaciones del sector educativo y salud. Esto coincide con los hallazgos reportados Aedo, donde las evaluaciones de impacto (en particular las aleatorizadas) se han presentado con mayor frecuencia en programas de reducción de la pobreza estructural, mediante la dotación de capacidades en los hogares para mejorar sus niveles educativos y de salud, vía promoción de la asistencia escolar, la atención en salud y el apoyo nutricional [2].
En educación, en general, los problemas más comunes en la calidad educativa de la mayoría de países de bajos ingresos se relacionan con ausentismo de profesores y estudiantes, y el bajo rendimiento académico, los cuales pueden impactarse con intervenciones simples y de bajo costo, como la desparasitación, campañas informativas y educativas sobre los retornos socioeconómicos de las inversiones en el sector de la educación, incentivos como becas, pagos a docentes según rendimiento o asistencia de estudiantes, capacitación de profesores, entre otras. Mientras que la provisión de insumos como libros, sin incentivos adicionales para profesores, no cuenta con buena evidencia sobre la efectividad en los aprendizajes [42].
Lo anterior cobra mayor relevancia en países de bajos ingresos, en los cuales la preocupación central ha sido la cobertura educativa y no la calidad o la educación para el desarrollo personal, familiar y socioeconómico. En este sentido, a las investigaciones aleatorizadas deben sumarse, por un lado, estudios descriptivos, para conocer las problemáticas propias de cada contexto (estado de la educación, desafíos, oportunidades, caracterización de estudiantes y profesores, etc.), las opciones pedagógicas más pertinentes, el manejo de grupos grandes y heterogéneos, y el tipo de focalización de la enseñanza (en habilidades de profesores o en contenidos); y, por otro, tecnologías de la información y la comunicación, y la identificación de los grupos de edad que ameritan mayor intervención (preescolar y desarrollo infantil temprano) [42].
En relación con la salud, debe precisarse que este es uno de los sectores con mayor variación en el tipo de evaluaciones de impacto desarrolladas, las cuales subsumen asuntos como la demanda de servicios, la desinformación, los bajos ingresos, bajo número de proveedores e incluso problemas de oferta. A pesar de esta diversidad, también se han documentado múltiples programas con impacto positivo y buena razón de costo-efectividad, como las intervenciones para reducir la diarrea infantil, la inmunización, pequeños cambios en el precio de productos médicos, entre otros [43].
Lo anterior cobra mayor relevancia al tener presente la cantidad de recursos e iniciativas destinadas a la salud global y el desarrollo, con reducción importante en mortalidad infantil, pero no en otros problemas, como salud maternal, tuberculosis y vih/sida, que ameritan investigaciones que permitan tener un criterio técnico para asignar los recursos a las estrategias y programas más costo-efectivos [43].
La salud y la educación son elementos básicos para la superación de la pobreza (como se ha indicado por la Organización Mundial de la Salud, el Banco Mundial y otras organizaciones); por ello, en los sectores más pobres debería estimularse su provisión por parte del Gobierno, vía focalización o priorización de programas que, además de presentar buena eficacia en resultados explícitos, deriven en externalidades positivas y alta rentabilidad [43].
En esta investigación se identificaron pocos estudios en las intervenciones financieras, a pesar de que j-pal presenta un elevado número de proyectos en esta área. Este grupo de intervenciones muestran bajo impacto y alta variabilidad en el uso de los recursos suministrados; sin embargo, la evidencia indica que, en condiciones de extrema pobreza, resulta más efectivo estimular el consumo que incentivar préstamos para la superación de la pobreza. Además, algunos programas financieros pueden ser útiles, por la presencia de múltiples entidades interesadas en mejorar el acceso financiero a los más pobres y por las fallas del mercado financiero, como los tipos de interés crediticio, incorrecta asignación de créditos, poca competencia y oligopolios [44].
Otros sectores que presentaron pocos estudios fueron: 1) medio ambiente y energía, en el que se conecta la necesidad de disponer de energías, con el aumento de ingresos y el mejoramiento de la salud y el bienestar [45]; 2) agricultura, cuya importancia radica en que una gran parte de las personas que habitan en zonas rurales pobres dependen directa o indirectamente de la agricultura; en este sentido, se hace necesario la evaluación y posterior implementación de programas de mejoramiento tecnológico del sector, y mejorar prácticas agrícolas, precios, riesgo en las cosechas, nutrición de los implicados y cadenas de abastecimiento [46]; 3) en el mercado laboral, j-pal busca generar evidencia para intervenir el desempleo, lograr la inserción de jóvenes en dicho mercado y fomentar el emprendimiento; en este sentido, algunas evaluaciones han mostrado resultados de poca duración en la consecución de empleo, aunque las evidencias y el número de estudios siguen siendo exiguos [47]; y 4) en gobernabilidad, la evaluación aleatorizada puede generar evidencia sobre las acciones de políticos, la participación ciudadana y las formas de evitar la corrupción, principalmente en la provisión que muchos entes territoriales hacen en servicios básicos, como seguridad, salud, educación y subsidios [48].
Por otra parte, es preciso reiterar la relevancia de las evaluaciones de impacto, dada por: 1) la determinación de la efectividad de las inversiones en programas para superar la pobreza, máxime al tener presente la cantidad de recursos que los gobiernos destinan a este fin y la exigua información sobre sus impactos; 2) diversos países han recibido mucho dinero para superar la pobreza y, a pesar de ello, su producto interno bruto no ha variado, corroborando la necesidad de fomentar la investigación en esta área; 3) los ensayos aleatorios son una herramienta clave para la gestión de los gobiernos, organizaciones internacionales y organizaciones no gubernamentales; 4) las evaluaciones mejoran la eficiencia del gasto estatal y la fiscalización de recursos; y 5) los resultados son sencillos, difíciles de manipular y transparentes para políticos y público general [6].
Pese a las ventajas citadas, persisten retos de diseño, como la elección del lugar de estudio, la forma de aplicar el programa, la vinculación de personas de la localidad, el grado de sencillez del programa, los prejuicios o las ideologías de los participantes, las posibilidades de adopción del programa, los problemas de información y el logro de la permanencia en el tiempo de los impactos logrados [46].
Otros retos subsumen el control de los efectos Hawthorne y John Henry [6], relacionados con cambios conductuales asociados con la pertenencia al grupo tratamiento y control, respectivamente. Además, los altos costos de las evaluaciones pueden derivar en bajos tamaños de muestra que luego afectan la validez externa y la precisión de las estimaciones. Dado que los beneficios de un programa social no pueden negarse, es difícil estudiar efectos en el largo plazo. También resulta complicado captar información relacionada con externalidades y efectos de equilibrio general. Es complejo garantizar la validez externa, la cual se puede afectar por las dificultades para replicar los programas efectivos o por implementarlos en localidades muy específicas o en aquellas de la que es difícil conocer el canal de generación del efecto [6].
Con base en los estudios desarrollados en América Latina, los principales aprendizajes de las evaluaciones de impacto económico han sido los siguientes: 1) la necesidad de actualizar la información, caracterizando a los beneficiarios de los programas y su localidad; 2) lograr la participación de los ejecutores en la fase de diseño; 3) incorporar el análisis de costo-beneficio y fases piloto; 4) incluir estrategias claras para que los beneficiarios de un programa pueda abandonarlo cuando no lo requieran (evitar que el programa se convierta en un incentivo negativo), de modo que la provisión del Estado no se convierta en un incentivo perverso para permanecer en el programa; 5) asignar roles a los beneficiarios del programa y a los actores locales, principalmente el fomento del control participativo; y 6) incorporar monitoreo y seguimiento operativo de los programas (2). Vale precisar la enorme relevancia de conocer el contexto de implementación de cada estrategia, dado que esta información ayuda a la explicación de resultados o variaciones externas al programa, así como la identificación de canales de transmisión de los efectos de la intervención [6].
Las evaluaciones aleatorizadas de impacto derivan en resultados de gran relevancia para la implementación o no de un programa social, y es una de las vías de mayor importancia para generar políticas públicas basadas en la evidencia. Sin embargo, se debe precisar que el análisis de sus resultados debe ser contextual, en la medida en que, a pesar de tener ambientes controlados, los efectos de un programa (sean o no efectivos) pueden variar de un lugar a otro. En este sentido, no debería tomarse el resultado del estudio experimental como un fin nomotético (o universal), dado que, en este tipo de estudios, no se pueden derivar conclusiones de factores o variables no observadas o características intrínsecas de las poblaciones beneficiarias que escapan a la medición, tales como consideraciones culturales, morales, éticas, políticas, históricas y motivacionales.
Lo anterior redunda en la necesidad de fomentar investigaciones en las poblaciones potencialmente beneficiarias de los programas sociales, dado que así se dispondría de una línea de base que, de forma exhaustiva y rigurosa, permita evaluar potenciales efectos de dichos programas según las características de base de la población, además de profundizar en asuntos adicionales al tratamiento o programa mismo, que también influyen en su éxito o fracaso, como las motivaciones de las comunidades para adherirse o rechazar el programa.
Entre las limitaciones de este estudio se encuentra el hecho de circunscribirse a un único autor, lo que disminuye la exhaustividad de la revisión. Sin embargo, se debe considerar que, en la actualidad, Esther Duflo es una de las autoras más importantes en temas de políticas públicas para la superación de la pobreza; es una de las economistas del desarrollo más importantes en el ámbito mundial; es la investigadora con mejores desarrollos teóricos y metodológicos sobre la evaluación de la efectividad de los programas sociales contra la pobreza mediante evaluaciones aleatorizadas de impacto que permiten establecer relaciones causales entre las políticas públicas y el mejoramiento del bienestar de las poblaciones vulnerables.
Conclusión
Las evaluaciones aleatorizadas de impacto identificadas en este texto fueron, en mayor proporción, de los sectores salud y educación, lo cual resulta lógico, teniendo en cuenta la relevancia de estas dos áreas para mejorar el capital humano, garantizar una participación laboral efectiva y, en último término, reducir la pobreza.
Entre las intervenciones evaluadas se destacan los componentes de incentivos y veeduría o monitoreo, como factores clave de éxito o efectividad. Esto hace pensar que los sujetos presentan limitaciones para autorregular o autogestionar algunos comportamientos, o supone riesgos morales en los actores de una política pública, que podría redundar en parte del fracaso de muchos programas sociales. Estos asuntos soslayan una de las múltiples barreras que se encuentran en las comunidades y ponen de manifiesto la necesidad de educar a las poblaciones en asuntos relacionados con su desarrollo personal, familiar y social. En resumen, la necesidad de establecer el monitoreo para o incentivar el desarrollo de un programa social evidencia una suerte de dilemas éticos, desinformación, baja reflexión, corrupción u otros fenómenos sociales, difícil de captar en los sistemas de información propios de las investigaciones sociales.
En general, los resultados de la investigación constituyen un soporte de gran relevancia para la salud pública basada en la evidencia y permite identificar ejes de política pública para reducir la pobreza, combatir las inequidades sociales y mejorar la eficiencia en el uso de recursos económicos para la gestión pública.