Puntos de inflexión: el efecto de la estrategia Colegios Pioneros sobre el desempeño académico

Autores/as

  • Nicolás Castro Vergara Instituto Colombiano para la Evaluación de la Educación (Icfes).
  • Santiago Gómez-Echeverry Instituto Colombiano para la Evaluación de la Educación (Icfes).
  • Luis Esteban Álvarez Arango Instituto Colombiano para la Evaluación de la Educación (Icfes).

DOI:

https://doi.org/10.17533/udea.le.n89a01

Palabras clave:

Calidad educativa, docentes, evaluación de impacto, diferencias en diferencias, entropy balancing.

Resumen

Con el fin de fortalecer la calidad de la educación en Colombia, desde el 2012 el Ministerio de Educación Nacional ha venido implementando el programa Todos a Aprender (PTA). En el año 2015 este programa tuvo varias reformas, entre las que se incluyó la estrategia Colegios Pioneros, la cual reforzó los componentes del PTA y contó con el apoyo de organizaciones líderes en temas educativos. El presente trabajo estima la diferencia entre los efectos del PTA y la estrategia Colegios Pioneros sobre el desempeño de los estudiantes en las pruebas Saber 3° y 5° en las áreas de Matemáticas y Lenguaje. Mediante una metodología de diferencias en diferencias emparejadas, se encuentra una reducción relativa en el desempeño en las pruebas de dichas áreas en las instituciones en donde se implementó la estrategia Colegios Pioneros. Este resultado se puede atribuir a un efecto de saturación de los establecimientos educativos intervenidos, dado que las mejoras incorporadas en la estrategia pueden no representar un estímulo adicional.

|Resumen
= 538 veces | PDF
= 270 veces| | XML
= 6 veces|

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Nicolás Castro Vergara, Instituto Colombiano para la Evaluación de la Educación (Icfes).

investigador, Oficina de Gestión de Proyectos de Investigación - Instituto Colombiano para la Evaluación de la Educación (Icfes).

Santiago Gómez-Echeverry, Instituto Colombiano para la Evaluación de la Educación (Icfes).

investigador, Oficina de Gestión de Proyectos de Investigación -
Instituto Colombiano para la Evaluación de la Educación (Icfes).

Luis Esteban Álvarez Arango, Instituto Colombiano para la Evaluación de la Educación (Icfes).

investigador, Oficina de Gestión de Proyectos de Investigación - Instituto Colombiano para la Evaluación de la Educación (Icfes). 

Citas

Andrabi, Tahir; Das, Jishnu & Khwaja, Asim (2017). “Report Cards: The Impact of Providing School and Child Test Scores on Educational Markets”, American Economic Review, Vol. 107, No. 6, pp. 1535-1563.

Angrist, Joshua & Pischke, Jörn-Steffen (2008). Mostly Harmless Econometrics: An Empiricist’s Companion. Princeton, NJ: Princeton University Press.

Bassi, Marina; Busso, Matías & Muñoz, Juan Sebastián (2015). “Is the glass half empty of half full? enrollment, graduation, and dropout rates in Latin America”, Economía. Vol. 16, No. 1, pp. 115-156.

Bjorkman, Martina (2007). “Does money matter for student performance? Evidence from a grant program in Uganda”, Working Paper, No. 326, IGIER (Innocenzo Gasparini Institute for Economic Research), Bocconi University.

Bruns, Bárbara & Luque, Javier (2014). Profesores excelentes: cómo mejorar el aprendizaje en América Latina y el Caribe. Washington D.C. The World Bank Group.

Cabrol, Marcelo & Székely, Miguel (2012). Educación para la transformación. Banco Interamericano de Desarrollo. Disponible en: https://bit.ly/2sxyiiy. (8 de agosto de 2017).

Chesterfield, Ray & Abreu-Combs, Adriana (2011). Centers for Excellence in Teacher Training (CETT): Two-Year Impact Study Report (2008-2009). Washington, DC: Oficina de USAID para América Latina y el Caribe.

Costa, Leandro & Carnoy, Martin (2015). “The Effectiveness of an Early Grades Literacy Intervention on the Cognitive Achievement of Brazilian Students”, Educational Evaluation and Policy Analysis, Vol. 37, No. 4, pp. 567-590.

Glewwe, Paul; Kremer, Michael & Moulin, Sylvie (2009). “Many Children Left Behind? Textbooks and Test Scores in Kenya”, American Economic Journal: Applied Economics, Vol. 1, No. 1, pp. 112-135.

Hanushek, Erik A. & Woessman, Ludger (2010). “Education and economic growth”. En B. McGaw, P. Peterson & E. Baker (Eds.), Economics of Education (International Encyclopedia of Education, 3rd. Ed., Vol. 8) (pp. 60-67 ). Elsevier.

He, Fang; Linden, Leigh & MacLeod, Margaret (2007). Helping Teach What Teachers Don’t Know: An Assessment of the Pratham English Language Program. Nueva York: Columbia University.

Kerwin, Jason & Thornton, Rebecca (2015). “Making the Grade: Understanding What Works for Teaching Literacy in Rural Uganda”, PSC Research Report, No. 15-842. Population Studies Center, Institute for Social Research, University of Michigan, Ann Arbor.

Kullback, Solomon (1959). Information theory and statistics. Nueva York: Wiley.

Lucas, Adrienne; McEwan, Patrick; Ngware, Moses & Oketch, Moses (2014). “Improving early-grade literacy in east Africa: Experimental evidence from Kenya and Uganda”, Journal of Policy Analysis and Management, Vol. 33, No. 4, pp. 950-976.

Ministerio de Educación Nacional (s.f.). Documento de formulación de la estrategia Colegios Pioneros. Programa Todos a Aprender.

Piper, Benjamin & Medina, Korda (2010). Early Grade Reading Assesment (EGRA) Plus: Liberia. Program Evaluation Report. USAID/Liberia, Research Triangle Park, NC, RTI International. Recuperado de: https://www.rti.org/sites/default/files/resources/rti-publication-filefe64b1fa-1d79-4784-846b-8000799dda43.pdf (8 de agosto de 2017).

Pritchett, Lant (2013). The rebirth of education: Schooling ain’t learning. Washington D.C.: Center for Global Development.

Sabarwal, Shwetlena; Evans, David & Marshak, Anastasia (2014). “The Permanent Input Hypothesis. The Case of Textbooks and (No) Student Learning in Sierra Leone”, Policy Research Working Paper, No. 7020. World Bank, Washington, DC.

Snilstveit, Birte; Stevenson, Jennifer; Phillips, Daniel; Vojtkova, Martina; Gallagher, Emma; Schmidt, Tanja; Jobse, Hannah; Geelen, Maisie; Pastorello, María Grazia & Eyers, John (2015). Interventions for improving learning outcomes and access to education in low- and middleincome countries: a systematic review. 3ie Systematic Review 24. Londres: International Initiative for Impact Evaluation (3ie).

Spratt, Jennifer; King, Simon & Bulat, Jennae (2013). “Independent Evaluation of the Effectiveness of Institut pour l’Education Populaire’s ‘Read-Learn-Lead’ (RLL) Program in Mali”. RTI International. Disponible en: https://www.rti.org/sites/default/files/resources/mali_rll_eval_endline_report.pdf (10 de agosto de 2017).

UNESCO (2013). The State of Education in Latin America and the Caribbean Towards a Quality Education for All -2015. Santiago: Regional Bureau of Education for Latin America and the Caribbean (OREALC/UNESCO Santiago).

Zhao, Qingyuan & Percival, Daniel (2017). “Entropy Balancing is Doubly Robust”, Journal of Causal Inference, Vol. 5, No. 1, pp. 1-23.

Descargas

Publicado

22-07-2018

Cómo citar

Castro Vergara, N., Gómez-Echeverry, S., & Álvarez Arango, L. E. (2018). Puntos de inflexión: el efecto de la estrategia Colegios Pioneros sobre el desempeño académico. Lecturas De Economía, (89), 9–39. https://doi.org/10.17533/udea.le.n89a01

Número

Núm. 89 (2018): Julio-Diciembre

Sección

Artículos

Licencia

Derechos de autor 2018 Nicolás Castro Vergara, Santiago Gómez-Echeverry, Luis Esteban Álvarez Arango

Creative Commons License

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.

Este sitio web, por Universidad de Antioquia, está licenciado bajo una  Creative Commons Attribution License.

Los autores que publiquen en esta revista aceptan que conservan los derechos de autor y ceden a la revista el derecho de la primera publicación, con el trabajo registrado con una Licencia de Atribución-NoComercial-CompartirIgual de Creative Commons, que permite a terceros utilizar lo publicado siempre que mencionen su autoría y a la publicación original en esta revista.

Los autores pueden realizar acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del trabajo publicada en la revista (por ejemplo, incluirla en un repositorio institucional o publicarla en un libro) siempre que sea con fines no comerciales y se reconozca de manera clara y explícita que el artículo ha sido originalmente publicado en esta revista.

Se permite y recomienda a los autores publicar sus artículos en Internet (por ejemplo, en páginas institucionales o personales), ya que puede conducir a intercambios provechosos y a una mayor difusión y citación de los trabajos publicados.

Crossref
Scopus
Google Scholar
Europe PMC

Introducción

Desde finales del siglo pasado, los países en desarrollo han expandido considerablemente su cobertura en la educación primaria y secundaria. En el caso particular de Latinoamérica, este incremento ha sido tal que se puede hablar de cobertura universal para primaria y de un número cercano al 70 % para los niveles de secundaria (Cabrol & Székely, 2012).

A pesar de estos importantes avances, el incremento en cobertura no se ha visto acompañado por un mejoramiento de la calidad educativa. Las tasas de graduación de la zona siguen siendo inferiores a la de los países desarrollados y aún existen rezagos en el desempeño, si se compara con países con Producto Interno Bruto (PIB) similar (Bassi, Busso & Muñoz, 2015). Estas falencias son críticas si se tiene en cuenta que en la literatura se evidencia una fuerte relación entre la calidad educativa y el crecimiento económico y el desarrollo (Hanushek & Woessmann, 2010). Para resolver este problema, varios países de la región han diseñado e implementado programas enfocados en el mejoramiento de la calidad educativa (Pritchett, 2013; UNESCO, 2013), concentrando sus esfuerzos, principalmente, en los establecimientos con bajos rendimientos y que presentan tasas más altas de deserción y repitencia.

Colombia ha hecho parte de esta iniciativa mediante el programa Todos a Aprender (PTA), que inició en el año 2012 y empleó una estrategia integral para mejorar las condiciones de más de 4.000 establecimientos educativos con bajo desempeño. Esta estrategia buscó abordar la problemática desde cinco frentes: el apoyo a los establecimientos con materiales de calidad, la formación y el acompañamiento en servicio para los docentes, el mejoramiento de las condiciones físicas, el fortalecimiento del liderazgo escolar y la inclusión de toda la comunidad escolar en el proceso educativo.

Teniendo en cuenta el proceso de implementación, y buscando fortalecer el programa, en 2015 se propone una intervención diferenciada para los establecimientos con mayor potencial de progreso. Es así como comienza la estrategia Colegios Pioneros, en la que se reforman los componentes de formación en servicio, acompañamiento en aula y materiales educativos y, adicionalmente, se incorporan componentes de acompañamiento parental y tecnologías de la información en el aula.

En ese sentido, este trabajo busca mostrar si la estrategia Colegios Pioneros ha tenido un impacto significativo en el desempeño de los estudiantes de 3° y 5° de primaria en las pruebas Saber en Matemáticas y Lenguaje, usando como grupo de control los colegios pertenecientes al PTA. Para hacer la estimación del efecto causal de la estrategia, se usan datos del anexo 3A de la Resolución 166 del Ministerio de Educación Nacional (MEN), de las pruebas Saber 3° y 5° en las áreas mencionadas (2012-2017), la lista de participantes del PTA y la estrategia Colegios Pioneros, además de diferentes informes y entrevistas provenientes del MEN y de la Red PaPaz2, que dan cuenta del proceso de implementación de la propuesta.

Teniendo en cuenta toda la información utilizada, además de los detalles de la implementación, se decidió utilizar un modelo de diferencias en diferencias emparejadas para estimar el efecto diferencial de la estrategia. Después de probar diferentes especificaciones y realizar pruebas de robustez al modelo, se encontraron diferencias en el efecto entre las estrategias PTA y Colegios Pioneros, siendo el de este último menor únicamente en las pruebas de Matemáticas para los estudiantes de 3º.

Este artículo se encuentra organizado de la siguiente manera: esta introducción, la sección I, en la que se presentan las características específicas de ambas intervenciones y la metodología de selección de los establecimientos que hacen parte de la estrategia Colegios Pioneros. La sección II presenta la revisión de la literatura y el estado del arte de intervenciones similares que abordan uno o varios de los componentes del PTA. Posteriormente, las secciones III y IV presentan, respectivamente, los datos y la metodología utilizada para la estimación. Las secciones V y VI abordan la exposición de los resultados hallados y las pruebas de robustez de estos. Finalmente, se exponen las principales conclusiones e implicaciones los resultados para la política pública.

I. Contexto

Con el fin de mejorar la calidad del aprendizaje en las asignaturas de Matemáticas y Lenguaje de los estudiantes de básica primaria, el MEN inició en 2012 el PTA. El programa sigue un esquema de formación en cascada, en el que docentes de alta calidad instruyen a docentes tutores, quienes, a su vez, acompañan a los docentes de básica primaria de establecimientos educativos públicos de todo el país.

La intervención cuenta con cinco componentes principales orientados a la calidad educativa: (i) el componente pedagógico, en el cual se asocian los referentes curriculares, la adecuada evaluación de aprendizaje y la idoneidad de las actividades según los ambientes de aprendizaje; (ii) el componente de formación situada, en el cual se realizan sesiones de trabajo situado (STS) y acompañamiento a los docentes de aula; (iii) el componente de gestión educativa, que busca formar a los directivos docentes para fortalecer su liderazgo e influir positivamente en el clima escolar; (iv) el componente de condiciones básicas, que hace referencia al acceso y estancia de los estudiantes en el establecimiento; y (v) el componente de socialización con la comunidad y movilización de la misma, el cual es transversal a todo el proceso.

El primer componente busca posibilitar la conformación de un espacio de aprendizaje idóneo, que facilite el aprendizaje de los estudiantes. Para esto, el componente enfatiza en la importancia de la planeación de clase, el desarrollo de prácticas pedagógicas por parte del docente y en el uso de materiales adecuados para el aprendizaje. Es por esto que este componente incorpora la dotación de cuadernillos a los estudiantes para las asignaturas de Matemáticas y Lenguaje, así como la capacitación a los docentes en técnicas de evaluación, y uso de resultados para el direccionamiento y diseño de las estrategias de enseñanza.

Por su parte, el segundo componente busca el fortalecimiento de las habilidades de enseñanza de los docentes a través de la realización de sesiones de trabajo situado y de acompañamiento en aula. El fortalecimiento en las habilidades se realiza a través de espacios de formación en los que los docentes de primaria participan en talleres sobre estrategias pedagógicas en las asignaturas de Matemáticas y Lenguaje. Estos talleres son dictados por los docentes tutores y siguen un protocolo y unas temáticas preestablecidas3. Los acompañamientos en aula, por su parte, consisten en observaciones de clase por parte de los docentes tutores y su posterior retroalimentación. Esto tiene como propósito no solamente que los docentes sean conscientes de los aspectos que deben trabajar para mejorar sus prácticas de enseñanza, sino que puedan contar con un guía que los ayude a lograrlo.

El tercer componente se enfoca en el mejoramiento de la gestión del conocimiento. Busca que los directivos docentes sean agentes dinamizadores de las actividades de planeación, acompañamiento y evaluación institucional. De acuerdo con lo anterior, este componente incluye la capacitación de directivos docentes en esquemas de liderazgo y gestión institucional.

El programa también aborda la falta de condiciones físicas para el buen desarrollo de las actividades educativas en el país. Para esto, el cuarto componente incluye aspectos como el mejoramiento del transporte escolar, que garantiza que los estudiantes puedan asistir a las clases; la optimización de las condiciones de alimentación que permite el desarrollo físico y cognitivo de los estudiantes; y el mejoramiento de las condiciones mínimas de infraestructura y materiales didácticos.

Con el fin de dar mayor visibilidad al programa, así como de generar un espacio para la conformación de una comunidad de aprendizaje, el último componente del programa incorpora la realización de las ferias regionales llamadas “Intercambio de Saberes”. En estos espacios, todos los actores de la comunidad educativa tienen la posibilidad de dar a conocer sus experiencias con el programa, escuchar las de otros actores e invitados y reflexionar sobre estas.

En el año 2015, el MEN decide reestructurar el PTA, dados los resultados obtenidos en las evaluaciones de impacto e implementación realizadas por un equipo de la Universidad de los Andes, las cuales mostraban problemas en el diseño del programa y dificultades persistentes en la implementación de este. Es bajo este contexto que se crea el PTA 2.0, el cual incorpora un acompañamiento en aula más frecuente, en el que, además, se enfatiza en prácticas pedagógicas relativas a los contenidos disciplinares y al manejo del aula.

Adicionalmente, ese mismo año el PTA incorporó una intervención diferenciada para los establecimientos que evidenciaban mejores desempeños en las pruebas estandarizadas. Dos fueron los argumentos que llevaron a la realización de dicha intervención: el primero consistía en que, si bien todos los establecimientos focalizados por el programa habían recibido el mismo acompañamiento, algunos de estos habían respondido mejor que otros y, por tanto, contaban con un potencial de mejoramiento mayor. Adicionalmente, se pensó que dadas las diferencias de desempeño en las pruebas estandarizadas Saber 5º se contaba con una población heterogénea de establecimientos y, por lo mismo, no era pertinente que la totalidad continuara recibiendo el mismo acompañamiento.

Debido a lo anterior, dentro de los colegios focalizados por el PTA se seleccionó un grupo específico de establecimientos denominados colegios Pioneros, que presentaban una mayor propensión a los avances en calidad educativa. El proceso de elección de estos establecimientos fue realizado en dos etapas: en un primer momento se identificaron todos los colegios que, dentro del universo de colegios intervenidos, presentaban desempeños altos y cumplían con los siguientes criterios (MEN, s.f.)4:

  • Que tuvieran como máximo cinco sedes. Esto con el fin de que la totalidad de la primaria fuera intervenida y así poder valorar los resultados de las pruebas Saber por establecimientos.

  • Que contaran con el ciclo formativo completo y así se pudieran articular esfuerzos en materia educativa que estuvieran adelantando las secretarías en niveles superiores del ciclo escolar.

  • Que se ubicaran en zonas urbanas y así poder garantizar mayor eficiencia en la implementación

  • Este proceso dio como resultado más de 1.200 posibles establecimientos a intervenir, de los cuales, en una segunda etapa, se tomaron 500 que contaban con dos o más de las siguientes características:

  • Contar con tasas de matrícula altas, para así garantizar la atención a la mayor cantidad de estudiantes.

  • Estar implementando la jornada única y con esto poder apoyar el aumento de horas de clase de los establecimientos.

  • Contar con un Índice Sintético de Calidad bajo y así apoyar a los establecimientos que más lo necesiten.

  • Contar con una proporción alta de estudiantes con bajo desempeño en las pruebas Saber 5°, para poder potenciar el desarrollo de competencias en las poblaciones con mayor necesidad.

  • Contar con condiciones básicas para la implementación en términos de facilidad de acceso, compromiso del director del establecimiento y de la entidad territorial.

La estrategia Colegios Pioneros contó con una reestructuración de los componentes originales del PTA. Por un lado, se fortalecieron los componentes de condiciones básicas a través de la asignación de nuevos materiales educativos: puntualmente, los 500 colegios seleccionados recibieron material educativo de altísima calidad de las asignaturas de Matemáticas y Lenguaje, los cuales contaban con características de éxito documentadas a nivel nacional e internacional. Estos materiales también presentaban estrategias didácticas que facilitaban el proceso de aprendizaje, además de incluir guías para que los docentes afianzaran sus conocimientos y su método de preparación de clase.

La nueva estrategia incorporó, además, el apoyo de aliados estratégicos. En unión con la Asociación Alianza Educativa, se fortalecieron los procesos de formación de docentes formadores y docentes tutores, así como el acompañamiento a estos en su intervención en los establecimientos a lo largo de la ruta de formación. Con esto se fortalecieron las sesiones de trabajo situado, que incorporaron nuevos contenidos, y los acompañamientos en aula, que pasaron a ser realizados por dos docentes: uno especializado en Matemáticas y otro en Lenguaje.

Adicionalmente, en conjunto con la red de padres y madres (Red PaPaz), se implementaron estrategias para el involucramiento parental en los procesos de formación de los estudiantes. Entre estas estrategias de fortalecimiento del involucramiento parental se encuentran: “Te protejo”, “Aprendiendo a ser PaPaz”, “Escudos del Alma” y “Ángel Protector”.

“Te protejo” es una línea virtual donde se reportan diferentes situaciones y se da ayuda y retroalimentación a los padres de familia, con el fin de proteger a los niños y adolescentes de posibles abusos. “Aprendiendo a ser PaPaz” son toda una serie de recursos virtuales que incluyen investigaciones, artículos y herramientas de formación de las habilidades parentales. “Escudos del Alma” son conferencias y ferias que buscan dar a las padres herramientas para mejorar el cuidado de la niñez y promover el aprendizaje de sus hijos. Finalmente, “Ángel Protector” son los acompañamientos con los que se busca concientizar sobre los riesgos del consumo del alcohol y otras sustancias psicoactivas por parte de los menores de edad.

Por último, la estrategia Colegios Pioneros incorporó el componente “Colegio 10 TIC”. En este, además de la dotación de computadores, tabletas y conectividad a internet, los establecimientos cuentan con mantenimiento de equipos, capacitación de docentes y directivos sobre el uso de las TIC en el aula y acompañamiento para la implementación de estrategias de enseñanza con el uso de estas. Es importante aclarar que, para este último componente, por temas logísticos, solo 200 establecimientos alcanzaron a recibir las dotaciones y la capacitación correspondientes. Asimismo, el MEN aclaró que en el proceso de implementación de la estrategia se decidió usar este componente solo en los grados de secundaria, debido a diferentes temas logísticos y teóricos. Dada esta condición en la implementación, los resultados de los niños de primaria no deberían verse afectados por la intervención de este componente y por ende no debería afectar los resultados del presente estudio.

II. Revisión de literatura

Se pueden ver en la literatura efectos mixtos en las intervenciones que cuentan con una estructura o con componentes similares a los del PTA y a la estrategia Colegios Pioneros. Estos programas tienden a enfocarse en el mejoramiento del proceso pedagógico, buscando eliminar barreras en el aprendizaje, como los maestros inadecuadamente entrenados, la falta de materiales y las aproximaciones erróneas a la pedagogía y al diseño del currículo. Dado el amplio rango de acción y su enfoque tanto en el hardware como en el software del proceso educativo, Snilstveit et al. (2015) denominan estas iniciativas como “programas de pedagogía estructurada”.

En términos generales, los programas de pedagogía estructurada muestran efectos positivos en el desempeño de los estudiantes en Matemáticas y Lenguaje (Snilstveit et al., 2015). Adicionalmente, se encuentra que los casos de éxito están marcados por el diseño de componentes que atacan directamente las barreras del aprendizaje (Snilstveit et al., 2015; Piper et al., 2010) y la idoneidad de los materiales empleados (He, Linden & MacLeod 2007; Spratt, King & Bulat, 2013; Lucas et al., 2014). Los pocos casos en que estos programas no han tenido un impacto significativo sobre los estudiantes son aquellos en los cuales la implementación no se realizó de manera adecuada debido a la falta de recursos (He, Linden & MacLeod, 2007; Lucas et al., 2014; Kerwin & Thornton, 2015).

Adicional a la literatura relacionada con los programas de pedagogía estructurada, existe extensa evidencia de programas que se enfocan en áreas específicas del proceso pedagógico, tomando como centro del análisis elementos muy similares a los del PTA y Colegios Pioneros.

Por un lado, se ha generado evidencia empírica que evalúa la efectividad de estrategias de formación en servicio para los docentes. Este tipo de intervenciones se enfocan, principalmente, en tres áreas: el fortalecimiento de prácticas pedagógicas y desarrollo de habilidades para la enseñanza, la actualización de contenidos y conocimientos disciplinares, y el trabajo colaborativo entre docentes (Bruns & Luque, 2014).

En varios países de Latinoamérica se ha encontrado que el entrenamiento a docentes en aspectos como metodologías efectivas de manejo de clase, el diagnóstico de las necesidades educativas de sus estudiantes y las estrategias de monitoreo ha contribuido a mejorar las prácticas pedagógicas docentes y el aprendizaje de los estudiantes (Chesterfield & Abreu-Combs, 2011). En Ceará (Brasil), la evaluación del programa de formación docente Pacto pela Alfabetização na Idade Certa(PAIC) encontró un impacto de 0,09 desviaciones en el desempeño de los estudiantes de primaria en la prueba de Lenguaje (Costa & Carnoy, 2015).

Adicionalmente, se han encontrado impactos positivos en intervenciones de entrenamiento a docentes en metodologías de evaluación. En Liberia se capacitó a docentes en la metodología Early Grade Reading Assessment (EGRA) para evaluar las habilidades de lectura de los estudiantes de 2º y 3º grado. Esta intervención tuvo un impacto de entre 0,39 y 0,82 desviaciones estándar en aspectos como la fluidez y la comprensión de lectura de los niños (Piper & Korda, 2010).

Por otro lado, la literatura también muestra evidencia de que las intervenciones que se concentran únicamente en la provisión de material no tienen efectos sobre el desempeño de los estudiantes e, inclusive, pueden llegar a tener efectos negativos (Glewwe, Kremer & Moulin, 2009). Este resultado, a primera vista contraintuitivo, puede darse debido a problemas en la implementación de los programas de provisión de material, tal y como los que se presentaron en India, Kenia y Sierra Leona (Glewwe, Kremer & Moulin, 2009; Sabarwal, Evans & Marshak, 2014). Otra posible razón de estos resultados es que los materiales entregados no son los idóneos. Tal fue el caso del programa de asistencia escolar en Kenia, en el que les brindaron a los estudiantes cuadernillos en inglés, siendo esta su tercera lengua (Glewwe, Kremer & Moulin, 2009).

Existe también basta evidencia sobre los programas que se enfocan en el aprendizaje asistido por los computadores y las tecnologías de la información y la comunicación (TIC). Gran parte de estos esfuerzos han estado liderados por Un portátil por niño, ONG que ha trabajado con gobiernos de países como Ruanda, India, Madagascar, Nicaragua, Kenia y Paraguay, entre otros. Los resultados de estos programas son mixtos, siendo más alentadores los resultados encontrados en el área de Matemáticas (Snilstveit et al., 2015).

Colombia desarrolló un programa en esta materia llamado Computadores para Educar, que brindó herramientas tecnológicas a la comunidad educativa y benefició a más de 41.000 sedes alrededor del país. De esta estrategia se realizaron dos evaluaciones de impacto diferentes, a través del método de variables instrumentales, las cuales mostraron que esta estrategia tuvo impactos positivos en materia de deserción y repitencia, gracias a la formación que se les brindó a los profesores en las herramientas de las TIC.

Finalmente, alrededor del mundo se han realizados varios estudios que muestran la importancia del involucramiento de la comunidad, en especial el de los padres, en el desarrollo socioemocional, físico y cognitivo de los niños y niñas. La finalidad de involucrar a la comunidad es que demanden una mejor educación, y esto lleve a que en los centros de aprendizaje se tengan mejores prácticas, profesores más capacitados y recursos que puedan ser aprovechados al máximo por los niños y niñas. Adicional a esto, la necesidad de que los padres estén atentos de la educación de sus hijos radica en que ellos pueden reforzar el aprendizaje cuando el niño esté en el hogar.

En Pakistán se encontró que con solo informar a la comunidad el resultado de las evaluaciones de las escuelas se obtuvo una mejora significativa en las siguientes evaluaciones y en la tasa de matrícula (Andrabi, Das & Khwaja, 2017). Al mismo tiempo, en Uganda se empezó a publicar en los periódicos los casos de corrupción dentro de las escuelas, con el fin de que la comunidad hiciera un estricto seguimiento de estos casos; se encontró que exponer los casos a la comunidad tenía un efecto positivo en el desempeño de los estudiantes, además de que entre más penetración de la noticia hubiera mayor sería el efecto en los niños (Bjorkman, 2007).

III. Datos

Para la realización de este trabajo se emplearon datos de diferentes fuentes. Primero se definieron los grupos de tratamiento y control mediante la lista de establecimientos participantes de la estrategia Colegios Pioneros y del PTA 2012-2017 proporcionada por el MEN. Esta información, de acuerdo con el proceso de focalización tanto de PTA como de Colegios Pioneros, se encuentra a nivel de establecimiento educativo.

Posterior a esto se incluyó la información del anexo 3A de la Resolución 166 del MEN, la cual cuenta con características generales de los docentes en los establecimientos educativos (e.g., género, edad, años de vinculación, nivel educativo, etc.) y que se empleó como covariables en el análisis. Esta información es recolectada por las entidades territoriales certificadas, y consolidada y revisada por el Ministerio de Educación.

Finalmente, se tomaron como variables de resultado los puntajes en Matemáticas y Lenguaje de las pruebas Saber 3° y 5°, realizadas por el Instituto Colombiano para la Evaluación de la Educación (Icfes) entre los años 2012 y 2017 y agregadas a nivel de establecimiento educativo5. Es decir, la unidad de observación del estudio son los establecimientos educativos y no los niños, puesto que las pruebas Saber 3° y 5° no tienen resultados individuales, sino solo agregados.

Después de realizar el cruce de todas las bases de datos, se obtuvieron 500 establecimientos educativos tratados por la estrategia Colegios Pioneros, y 3.883 que solo habían recibido el PTA 2.0 y que fueron utilizados como grupo de control. Las diferencias para los dos grupos en el desempeño en las áreas de matemáticas y lenguaje de pruebas Saber 3º y 5º se pueden ver en la Tabla 1.

Tabla 1:
Diferencias en las pruebas Saber

Fuente: cálculos propios con base en información del Icfes y el MEN.

Los datos expuestos en la Tabla 1 muestran que, en promedio, los colegios Pioneros para el año 2014 obtuvieron mejores resultados que los colegios del PTA en todos los grados y pruebas. Por otro lado, la Tabla 2 muestra las diferencias estadísticas de los resultados en el tiempo entre ambos grupos. Se evidencia que, aunque ambos lograron mejorar su desempeño, la magnitud del incremento fue muy superior para los colegios del PTA 2.0 (grupo de control) que para los colegios Pioneros. Esto podría estar evidenciando que la estrategia Colegios Pioneros no tiene un efecto mayor al de la estrategia original.6

Tabla 2:
Mejora en las pruebas Saber en el tiempo

Fuente: cálculos propios con base en información del Icfes.

IV. Metodología

A fin de calcular el impacto diferencial que ha tenido la estrategia Colegios Pioneros en el desempeño en pruebas estandarizadas con respecto al PTA, se plantea como estrategia de identificación el método de diferencias en diferencias emparejadas.

Esta estrategia se enmarca en el área de evaluación de impacto, la cual busca determinar los efectos causales de las políticas y las intervenciones mediante la construcción adecuada de un contrafactual (i.e., los resultados del grupo de tratamiento si no hubiese sido tratado). El método propuesto es una aproximación cuasiexperimental al problema, que se ajusta a la asignación no aleatoria de la estrategia Colegios Pioneros.

Normalmente, el método de diferencias en diferencias permite la estimación adecuada del impacto, siempre y cuando no haya diferencias en las tendencias de la variable de resultado entre el grupo de control y el grupo de tratamiento luego de condicionar por las variables observables relevantes7 (Angrist & Pischke, 2008).

El Gráfico 1 muestra las tendencias de los puntajes en las pruebas Saber 3° y Saber 5° en las áreas de Matemáticas y Lenguaje, con el fin de comprobar el supuesto anteriormente mencionado. Se puede evidenciar que el supuesto de tendencias paralelas es creíble hasta antes del momento de la aplicación del tratamiento (i.e. 2015) en cada una de las pruebas en los diferentes grados.

Tendencias de la prueba Saber

Gráfico 1: Tendencias de la prueba Saber

Sin embargo, dado que con el método de diferencias en diferencias únicamente se controlan las características no observables de las instituciones que son constantes en el tiempo, se decidió realizar una prueba de balance para ver la comparabilidad de los dos grupos en términos de variables observables. Los resultados de este ejercicio se pueden observar en el Anexo 1. Tal y como se muestra en dicha tabla, existen diferencias estadísticamente significativas en muchas de las características observables de las instituciones, lo cual evidencia la necesidad de emplear un método para controlar estas disparidades.

Teniendo esto en mente, se realizó un proceso de emparejamiento, con el objetivo de hacer comparables los grupos de control y tratamiento y así reducir los sesgos presentes en la estimación. El método de emparejamiento empleado fue el Entropy Balancing, propuesto por Hainmueller (2012), mediante el cual se calcula de manera directa el peso que se le deben dar a las observaciones del grupo de control, usando restricciones sobre el balance de las covariables empleadas (i.e., igualdad de medias, igualdad de varianzas y/o igualdad en asimetrías). En este trabajo únicamente se empleó la restricción de igualdad de medias. Con esta metodología se garantiza la comparabilidad del grupo de control y el grupo de tratamiento en términos de sus características observables. El Gráfico 2 muestra el soporte común antes y después del emparejamiento, evidenciando que después de los arreglos la distribución de probabilidad de pertenecer al grupo de tratamiento es casi igual para ambos grupos.

Soporte común, antes y después del emparejamiento

Gráfico 2: Soporte común, antes y después del emparejamiento

El proceso de estimación de los pesos del emparejamiento parte del siguiente esquema de minimización de entropía relativa:

sujeto a las condiciones de balance y normalización:

donde w i son los pesos para cada individuo, es una métrica de distancia de la información y describe el conjunto de R condiciones impuestas sobre los momentos de las covariables para el grupo de control. Para la estimación se emplea como métrica de distancia la medida de divergencia Kullback (1959), de manera que:

donde es el peso base.

La razón de emplear este método, antes que el tradicional Propensity Score Matching, es que este permite obtener un balance en las covariables de entrada al ejercicio y no es tan restrictivo en términos de observaciones (Zhao & Percival, 2017).

De esta forma, las variables que se usaron para realizar el emparejamiento abarcan el número de años que el establecimiento estuvo en el PTA, la distribución por género de los profesores, así como sus niveles de educación, las áreas y niveles educativos en los que enseñan, entre otros. Es decir, las variables que se utilizaron para realizar el emparejamiento fueron características de los profesores de cada establecimiento educativo. 8

Después de todas las consideraciones anteriores, el modelo a estimar fue el siguiente:

Ponderado por los pesos que resultan del proceso de emparejamiento. La variable corresponde a los puntajes en las pruebas Saber 3° y Saber 5° de Matemáticas y Lenguaje, es una variable que denota el periodo y que toma el valor de 0 para el año 2014 y de 1 para el año 2017, y es una variable dicótoma que toma el valor de 0 para los establecimientos del PTA y de 1 para los establecimientos que hacen parte de la estrategia Colegios Pioneros del PTA. El término de interés en este caso es el estimador el cual muestra el efecto que tuvo la intervención sobre el desempeño de los colegios en las pruebas Saber 3° y 5°.

Es importante recalcar que, al combinar los métodos mencionados anteriormente, se está controlando tanto por las variables observables como por los factores no observables. El emparejamiento permite controlar todos los factores observables que se tuvieron en cuenta, mientras que las dobles diferencias sirven para controlar los factores no observables, haciendo uso de efectos fijos a nivel de establecimiento y del tiempo. Esto implica que, si bien la estimación no se encuentra del todo libre de sesgos, se trata de una excelente aproximación al efecto causal del programa. Por otro lado, todos los modelos fueron estimados con errores clúster a nivel de municipio, para tener en cuenta la dependencia que puede haber entre colegios en el mismo territorio.

V. Resultados

Con el fin de realizar una interpretación más clara de los coeficientes, en las estimaciones se realizó una estandarización de los puntajes en Matemáticas y Lenguaje, a media 0 y desviación estándar 1. En las Tablas 3 y 4 se presentan los resultados obtenidos mediante los diferentes modelos estimados para las pruebas de Matemáticas y Lenguaje, respectivamente. Además del modelo de diferencias en diferencias emparejadas, se realizaron un modelo de diferencias en diferencias sin controles y otro con controles, con el fin de ver los cambios en los coeficientes.

La Tabla 3 muestra los resultados para las tres especificaciones del modelo en la prueba de Matemáticas. Se observa, de manera consistente, que la estrategia Colegios Pioneros ha tenido una menor eficacia respecto al PTA 2.0. El efecto diferencial entre las dos estrategias es negativo y se encuentra entre -0,17 y -0,33 desviaciones estándar en grado 3° y entre -0,09 y -0,13 en grado 5°. Así mismo, la Tabla 4 muestra resultados similares en la prueba de Lenguaje. En esta, la estrategia Colegios Pioneros tuvo un impacto entre 0,12 y 0,26 desviaciones estándar menos que el PTA 2.0 en el desempeño de los estudiantes de grado 3°, y entre 0,06 y 0,09 desviaciones estándar menos en grado 5°. Los resultados son robustos entre los diferentes modelos, lo cual es un indicador de que los cambios planteados por la estrategia Colegios Pioneros, en general, no han generado una mejoría notoria en el desempeño de los estudiantes respecto a la que ha tenido el PTA 2.0 y que, por el contrario, ha sido menos eficiente.

Tabla 3:
Resultados en Matemáticas

Notas: errores estándar por clúster en paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios.

Tabla 4:
Resultados en Lenguaje

Notas: errores estándar por clúster en paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios.

Es importante notar que los resultados no arrojan que la estrategia Colegios Pioneros haya disminuido el desempeño de los estudiantes en las pruebas de estado, sino que ha tenido una mejora menor al del PTA en su versión 2.0. Esto se evidencia con las diferencias presentadas en la Tabla 2, donde se puede ver que el rendimiento ha aumentado para ambos grupos. Así mismo, se debe notar que, aunque la estrategia fue planteada como una mejora del PTA, los problemas de implementación impidieron que la estrategia se desarrollara de acuerdo con su diseño original.

Adicionalmente, los colegios seleccionados para este refuerzo se caracterizaban por tener un alto desempeño dentro del PTA, por lo que los resultados podrían estar evidenciando un efecto de saturación. En otras palabras, la capacidad de mejora en el desempeño de estos colegios es mucho menor debido a que ya presentan un alto nivel de desempeño dentro del contexto del PTA.

VI. Pruebas de robustez

Con el fin de validar los supuestos y ver la robustez del modelo, se llevaron a cabo dos pruebas para corroborar los resultados. La primera prueba consistió en realizar dos regresiones del mismo modelo de diferencias en diferencias, una sin controles y otra incluyéndolos, pero en el periodo anterior a la implementación de la estrategia Colegios Pioneros. La lógica detrás de esta prueba es comprobar estadísticamente las tendencias paralelas del grupo de control y de tratamiento, por lo que se busca que el coeficiente de interés no sea significativo. La segunda prueba que se realizó consistió en verificar que los cambios en los resultados previos al tratamiento de Saber 3° o Saber 5° no determinaran el hecho de ser incluidos en la estrategia Colegios a Pioneros. Para esto, se usó un modelo probit con una variable dependiente que indica si el establecimiento educativo fue tratado o no y, como variables dependientes, se tomó el cambio en los resultados de Saber 3° o 5°, según el caso, para los años 2012-2013 y 2013-2014. Los resultados de la primera prueba de robustez se pueden ver en las Tablas 5 y 6, para Matemáticas y Lenguaje, respectivamente, mientras que la segunda prueba se ve en la Tabla 7. 9

Tabla 5:
Pruebas de robustez en Matemáticas

Notas: errores estándar en paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios.

Tabla 6:
Pruebas de robustez en Lenguaje

Notas: errores estándar ente paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios.

Tabla 7:
Segunda prueba de robustez

Notas: errores estándar ente paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios.

Las tablas 5 y 6 corroboran que los grupos de control y tratamiento tienen tendencias paralelas entre sí, pues en ninguno de los cursos y en ninguno de los dos tipos de regresiones (con y sin controles) se evidencia que el coeficiente de interés sea significativo para las distintas pruebas. Por otro lado, cuando vemos la probabilidad de recibir la estrategia Colegios Pioneros con base en los cambios de la variable de resultado de los periodos anteriores de las dos pruebas evaluadas vemos que, para el grado 3°, el cambio en las pruebas de Lenguaje de 2013 a 2014 es significativo, pero solo al 10 %, mientras que para el grado 5° el cambio en las pruebas de Matemáticas de 2012 a 2013 es significativo al 10 %, y la prueba de Lenguaje para el mismo periodo lo es al 5%. Esto se debe a que la asignación del tratamiento se basó, en parte, en los resultados de las pruebas de 3° y 5°, por lo que era muy probable que un caso así se presentara.

Sin embargo, considerando que solo uno de los coeficientes de interés resultó significativo al 5 % y que, además, se utilizó una mezcla entre los métodos de diferencias en diferencias y emparejamiento para controlar, tanto por características observables como no observables, se puede concluir que los supuestos requeridos por el modelo no son muy fuertes y que los resultados estimados pueden ser considerados como confiables.

Conclusiones

Este trabajo abordó el impacto diferencial de la estrategia Colegios Pioneros en el desempeño de los estudiantes en las pruebas estandarizadas Saber, frente a los estudiantes que solo contaron con el PTA 2.0. Los resultados evidencian una clara carencia de impacto positivo de dicha estrategia. Por el contrario, la estrategia tiene un impacto diferencial negativo en las pruebas de Lenguaje y Matemáticas, para los grados 3° y 5°.

Es importante resaltar las razones que pueden darle explicación a estos resultados. De una parte, la estrategia Colegios Pioneros ha presentado divergencias importantes entre el diseño final y la implementación. El componente de 10 TIC no fue incorporado y se presentaron retrasos importantes en la entrega de materiales. Adicionalmente, es posible que los resultados encontrados respondan a una situación de saturación de la estrategia en la que nuevos materiales y la especialización de los docentes tutores no presente una diferencia significativa en las prácticas de aula de los docentes. Esto puede estar asociado a que, en términos generales, aumentos en la calidad del aprendizaje pueden ser más difíciles de lograr a medida que esta es más alta. En este sentido, un aumento es más fácil de lograr para los establecimientos de PTA 2.0 −que al inicio de la estrategia contaban con menores promedios de desempeño− que, para los establecimientos de Colegios Pioneros, que tenían niveles de desempeño más altos.

De acuerdo con los resultados encontrados, las recomendaciones de política estarían encaminadas a la reformulación de la estrategia Colegios Pioneros para fortalecer el programa. Especialmente para potenciar el aprendizaje de los estudiantes de aquellos establecimientos que presentan condiciones favorables en términos de respuesta a la intervención. Para ello, resulta necesario no solamente realizar una focalización que dé cuenta de las potencialidades de respuesta de los establecimientos, sino igualmente propender por una implementación que no se distancie del diseño e incorpore la totalidad de los componentes concebidos. Esto permitiría verificar a cabalidad si el diseño teórico es apropiado o no para el logro de los objetivos en el contexto del país.

Referencias

  1. , , (). Report Cards: The Impact of Providing School and Child Test Scores on Educational Markets. American Economic Review 107(6), 1535-1563.
  2. , (). . . Princeton, NJ: Princeton University Press. .
  3. , , (). Is the glass half empty of half full? enrollment, graduation, and dropout rates in Latin America. Economía 16(1), 115-156.
  4. (). Does money matter for student performance? Evidence from a grant program in Uganda. Working Paper (326)
  5. , (). . . Washington D.C.: The World Bank Group. .
  6. , (). . . Banco Interamericano de Desarrollo. . Disponible en: https://bit.ly/2sxyiiy (accessed )
  7. , (). . . Washington, DC: Oficina de USAID para América Latina y el Caribe. .
  8. , (). The Effectiveness of an Early Grades Literacy Intervention on the Cognitive Achievement of Brazilian Students. Educational Evaluation and Policy Analysis 37(4), 567-590.
  9. , , (). Many Children Left Behind? Textbooks and Test Scores in Kenya. American Economic Journal: Applied Economics 1(1), 112-135.
  10. , (). . , , , eds. (3). Elsevier. 8., 60-67.
  11. , , (). . . Nueva York: Columbia University. .
  12. , (). Making the Grade: Understanding What Works for Teaching Literacy in Rural Uganda. PSC Research Report (15-842)
  13. (). . . Nueva York: Wiley. .
  14. , , (). Improving early-grade literacy in east Africa: Experimental evidence from Kenya and Uganda. Journal of Policy Analysis and Management 33(4), 950-976.
  15. (). . . .
  16. , (). . . Program Evaluation Report. USAID/Liberia, Research Triangle Park, NC, RTI International. .
  17. (). . . Washington D.C.: Center for Global Development. .
  18. , , (). The Permanent Input Hypothesis. The Case of Textbooks and (No) Student Learning in Sierra Leone. Policy Research Working Paper (7020)
  19. , , , , , , , , , (). . . Londres: International Initiative for Impact Evaluation (3ie). .
  20. , , (). . . RTI International. .
  21. (). . . Santiago: Regional Bureau of Education for Latin America and the Caribbean (OREALC/UNESCO Santiago). .
  22. , (). Entropy Balancing is Doubly Robust. Journal of Causal Inference 5(1), 1-23.
1 Agradecemos a Ximena Dueñas, Ana Bolena Escobar, Lina Saldarriaga y a los miembros del comité asesor de la Oficina de Gestión de Proyectos de Investigación por su asesoría y comentarios.
2 Es una organización sin ánimo de lucro fundada en 2003 y cuyo propósito es abogar por la protección de los derechos de los niños, niñas y adolescentes en Colombia y fortalecer la capacidad de los adultos y actores sociales para garantizar su efectivo cumplimiento.
3 Dentro de las temáticas se incluía una capacitación en la aplicación y lectura de resultados de la herramienta Early Grade Reading Assessment (EGRA) y Early Grade Mathematics Assessment (EGMA).
4 Documento de formulación de la estrategia Colegios Pioneros compartido por funcionarios del MEN a los autores.
5 La información a nivel de establecimiento educativo es el resultado de la agregación del desempeño de los estudiantes dentro de cada establecimiento. Esto se calcula por medio de valores plausibles para el periodo 2012-2016 y mediante promedios sencillos para el periodo 2017. Esta información es agregada por el Icfes, quien aseguran la comparabilidad entre los diferentes periodos.
6 Otras estadísticas descriptivas pueden verse en el Anexo 1.
7 A este supuesto se le conoce en la literatura de evaluación de impacto como tendencias paralelas.
8 Todas las variables que se utilizaron en el emparejamiento se pueden ver en la Tabla 1A de la sección de anexos.
9 Para los resultados de la segunda prueba se muestran los efectos marginales del modelo probit.

Anexos

Anexo 1:
Diferencias entre grupos de tratamiento y control

Anexo 1:
Continuación

Anexo 1:
Continuación

Anexo 1:
Continuación

Notas: errores estándar en paréntesis. *** p<0,01, ** p<0,05, * p<0,1.

Fuente: cálculos propios con base en información del MEN.