Design and Validation of the Instrument to Assess Narrative Quality in Fictional Oral Stories Created with Attachment Script Assessment

Keywords: narrative quality assessment, narratives, assessment instruments, fictional stories, oral stories

Abstract

This article reports the design and validation of the narrative quality assessment instrument (ecan, in Spanish), whose objective is to allow the valuation of fictional recounts that are produced orally and spontaneously. The phase of design involved the identification of the evaluation criteria, their operationalization and weighting. A pilot test and an interrater evaluation process allowed for its adjustment. Later, an empirical validation process was carried out on a corpus of 184 recounts produced by 66 Colombian mothers. Statistical analyzes; such as Cronbach alpha and inter-class coefficients, Chi Square, Kaiser-Meyer-Olkin (kmo) tests, Bartlett’s sphericity and a two-stage conglomerate analysis; revealed a high inter­nal consistency, a very significant interrater reliability and a significant content validity. The analyses also showed that by using an adequate training, the ecan allows for an evaluation of the recounts without biases and errors, which makes the instrument not only reliable but also necessary to inquire about the quality of narrative discourse in diverse contexts.

|Abstract
= 103 veces | PDF (ESPAÑOL (ESPAÑA))
= 113 veces|

Downloads

Download data is not yet available.

Author Biographies

Nadya González-Romero, Pontificia Universidad Javeriana

Doctora en Ciencias Sociales y Humanas, Pontificia Universidad Javeriana, Bogotá, Colombia.
Docente, Facultad de Comunicación y Lenguaje, Pontificia Universidad Javeriana, Bogotá, Colombia.
ngonzale@javeriana.edu.co

Mario Fernando Gutiérrez-Romero, Pontificia Universidad Javeriana

Doctor en Ciencias del Lenguaje, Université Lumière (Lyon 2), Francia.
Docente de la Facultad de Psicología, Pontificia Universidad Javeriana, Bogotá, Colombia.
mariogutierrez@javeriana.edu.co

Juliana Angélica Molina Ríos, Pontificia Universidad Javeriana

Doctora en Educación, Universidad Distrital Francisco José de Caldas, Bogotá, Colombia.
Docente de la Facultad de Comunicación y Lenguaje, Pontificia Universidad Javeriana, Bogotá, Colombia.
Juliana.molina@javeriana.edu.co

Tatiana Mesa-Hoyos, Pontificia Universidad Javeriana

Maestra en Educación con énfasis en Cognición, Creatividad y Aprendizaje en Sistemas Escolares, Pontificia Universidad Javeriana, Bogotá, Colombia.
Docente de la Facultad de Comunicación y Lenguaje, Pontificia Universidad Javeriana, Bogotá, Colombia.
tmesa@javeriana.edu.co

Olga Alicia Carbonell Blanco, Pontificia Universidad Javeriana, Bogotá

Doctora en Desarrollo Infantil y Estudios de Familia, Purdue University, Estados Unidos.
Docente de la Facultad de Psicología, Pontificia Universidad Javeriana, Bogotá, Colombia.
carbonel@javeriana.edu.co

References

Adam, J.-M. (1992). Les textes: types et prototypes: récit, description, argumentation, explication et dialogue. Nathan.

Arízaga, T. K., Monge, D. A. y Muñoz, M. A. (2019). Adaptación lingüística de la escala de desarrollo armónico 0-5 años. Revista Cubana de Educación Superior, 38, 1-21. http://revista.maternal.eu/wp-content/uploads/2019/12/Adaptacion_Linguistica_Escala_de_Desarrollo_Armonico.pdf

Babaei, Z., Ghayoumi-Anaraki, Z. y Mahmoodi-Bakhtiari, B. (2019). Discourse in aging: Narrative and persuasive. Dementia y Neuropsychologia, 13(4), 444-449. https://doi.org/10.1590/1980-57642018dn13-040012

Benítez, R. y Sotelo, E. (2013). Calidad de la producción escrita en dos secuencias textuales según tipo de establecimiento educacional. Logos, 23(2), 127-150. https://revistas.userena.cl/index.php/logos/article/view/357

Bustos, A. y Crespo, N. (2014). Comprensión oral de narraciones y producción narrativa: dos medidas a través de una tarea de recontado. Onomázein, (30), 111-126. https://doi.org/10.7764/onomazein.30.7

Cabré, M. (2016). Estudio de las creencias de una futura maestra sobre la construcción del repertorio lingüístico a través de narrativas multimodales. Bellaterra Journal of Teaching y Learning Language y Literature, 9(3), 50-68. https://doi.org/10.5565/rev/jtl3.652

Carbonell Blanco, O.A., Plata Contreras, S. J., y Bermúdez-Jaimes, M. E. (2013-2016). Canción de cuna como una de las estrategias de regulación emocional y sus relaciones con la sensibilidad materna y las representaciones mentales maternas del apego y los precursores del apego infantil en el contexto latinoamericano. Financiado por Fundación para la Promoción de la Investigación y la Tecnología, Banco de la República - Proyecto 3.209. ID 004975. Pontificia Universidad Javeriana. Bogotá-Colombia.

Campo-Arias, A. y Herazo, E. (2010). Concordancia intra-e interevaluadores. Revista Colombiana de Psiquiatría, 39(2), 424-432. https://doi.org/10.1016/S0034-7450(14)60261-4

Celina, H. y Campo-Arias, A. C. (2005). Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 34(4), 572-580. http://www.redalyc.org/articulo.oa?id=80634409

Colombia, Ministerio de Salud (1993). Resolución 8430, del 4 de octubre, por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud. https://www.hospitalsanpedro.org/images/Comite_Investigacion/Resolucion_8430_de_1993.pdf

Crismán-Pérez, R. (2016). La construcción de escalas de medición para la investigación lingüística y sus aplicaciones didácticas. Una propuesta con respecto a la modalidad lingüística andaluza. Asociación Cultural y Científica Iberoamericana.

Díaz, C. (2019). La presencia de elementos de conexión en las producciones narrativas escritas en una muestra de escolares de Santiago de Chile. Revista Signos, 52(101), 736-758. https://doi.org/10.4067/S0718-09342019000300736

Fernández, M. J., Montanero, M. y Lucero, M. (2019). La evaluación de la competencia narrativa en la educación básica. Revista de Educación, (383), 85-112. https://doi.org/10.4438/1988-592X-RE-2019-383-402

Genette, G. (1989). Figures iii. Seuil.

Genette, G. (1993). Ficción y dicción. Lumen.

González-Romero, N, Carbonell Blanco, O. A., Molina Ríos, J., Mesa-Hoyos, T., Menéndez.Echavarría, L. A., (2016-2017) Estrategia de interpretación de relatos maternos: Heurística para el reconocimiento de la base segura en relatos ficticios maternos (id 7255). Pontificia Universidad Javeriana. Bogotá-Colombia.

Gutiérrez-Romero, M.-F. y Escobar-Altare, A. (2020). Integración de la narración y la argumentación en la renarración de textos narrativos. Ocnos: Revista de estudios sobre lectura, 19(1), 22-31. https://doi.org/10.18239/ocnos_2020.19.1.2131

Kintsch, W. y Van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85(5), 363-394. https://doi.org/10.1037/0033-295X.85.5.363

Köber, C., Facompré, C. R., Waters, T. E. y Simpson, J. A. (2019). Autobiographical memory stability in the context of the Adult Attachment Interview. Cognition, 191, 1-13. https://doi.org/10.1016/j.cognition.2019.05.017

Luna, F. G., Marino, J., Silva, J. D. y Acosta, A. (2016). Normas de asociación léxica e índices psicolingüísticos de 407 palabras en español en una muestra latinoamericana. Psicológica, 37(1), 1-14. https://www.redalyc.org/pdf/169/16943586001.pdf

Machado, A. P., Martínez, C., Figueroa, A., Gutiérrez, D. y Reyes, C. (2018). Análisis de la funcionalidad discursivo-pragmática en adultos mayores sanos y con demencia leve. Logos, 28(1), 192-205. https://doi.org/10.15443/RL2815

Merino, C. (2017). El proceso de construcción del discurso narrativo de la ficción del preescolar. Revista Signos, 50(95), 408-429. https://doi.org/10.4067/S0718-09342017000300408

Montanero, M., Lucero, M. y Fernández, M.-J. (2014). Iterative co-evaluation with a rubric of narrative texts in Primary Education / Coevaluación iterativa con rúbrica de textos narrativos en la Educación Primaria. Infancia y Aprendizaje, 37(1), 184-220. https://doi.org/10.1080/02103702.2014.881653

Montanero, M. y Madeira, M.-L. (2019). Collaborative chain writing: Effects on the narrative competence of primary school students/Escritura colaborativa encadenada: efectos en la competencia narrativa de estudiantes de Educación Primaria. Infancia y Aprendizaje, 42(4), 915-951. https://doi.org/10.1080/02103702.2019.1650464

Moya, J. J., Carrasco, M. Á. y Sierra, P. (2018). Dimensionality and psychometric properties of a new child attachment assessment instrument. Acción Psicológica, 15(1), 25-38. https://doi.org/10.5944/ap.15.1.22166

Muñoz-Muñoz, Á. E. y Ocaña, M. (2017). Uso de estrategias metacognitivas para la comprensión textual. Cuadernos de Lingüística Hispánica, (29), 223-244. https://doi.org/10.19053/0121053X.n29.2017.5865

Nóblega, M., Traverso, P., Ugarte, A. y Caballero, L. (2017). Factores sociodemográficos explicativos del guion de base segura materno. Revista de Psicología, 35(2), 551-580. https://doi.org/10.18800/psico.201702.007

Nunnally, J. y Bernstein, I. (1994). The assessment of reliability. Psychometric Theory, (3.ª ed., pp. 277-326). Mc Graw Hill.

Ortiz-Granja, D., Acosta-Rodas, P., Rubio, D., Lepe-Martínez, N., Del Valle, M., Caden, D., López, E., Hinojosa, F. y Ramos Galarza, C. R. (2019). Consideraciones teóricas acerca del apego en adultos. Avances en Psicología, 27(2), 135-152. https://doi.org/10.33539/avpsicol.2019.v27n2.1793

Posada, G., Plata Contreras, S. J., Carbonell Blanco, O. A., y Peña, P. A. (2007-2013). Child-mother secure base relationship processes and social competence in early childhood: A cross-cultural perspective. National Science Foundation, usa. Career Award bcs-0645530. ID Proyecto 004975. Pontificia Universidad Javeriana. Bogotá-Colombia.

Ricoeur, P. (2006). La vida: un relato en busca de un narrador. Ágora, 25(2), 9-22.

http://www.relal.org.co/images/eventos/XXIV_Retiro_de_Votos_Perpetuos/Documentos/Hno._Luis_Bolivar/La_Vida_en_busca_de_narrador_Ricoeur.pdf

Román, M. (2011). Metodologías para la evaluación del apego infantil: de la observación de conductas a la exploración representaciones mentales. Acción Psicológica, 8(2), 27-38. https://doi.org/10.5944/ap.8.2.188

Salazar-Villanea, M. (2020). Narrativa autobiográfica y reminiscencias en costarricenses con Alzheimer. Revista Signos, 53(102), 219-241. https://doi.org/10.4067/S0718-09342020000100219

Sant, E., Pagès, J., Santisteban, A., González-Monfort, N. y Oller Freixa, M. (2014). Narrativas y discursos: ¿cómo podemos analizar la competencia narrativa del alumnado en el aprendizaje de la Historia? Clío y Asociados, 18, 166-182. https://doi.org/10.14409/cya.v0i18/19.4742

Schank, R. C. y Abelson, R. P. (1977). Scripts, plans, goals and understanding: An inquiry into human knowledge structures (Vol. 1). Psychology Press.

Silva, M. y Cain, K. (2015). The relations between lower and higher level comprehension skills and their role in prediction of early reading comprehension. Journal of Educational Psychology, 107(2), 321-331. https://doi.org/10.1037/a0037769

Stevens, D. D. y Levi, A. J. (2004). Introduction to rubrics: An assessment tool to save grading time, convey effective feedback and promote student learning. Stylus Pub.

Stubbs, M. (1987). Análisis del discurso: análisis sociolingüístico del lenguaje natural. Alianza Editorial.

Valbuena, E. I. y Valbuena, N. O. (2012). Evaluación formativa y auténtica de la narración oral. Enunciación, 17(1), 77-94. https://dialnet.unirioja.es/servlet/articulo?codigo=4782249

Van den Broek, P., Kendeou, P., Lousberg, S. y Visser, G. (2017). Preparing for reading comprehension: Fostering text comprehension skills in preschool and early elementary school children. International Electronic Journal of Elementary Education, 4(1), 259-268. https://www.iejee.com/index.php/IEJEE/article/view/223/219

Van Dijk, T. A. (1977). Macro-structures, knowledge frames, and discourse comprehension. En M. A. Just y P. A.

Carpenter (Eds.), Cognitive processes in comprehension. (pp. 3-33). Lawrence Erlbaum.

Van Dijk, T. A. (1992). La ciencia del texto: un enfoque interdisciplinario (3.a ed.). Paidós. http://www.discursos.org/oldbooks/Teun A van Dijk - La Ciencia del Texto.pdf

Van Dijk, T. A. y Kintsch, W. (1983). Strategies of discourse comprehension. Academic Press.

Vaughn, B. E., Coppola, G., Verissimo, M., Monteiro, L., Santos, A. J., Posada, G., Carbonell, O. A., Plata, S. J., Waters, H. S., Bost, K. K., McBride, B., Shin, N. y Korth, B. (2007). The quality of maternal secure-base scripts predicts children’s secure-base behavior at home in three sociocultural groups. International Journal of Behavioral Development, 31(1), 65-76. https://doi.org/10.1177/0165025407073574

Villalustre, L. y Del Moral, M. E. (2014). Digital storytelling: una nueva estrategia para narrar historias y adquirir competencias por parte de los futuros maestros. Revista Complutense de Educación, 25(1), 115-132. https://doi.org/10.5209/rev_RCED.2014.v25.n1.41237

Waters, H. S. y Rodrigues-Doolabh, L. (2004). Manual for decoding secure base narratives [Unpublished manuscript]. State University of New York at Stony Brook.

Waters, T. E., Ruiz, S. K. y Roisman, G. I. (2017). Origins of secure base script knowledge and the developmental

construction of attachment representations. Child Development, 88(1), 198-209. https://doi.org/10.1111/cdev.12571

Waters, H. S., & Waters, E. (2006). The attachment working models concept: Among other things, we build script-like representations of secure base experiences. Attachment & Human Development, 8(3), 185-197.

Published
2021-05-05
How to Cite
González-RomeroN., Gutiérrez-RomeroM. F., Molina RíosJ. A., Mesa-HoyosT., & Carbonell BlancoO. A. (2021). Design and Validation of the Instrument to Assess Narrative Quality in Fictional Oral Stories Created with Attachment Script Assessment. Íkala, 26(2), 385-402. https://doi.org/10.17533/udea.ikala.v26n2a07
Section
Case Studies