Retroalimentación formativa en la escritura de tesis en posgrado: Comparación entre ChatGPT y revisores pares en un círculo de escritura
DOI:
https://doi.org/10.35575/rvucn.n74a6Palabras clave:
ChatGPT, Escritura, Inteligencia artificial, Posgrado, RetroalimentaciónResumen
La evaluación formativa en escritura académica es reconocida por su potencial tanto para la mejora de los textos como para el desarrollo de los escritores. Este artículo evalúa los efectos de la retroalimentación proporcionada por ChatGPT y por revisores pares a la escritura de introducciones de tesis en un círculo de escritura en posgrado. Se llevó a cabo una investigación de enfoque mixto, con un diseño concurrente de alcance exploratorio. La recolección de información incluyó 12 borradores de texto, los comentarios de los pares y de ChatGPT a partir de rúbricas, las versiones ajustadas de las introducciones y las percepciones de los participantes sobre la calidad, pertinencia e impacto de la retroalimentación. Los resultados mostraron congruencia entre las calificaciones proporcionadas por ambas fuentes y aceptación de la mayoría de las sugerencias. Se identificó que ChatGPT se centró en la estructura del texto y en aspectos estilísticos, mientras que los pares se enfocaron en los contenidos y en la viabilidad de las propuestas de investigación. Los hallazgos evidencian el potencial educativo de ChatGPT en la personalización del aprendizaje de la escritura al proporcionar apoyos eficientes y oportunos, y lo sitúan como una estrategia complementaria a la retroalimentación humana.
Descargas
Referencias
Abreu, J. (2015). Síndrome Todo Menos Tesis (TMT). All But Thesis Syndrome. Daena: International Journal of Good Conscience, 10(2), 246-259. http://www.spentamexico.org/v10-n2/A14.10(2)246-259.pdf
Aitchison, C. (2009). Research Writing Groups [Grupos de redacción de Investigaciones]. In J. Higgs, D. Horsfall, & S. Grace (Eds.), Writing Qualitative Research on Practice (pp. 253-263). Sense.
Aitchison, C., & Guerin, C. (2014). Writing Groups for Doctoral Education and Beyond: Innovations in Practice and Theory [Grupos de redacción para la educación doctoral y más allá: innovaciones en la práctica y la teoría]. Routledge.
Algaraady, J., & Mahyoob, M. (2023). ChatGPT's Capabilities in Spotting and Analyzing Writing Errors Experienced by EFL Learners [Capacidades de ChatGPT para detectar y analizar errores de escritura experimentados por estudiantes de inglés como lengua extranjera]. Arab World English Journal (AWEJ) Special Issue on CALL, (9), 3-17. https://dx.doi.org/10.24093/awej/call9.1
Atlas, S. (2023). ChatGPT for Higher Education and Professional Development: A Guide to Conversational AI [ChatGPT para la educación superior y el desarrollo profesional: una guía para la IA conversacional]. College of Business Faculty Publications. https://digitalcommons.uri.edu/cba_facpubs/548
Banihashem, S. K., Kerman, N. T., Noroozi, O., Moon, J., & Drachsler, H. (2024). Feedback sources in essay writing: peer-generated or AI-generated feedback? [Fuentes de retroalimentación en la redacción de ensayos: ¿retroalimentación generada por pares o por IA?]. International Journal of Educational Technology in Higher Education, 21(1), 1-15. https://doi.org/10.1186/s41239-024-00455-4
Barton, D., & Hamilton, M. (2004). La literacidad entendida como práctica social. En V. Zavala, M. Niño-Murcia, & P. Ames (Eds.), Escritura y sociedad. Nuevas perspectivas teóricas y etnográficas (pp. 109-139). Red para el desarrollo de las ciencias sociales en el Perú.
Barton, D., & Lee, C. (2013). Language Online: Investigating Digital Texts and Practices [Lenguaje en línea: Investigación de textos y practices digitales]. Routledge.
Biermann, O. C., Ma, N. F., & Yoon, D. (2022). From tool to companion: Storywriters want AI writers to respect their personal values and writing strategies [De herramienta a compañero: los guionistas quieren que los escritores de IA respeten sus valores personales y sus estrategias de escritura]. Designing Interactive Systems Conference. https://dl.acm.org/doi/10.1145/3532106.3533506
Carlson, M., Pack, A., & Escalante, J. (2023). Utilizing OpenAI's GPT‐4 for written feedback [Utilizando GPT-4 de OpenAI para comentarios escritos]. TESOL Journal, 15(2), 1-7, https://doi.org/10.1002/tesj.759
Cassany, D. (2023). Metáforas sospechosas. Charlas mestizas sobre la escritura. Anagrama.
Castillo-González, W. (2023). The importance of human supervision in the use of ChatGPT as a support tool in scientific writing [La importancia de la supervisión humana en el uso de ChatGPT como herramienta de apoyo en la escritura científica]. Metaverse Basic and Applied Research, 2(29). https://doi.org/10.56294/mr202329
Castro, Y. (2024). Factores relacionados al estado Todo-Menos-Tesis en la formación de grado de odontólogos de una universidad peruana. Revista de Investigación e Innovación en Ciencias de la Salud, 6(2), 204-218. https://doi.org/10.46634/riics.291
Colombo, L. M., Iglesias, A., Kiler, M., & Saez, V. (2022). Grupos de escritura en el postgrado: experiencias de tesistas: Experiencias de tesistas. Espacios en blanco, Revista de Educación, 1(32), 163-172. https://doi.org/10.37177/UNICEN/EB32-322
Creswell, J., & Plano, V. L. (2018). Designing and conducting mixed methods research [Diseñar y realizar investigaciones con métodos mixtos]. Sage Publications.
Cuevas-Solar, D., & Arancibia, B. (2020). Percepciones y expectativas de docentes de ingeniería y educación en torno a la retroalimentación en tareas de escritura. Formación universitaria, 13(4), 31-44. https://dx.doi.org/10.4067/S0718-50062020000400031
Cuthbert, D., Spark, C., & Burke, E. (2009). Disciplining writing: The case for multi-disciplinary writing groups to support writing for publication by higher degree by research candidates in the humanities, arts, and social sciences [Disciplinar la escritura: el caso de los grupos de escritura multidisciplinarios para apoyar la escritura para publicación de grado superior por parte de candidatos a investigación en humanidades, artes y ciencias sociales.]. Higher Education Research & Development, 28(2), 137-149. https://doi.org/10.1080/07294360902725025
Dai, W., Lin, J., Jin, F., Li, T., Tsai, Y., Gasevic, D., & Chen, G. (2023). Can Large Language Models Provide Feedback to Students? A Case Study on ChatGPT [¿Pueden los modelos de lenguaje grandes proporcionar retroalimentación a los estudiantes? Un estudio de caso sobre ChatGPT]. https://doi.org/10.35542/osf.io/hcgzj
Dergaa, I., Chamari, K., Zmijewski, P., & Ben Saad, H. (2023). From human writing to artificial intelligence generated text: examining the prospects and potential threats of ChatGPT in academic writing [De la escritura humana al texto generado por inteligencia artificial: examinando las perspectivas y amenazas potenciales de ChatGPT en la escritura académica]. Biology of Sport, 40(2), 615-622. https://doi.org/10.5114/biolsport.2023.125623
Ding, L., & Zou, D. (2024). Automated writing evaluation systems: A systematic review of Grammarly, Pigai, and Criterion with a perspective on future directions in the age of generative artificial intelligence [Sistemas automatizados de evaluación de escritura: una revisión sistemática de Grammarly, Pigai y Criterion con una perspectiva sobre las direcciones futuras en la era de la inteligencia artificial generative]. Education and Information Technology, 29, 14151-14203. https://doi.org/10.1007/s10639-023-12402-3
Escalante, J., Pack, A., & Barrett, A. (2023). AI-generated feedback on writing: insights into efficacy and ENL student preference [Comentarios generados por IA sobre la escritura: información sobre la eficacia y la preferencia de los estudiantes de ENL]. International Journal of Educational Technology in Higher Education, 20(1). https://doi.org/10.1186/s41239-023-00425-2
Espeche, M., Colombo, L., & Rodas, E. (2024). Un grupo de escritura virtual doctoral: factores que influyen en su funcionamiento según los participantes. Zona Próxima, (40), 43-65. https://doi.org/10.14482/zp.40.211.968
Farazouli, A., Cerratto, T., Bolander, K., & McGrath, C. (2023). Hello GPT! Goodbye home examination? An exploratory study of AI chatbots impact on university teachers’ assessment practices [¡Hola GPT! ¿Adiós examen domiciliario? Un estudio exploratorio del impacto de los chatbots de IA en las prácticas de evaluación de los docentes universitarios]. Assessment and Evaluation in Higher Education, 1-13. https://doi.org/10.1080/02602938.2023.2241676
Farrokhnia, M., Banihashem, S. K., Noroozi, O., & Wals, A. (2023). A SWOT analysis of ChatGPT: Implications for educational practice and research [Un análisis FODA de ChatGPT: implicaciones para la práctica y la investigación educativas]. Innovations in Education and Teaching International, 1-15. https://doi.org/10.1080/14703297.2023.2195846
Godoy, A., & Damián Ferro, M. (2021). Baja graduación en posgrados: aplicabilidad y validez de los conceptos y categorías de Pierre Bourdieu para el análisis e interpretación de una carrera de Maestría. Acta Sociológica, (82), 105-133. https://doi.org/10.22201/fcpys.24484938e.2020.82.79453
Gómez, M., & Alzate, M. (2018). Persistencia en los estudios de doctorado: revisión de literatura. Voces y Silencios. Revista Latinoamericana de Educación, 9(2), 107-125. https://doi.org/10.18175/vys9.2.2018.07
Graham, S. (2018). Changing how writing is taught [Cambiando la forma en que se enseña la escritura]. Review of Research in Education, 43(1). https://doi.org/10.3102/0091732X18821125
Guo, K., & Wang, D. (2024). To resist it or to embrace it? Examining ChatGPT’s potential to support teacher feedback in EFL writing [¿Resistirlo o abrazarlo? Examinando el potencial de ChatGPT para respaldar la retroalimentación de los docentes en la escritura de inglés como lengua extranjera]. Educ Inf Technol, 29, 8435-8463. https://doi.org/10.1007/s10639-023-12146-0
Guo, Y., & Lee, D. (2023). Leveraging ChatGPT for Enhancing Critical Thinking Skills. Journal of Chemical Education, 100(12), 4876-4883. https://doi.org/10.1021/acs.jchemed.3c00505
Hackl, V., Müller, A. E., Granitzer, M., & Sailer, M. (2023). Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings. ArXiv. http://arxiv.org/abs/2308.02575
Herbold, S., Hautli-Janisz, A., Heuer, U., Kikteva, Z., & Trautsch, A. (2023). A large-scale comparison of human-written versus ChatGPT-generated essays [Una comparación a gran escala de ensayos escritos por humanos versus ensayos generados por ChatGPT]. Scientific Reports, 13(1), 1-11. https://doi.org/10.1038/s41598-023-45644-9
Hill-Yardin, E., Hutchinson, M., Laycock, R., & Spencer, S. (2023). A Chat (GPT) about the future of scientific publishing [Una charla (GPT) sobre el futuro de la publicación científica]. Brain Behav Immun, (110), 152-154. https://doi.org/10.1016/j.bbi.2023.02.022
Hsiao, Y.-P., Klijn, N., & Chiu, M.-S. (2023). Developing a framework to re-design writing assignment assessment for the era of Large Language Models [Desarrollar un marco para rediseñar la evaluación de tareas de escritura para la era de los modelos de lenguaje grandes]. Learning Research and Practice, 9(2), 148-158. https://doi.org/10.1080/23735082.2023.2257234
Imran, M., & Almusharraf, N. (2023). Analyzing the role of ChatGPT as a writing assistant at higher education level: A systematic review of the literature [Análisis del papel de ChatGPT como asistente de redacción en el nivel de educación superior: una revisión sistemática de la literatura]. Contemporary Educational Technology, 15(4), Article e464. https://doi.org/10.30935/cedtech/13605
Jiang, Z., Xu, Z., Pan, Z., He, J., & Xie, K. (2023). Exploring the role of artificial intelligence in facilitating assessment of writing performance in second language learning [Explorando el papel de la inteligencia artificial para facilitar la evaluación del desempeño en escritura en el aprendizaje de una segunda lengua]. Languages, 8(4), 1-16. https://doi.org/10.3390/languages8040247
Lillis, T., & Scott, M. (2015). Defining academic literacies research: issues of epistemology, ideology and strategy [Definición de la investigación sobre alfabetizaciones académicas: cuestiones de epistemología, ideología y estrategia]. Journal of Applied Linguistics and Professional Practice, 4(1), 5-32. https://doi.org/10.1558/japl.v4i1.5
Lillo-Fuentes, F., Venegas, R., & Lobos, I. (2023). Evaluación automatizada y semiautomatizada de la calidad de textos escritos: una revisión sistemática. Perspectiva Educacional, 62(2), Artículo 1420. https://dx.doi.org/10.4151/07189729-Vol.62-Iss.2-Art.1420
Lozić, E., & Štular, B. (2023). Fluent but not factual: A comparative analysis of ChatGPT and other AI chatbots’ proficiency and originality in scientific writing for humanities [Fluido pero no objetivo: un análisis comparativo de la competencia y originalidad de ChatGPT y otros chatbots de IA en la escritura científica para humanidades]. Future Internet, 15(10), 1-26. https://ideas.repec.org/a/gam/jftint/v15y2023i10p336-d1259029.html
Meyer, J. G., Urbanowicz, R. J., Martin, P. C. N., O’Connor, K., Li, R., Peng, P.-C., Bright, T. J., Tatonetti, N., Won, K. J., Gonzalez-Hernandez, G., & Moore, J. H. (2023). ChatGPT and large language models in academia: Opportunities and challenges [ChatGPT y grandes modelos lingüísticos en el mundo académico: oportunidades y desafíos]. BioData Mining, 16(20). https://doi.org/10.1186/s13040-023-00339-9
Mizumoto, A., & Eguchi, M. (2023). Exploring the potential of using an AI language model for automated essay scoring [Explorando el potencial del uso de un modelo de lenguaje de IA para la puntuación automatizada de Ensayos]. Research Methods in Applied Linguistics, 2(2), Article 100050. https://doi.org/10.1016/j.rmal.2023.100050
Molina, V., & López-Gil, K. (2020). Estado de la cuestión de los centros y programas de escritura en Latinoamérica. Revista Colombiana de Educación, 78, 97-119. http://doi.org/10.17227/rce.num78-8066
Naismith, B., Mulcaire, P., & Burstein, J. (2023). Automated evaluation of written discourse coherence using GPT-4 [Evaluación automatizada de la coherencia del discurso escrito utilizando GPT-4]. In E. Kochmar, J. Burstein, A. Horbach, R. Laarmann-Quante, N. Madnani, A. Tack, V. Yaneva, Z. Yuan, & T. Zesch (Eds.), Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023) (pp. 394-403). Association for Computational Linguistics.
Narciss, S., & Zumbach, J. (2020). Formative Assessment and Feedback Strategies [Evaluación formativa y estrategias de retroalimentación]. Springer International Publishing.
Nazar, R., & Renau, I. (2023). Estilector: un sistema de evaluación automática de la escritura académica en castellano. Perspectiva Educacional, 62(2), 37-59. https://dx.doi.org/10.4151/07189729-vol.62-iss.2-art.1427
Núñez, J. A., & da Cunha, I. (2022). El impacto del uso de herramientas automáticas de ayuda a la redacción en el proceso de escritura de estudiantes universitarios. Círculo de Lingüística Aplicada a la Comunicación, 89, 131-144. https://doi.org/10.5209/clac.73906
Odena, O., & Burgess, H. (2017). How doctoral students and graduates describe facilitating experiences and strategies for their thesis writing learning process: A qualitative approach [Cómo estudiantes y graduados de doctorado describen experiencias y estrategias facilitadoras para su proceso de aprendizaje en la redacción de tesis: un enfoque cualitativa]. Studies in Higher Education, 42(3), 572-590. https://doi.org/10.1080/03075079.2015.1063598
OpenAI. (2023). GTP-4 Research. https://openai.com/research/gpt-4
Pugsley, L. (2018). Focus groups, young people and sex education [Grupos focales, jóvenes y educación sexual]. In Gender and Qualitative Research (pp. 114-130). Routledge.
Rob, R. (2023). ChatGPT in Higher Education: Artificial Intelligence and its Pedagogical Value [ChatGPT en la educación superior: la inteligencia artificial y su valor pedagógico]. Pressbook.
Rodas, F., & Pacheco, P. (2020). Grupos focales: marco de referencia para su implementación. INNOVA Research Journal, 5(3), 182-195. https://doi.org/10.33890/innova.v5.n3.2020.1401
Steiss, J., Tate, T., Graham, S., Cruz, J., Hebert, M., Wang, J., & Olson, C. B. (2024). Comparing the quality of human and ChatGPT feedback of students’ writing [Comparación de la calidad de los comentarios humanos y ChatGPT sobre la escritura de los estudiantes]. Learning and Instruction, 91, Article 101894. https://doi.org/10.1016/j.learninstruc.2024.101894
Street, B. (2017). New Literacies, New Times: Developments in Literacy Studies [Nuevas literacidades, nuevos tiempos: Avances en los Estudios de Literacidad]. In B. V. Street & S. May (Eds.), Literacies and Language Education (pp. 3-15). Springer International Publishing.
Strobl, C., Ilhaud, E., Benetos, K., Devitt, A., Kruse, O., Proske, A., & Rapp, C. (2019). Digital support for academic writing: A review of technologies and pedagogies [Soporte digital para la escritura académica: una revisión de tecnologías y pedagogías]. Computers & Education, 131, 33-48. https://doi.org/10.1016/j.compedu.2018.12.005
Sun, G. H., & Hoelscher, S. H. (2023). The ChatGPT storm and what faculty can do [La tormenta ChatGPT y lo que los profesores pueden hacer]. Nurse Educator, 48(3), 119-124. https://doi.org/10.1097/nne.0000000000001390
Tajik, E., & Tajik, F. (2024). A Comprehensive Examination of the Potential Application of Chat GPT in Higher Education Institution [Un examen exhaustivo de la posible aplicación de Chat GPT en instituciones de educación superior]. Social Science Research Network. http://dx.doi.org/10.2139/ssrn.4699304
Tambunan, A. R. S., Andayani, W., Sari, W. S., & Lubis, F. K. (2022). Investigating EFL students’ linguistic problems using Grammarly as automated writing evaluation feedback [Investigar los problemas lingüísticos de los estudiantes de inglés como lengua extranjera utilizando Grammarly como retroalimentación de evaluación de escritura automatizada]. Indonesian Journal of Applied Linguistics, 12(1), 16-27. https://doi.org/10.17509/IJAL.V12I1.46428
Tzirides, A., Saini, A., Zapata, G., Searsmith, D., Cope, B., Kalantzis, M., Castro, V., Kourkoulou, T., Jones, J., Abrantes, R., Whiting, J., & Polyxeni, N. (2023). Generative AI: Implications and Applications for Education [IA generativa: implicaciones y aplicaciones para la educación]. arXiv. https://arxiv.org/pdf/2305.07605
Wentzel, A. (2018). A guide to argumentative research writing and thinking: Overcoming challenges [Una guía para la redacción y el pensamiento de investigaciones argumentativas: superando desafíos]. Routledge.
Yeşilyurt, Y. E., & Sezgin, S. (2023). Automated Writing Evaluation with a Large Pre-Trained Language Model a Preliminary Study [Evaluación de escritura automatizada con un gran modelo de lenguaje previamente entrenado: un estudio preliminar]. SSRN. http://dx.doi.org/10.2139/ssrn.4545244
Zhai, N., & Ma, X. (2023). The Effectiveness of Automated Writing Evaluation on Writing Quality: A Meta-Analysis [La eficacia de la evaluación automatizada de la escritura sobre la calidad de la escritura: un metanálisis]. Journal of Educational Computing Research, 61(4), 875-900. https://doi.org/10.1177/07356331221127300
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2025 Revista Virtual Universidad Católica del Norte
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
