Introducción

Las Pruebas Estandarizadas (PE) siguen procedimientos estándar, de aptitud y de logros (Popham, 1999). En Colombia, la evaluación estatal de los procesos educativos mide la eficiencia de la enseñanza a través de PE, como Saber 11 y Saber PRO. Los resultados de estas evaluaciones son útiles para determinar la formación de profesionales integrales, el valor agregado (VA) que ofrecen las instituciones de educación superior -IES-, y para generar compromisos de cooperación interinstitucional que mejoren la educación colombiana (Monroy Mateus et al., 2018). El Instituto Colombiano para la Evaluación de la Educación (ICFES) recoge información personal, familiar, académica y socioeconómica de quienes presentan estas pruebas, además de los resultados de las competencias evaluadas. Contar con estos datos generó la primera de tres preguntas de investigación para este estudio; esta primera pregunta orientó la fase cuantitativa de este estudio mixto secuencial:

¿Cuáles son las diferencias y relaciones estadísticamente significativas entre los resultados de los estudiantes de la Licenciatura en Música en Saber Pro entre 2015 y 2019, sus resultados de Saber 11, y sus características personales, familiares, socioeconómicas y académicas?

Este estudio no se detiene en el análisis estadístico. La evidencia en la literatura acerca de cómo en Colombia se ha extraído esta información con base en la analítica de aprendizaje (AdA) o la minería de datos educativos (MDE) es limitada; estos campos de investigación analizan datos sobre estudiantes y sus contextos para optimizar el proceso educativo (Gašević et al., 2015; Tsai & Gasevic, 2017) o la calidad de este (Aldowah et al., 2019), y extraen información significativa de grandes conjuntos de datos (Rao et al., 2019), generando conocimientos educativos procesables (Ochoa & Wise, 2021) que pueden llevarse a la práctica (Jørnø & Gynther 2018; Siemens 2012). En cuanto a la relación entre las dos pruebas se encuentra que en Colombia son escasos los estudios al respecto (Isáziga David et al., 2014; Monroy Mateus et al., 2018; Rodríguez Sandoval & Vilchez Pirela, 2017). La evidencia sobre el uso que se le da a estos datos al interior de los programas y al interior de las instituciones de educación superior es limitada. Más aún, si se trata de potenciar la toma pedagógica de decisiones, desde la argumentación y no desde la intuición, sobre las estrategias para mejorar los resultados de aprendizaje esperado. Esta situación generó la segunda pregunta de investigación, la cual orienta la fase cualitativa de este estudio mixto secuencial:

¿Cuáles son las acciones y estrategias que pueden incluirse en el plan de mejoramiento del programa, luego de conocer el resultado de las relaciones y diferencias encontradas entre las características de los estudiantes y los resultados en Saber Pro y Saber 11 y, las encontradas entre las dos pruebas?

Este estudio mixto secuencial busca ofrecer a las comunidades científicas y académicas de las licenciaturas y de la Educación Superior, insumos para enfocar la investigación no sólo en el análisis estadístico de los resultados obtenidos en Saber 11 y Saber Pro, sino también en la relación que tienen los resultados con los datos obtenidos por el ICFES sobre las características personales, familiares, socioeconómicas y académicas de los estudiantes que presentan la prueba. Además, busca ofrecer a los programas de licenciatura (formación de maestras y maestros) insumos y argumentos que dan respuesta a las exigencias del Ministerio de Educación Nacional (MEN) relacionadas con los procesos de evaluación de las condiciones de calidad de los programas para otorgar el Registro Calificado, como los establecidos en la Resolución 18583 de 2017, específicamente en el literal b del numeral 2.3 Componente de Pedagogía: “la comprensión del contexto y de las características (...) de los estudiantes a partir del reconocimiento de las particularidades de los sujetos”.

Por otro lado, también ofrece insumos para dar respuesta a las condiciones de Acreditación de Calidad de los programas, específicamente en el Factor 5. Estructura y procesos académicos (Consejo Nacional de Acreditación [CNA], 2021).

Exponer el resultado del análisis estadístico de los resultados y la relación existente entre estos datos y las características de los estudiantes a los profesores de la licenciatura, puede ayudar a establecer, en conjunto con los profesores del programa, acciones que hagan parte de estrategias para fortalecer los procesos formativos desde la calidad, la equidad educativa y la justicia social con los estudiantes. Teniendo en cuenta lo anterior, la tercera pregunta de esta investigación es ¿Cómo perciben los profesores del Programa de Licenciatura en Música la utilidad del análisis estadístico de los resultados de pruebas estandarizadas como Saber 11, Saber Pro, y la relación entre los puntajes y las características personales, familiares, socioeconómicas y académicas de los estudiantes?

A continuación, se presenta el marco teórico donde se aborda el sentido, las características y la estructura de las pruebas Saber 11 y Saber Pro, el uso de las pruebas estandarizadas, factores que inciden en los resultados de aprendizaje, la minería de datos educativos (MDE) y la analítica de aprendizaje (AdA) como enfoques para el análisis de datos, y la propuesta de acciones pedagógicas con base en la reflexión. En la metodología se describe lo realizado en las fases cuantitativa, cualitativa y de integración de este estudio mixto secuencial exploratorio y el procedimiento en cada una. A continuación, se exponen los resultados de las fases abordadas. En el apartado de discusión se identifican los puntos de encuentro y desencuentro de la integración de los resultados con la literatura. Finaliza el texto con la presentación de las conclusiones, recomendaciones y sugerencias para la investigación futura.

Marco teórico

Para consolidar este estudio se tuvieron en cuenta el sentido, las características y la estructura de las pruebas Saber 11 y Saber Pro, el uso de las pruebas estandarizadas, factores que inciden en los resultados de aprendizaje, la minería de datos educativos (MDE) y la analítica de aprendizaje (AdA) como enfoques para el análisis de datos, y la propuesta de acciones pedagógicas con base en la reflexión.

En Colombia, el Congreso de la República con la Ley 1324 de 2009 regula los parámetros y criterios para organizar el sistema de evaluación de resultados de la calidad de la educación. A través de esta Ley establece los exámenes de estado para el mejoramiento de la calidad de la educación. Estas pruebas se constituyen en el requisito para evaluar formalmente la educación formal de la educación media y de la educación superior, y son aplicadas por el Instituto Colombiano para la Evaluación de la Calidad de la Educación (ICFES).

Las pruebas evalúan aptitudes y logros de los estudiantes, aportan información en relación con las características sociodemográficas y de organización universitaria, entre otras, que inciden en el avance del aprendizaje, teniendo en cuenta los procesos, los desempeños y no solo las prácticas en momentos específicos de la actividad académica. Entre los principios rectores de la evaluación de la educación están promover la participación creciente de la comunidad educativa, reconocer las desigualdades existentes en los contextos de aprendizaje, y promover la realización de ejercicios cualitativos de forma paralela a los cuantitativos (Ley 1324 de 2009).

La prueba Saber Pro evalúa oficialmente la educación formal a quienes terminan los programas de pregrado en las instituciones de educación superior, y la prueba Saber 11 es una evaluación estandarizada que mide el desarrollo de las competencias de los estudiantes que están por finalizar la educación media (Ley 1324 de 2009).

En cuanto a la estructura de las pruebas, la prueba Saber 11 evalúa Matemáticas mediante una primera sesión de 18 preguntas y una segunda sesión de 20; lectura crítica mediante 28 preguntas, solo en la primera sesión; Sociales y ciudadanía mediante primera sesión de 18 preguntas y segunda sesión de 16; Ciencias naturales mediante una primera sesión de 22 preguntas y una segunda sesión de 20; inglés mediante 35 preguntas en la segunda sesión. Además, se incluye un cuestionario de información socioeconómica con una primera sesión de 11 preguntas y la segunda sesión de 13.

La Prueba Saber Pro evalúa: Comunicación Escrita mediante 1 pregunta; Razonamiento Cuantitativo mediante 35 preguntas; Lectura Crítica mediante 35 preguntas; Competencias Ciudadanas mediante 35 preguntas; Inglés mediante 55 preguntas. Se incluye un cuestionario Socioeconómico con 17 preguntas. Son 178 preguntas en total, tiempo estimado: 4 horas y 20 minutos.

El uso de pruebas estandarizadas ha sido objeto de estudio desde un enfoque crítico. En primera medida, se propone evitar la presentación de conclusiones falsas si se usan como indicador de eficacia educativa (Popham, 1999), considerando la diversidad y la desigualdad de los contextos (Rodríguez Sandoval & Vilchez Pirela, 2017). En el diseño de pruebas deberían participar las IES (Chacón Benavidez et al., 2018), ya que corresponde a todos los actores educativos planear acciones de mejoramiento y fortalecer las debilidades con base en estos datos (Cifuentes Medina et al., 2019). Los resultados de las pruebas deben verse como insumos para generar compromisos de cooperación interinstitucional y así mejorar la educación colombiana (Monroy Mateus et al., 2018).

Para el desarrollo de esta investigación se tienen en cuenta las Pruebas nacionales estandarizadas Saber 11 y Saber Pro, dado que revisan las competencias adquiridas, los índices de valor agregado, y son fuente de información para generar políticas educativas (Isáziga David et al., 2014); también identifican grupos de población con necesidades de mejoras educativas, factores que impactan el desarrollo de los estudiantes, cambios o progresos en el nivel educativo, factores de contexto y condiciones socioeconómicas de los participantes, conocimientos, habilidades, competencias, actitudes y áreas de mejora para el desarrollo académico (Calderón Aldana & González Citelly, 2018). Además, aporta fiabilidad que en su elaboración participa personal especializado en el desarrollo de instrumentos de evaluación; psicólogos expertos en medición y psicometría y especialistas en currículo, cumpliendo con los criterios establecidos por la comunidad académica y, así mismo, con evidencias que garanticen validez y confiabilidad en sus resultados (Backhoff Escudero, 2018).

En segundo lugar, es necesario tener en cuenta para este estudio, que los resultados no se deben únicamente al paso por la universidad, sino a muchos otros factores como los conocimientos previos al acceso a la educación superior (Santana Espitia, 2018), la resiliencia, la presencia de madres en el hogar, la lectura y la cultura (Dueñas Herrera et al., 2018; Gutiérrez Duque & Mayora Pernía, 2021); factores sociodemográficos, la calidad educativa, el entorno (Agudelo Álzate et al., 2019; Al-Tameemi et al., 2020), el capital cultural (Bourdieu, 1987), la inversión en las primeras fases de vida (Programa de las Naciones Unidas para el Desarrollo [PNUD], 2016), el género (Cárcamo Vergara & Mola Ávila, 2012) y también en el autoinforme de autorregulación del aprendizaje (Monge López et al., 2017).

Según el grado de compromiso social, el carácter público de las universidades también incide en lo académico (García Villegas & Quiroz López, 2011; López-Pino & Moncada-Jaimes, 2012); y otras condiciones que también deben ser tenidas en cuenta son la pobreza, el acceso a la tecnología y el tiempo de trabajo semanal (Calderón Aldana & González Citelly, 2018).

Es importante mencionar que puede no haber diferencias en los niveles socioeconómicos, ya que las variables que afectan a cada nivel no son iguales (Dueñas Herrera et al., 2018).

Teniendo en cuenta que el número de factores o variables que inciden en el desempeño académico o en los resultados de aprendizaje es amplio, es necesario usar herramientas que faciliten el análisis de los datos obtenidos. La analítica del aprendizaje (AdA) es un nuevo campo de práctica e investigación que mide, recopila y analiza los datos sobre los estudiantes y sus contextos para comprender y mejorar el aprendizaje (Gašević et al., 2015; Tsai & Gasevic, 2017) o la calidad del aprendizaje (Aldowah et al. 2019; Algarni, 2016). Requiere del abastecimiento, limpieza, transformación y análisis para extraer información significativa de los grandes conjuntos de datos existentes (Rao et al., 2019), con el fin de generar conocimientos educativos procesables (Ochoa & Wise, 2021) y que pueden llevarse a la práctica (Jørnø & Gynther, 2018; Siemens, 2012). La AdA genera nuevos conocimientos que usa para informar las prácticas de aprendizaje actuales, a diferencia de la investigación educativa tradicional que primero genera conocimiento generalizable y luego lo usa para mejorar la experiencia de los futuros estudiantes (Clow, 2012).

En un contexto educativo, donde el éxito de los estudiantes es un parámetro de calidad en la educación superior, las aplicaciones de minería de datos educativos (MDE) y AdA tienen la capacidad de influir en la enseñanza actual, así como en los modelos de aprendizaje; y esto se basa en que los principales objetivos de la investigación en MDE están relacionados con el modelado de la conducta, la mejora de las técnicas de evaluación, la disminución de la tasa de abandono, la recomendación de materiales de recursos basados en el aprendizaje previo, la medición del desempeño y la autorrealización (Patil & Gupta, 2019).

Los factores que inciden en el desempeño de los estudiantes como la edad, el lugar de nacimiento, la nacionalidad, las habilidades, motivaciones y actitudes frente al aprendizaje, las características sociodemográficas, el ambiente de aprendizaje, el desempeño del profesor, las características de la institución educativa, las asignaturas y su complejidad, el salón o el desempeño en promedio del estudiante (Al-Tameemi et al., 2020; Credé et al., 2010; Herodotou et al., 2019), en conjunto con las aplicaciones de MDE y AdA, pueden aportar a la comprensión del comportamiento de los estudiantes en un contexto determinado (Al-Tameemi et al., 2020). Para efectos de este estudio se contó con la base de datos que publica el ICFES, donde además de ofrecer los resultados y desempeños obtenidos en la Pruebas estandarizadas Saber PRO y Saber 11, se presenta información personal, familiar, socioeconómica y académica de las y los estudiantes de la Licenciatura en Música que presentaron la prueba.

Teniendo en cuenta que el éxito de los estudiantes es un parámetro de calidad en la educación superior, las aplicaciones de MDE y AdA tienen la capacidad de influir en los modelos de aprendizaje, la mejora de la evaluación, la disminución de la deserción, el diseño de materiales basados en el aprendizaje previo y el desempeño (Patil & Gupta, 2019). Además, si como afirman Toledo Lara (2022), lo que se forma en la universidad se evidencia en el desarrollo de la sociedad, es necesario que se promuevan los procesos y procedimientos que den cuenta de las características de los estudiantes y la articulación del profesorado en procesos de investigación cuantitativa para dar forma a acciones o estrategias de mejora, basadas en las decisiones que se pueden tomar después de analizar los datos (Ifenthaler & Schumacher, 2016; Ji et al., 2016; Jones, 2019; Ming Wong, 2017; Patwa et al., 2018; Sáenz-Castro et al., 2021) y que pueden afectar el currículo (Toledo Lara, 2022;). Por este motivo, este estudio se plantea con una metodología de investigación que facilite el análisis de los datos y la reflexión sobre los mismos entre los profesores, con el propósito de plantear las acciones estratégicas que faciliten la construcción del plan de mejoramiento, en beneficio de la atención a la diversidad, la justicia social y la equidad educativa. El diseño de investigación se describe a continuación.

Metodología

Se usó una investigación mixta, con diseño secuencial y exploratorio, como lo definen Creswell & Plano Clarck (2017), para recoger, analizar y mezclar métodos cuantitativos y cualitativos con el propósito de lograr una mayor comprensión del problema y las preguntas de investigación. Esta investigación inició con una fase cuantitativa que se basa en el análisis, estadístico descriptivo, de diferencias y de relaciones realizado a través del software de análisis estadístico JASP V. 0.14.1.0. Se tomó el resultado del análisis de la fase cuantitativa para preparar la fase cualitativa; se recogió información en la fase cualitativa, a través de un formulario en línea que se diligenció durante reunión con profesores de la Licenciatura en Música, a quienes se expuso, usando diapositivas, el análisis estadístico. Con la información escrita en el formulario en línea, se realizó un análisis temático usando la ruta propuesta por Braun y Clarke (2006): (1) transcribir los datos; (2) codificar y recoger información relevante; (3) definición de temas; (4) revisión de temas; (5) nombrar temas; y (6) producir el informe. Por último, se efectuó la integración de las dos fases y sus resultados para construir el apartado de discusión (ver Tabla 1).

Descripción Fase cuantitativa

La muestra de los resultados en la Prueba Saber Pro y la información personal, familiar, socioeconómica y académica de los 21 estudiantes del Programa de estudio se recogió de la siguiente manera:

Se descargó el archivo original que contenía los resultados nacionales de las Pruebas Saber Pro entre 2015 y 2019 (n = 1.266.077), los correspondientes a una universidad de la región suroccidental colombiana (n = 8580); luego, los resultados de quienes estaban matriculados en Programas de Licenciatura de la institución (n = 1.443); acto seguido, los estudiantes de Licenciatura en Música (n = 34); y finalmente se identificó la disponibilidad de datos Saber 11 (n = 21) de los mismos estudiantes. Una descripción de las variables usadas en este estudio se encuentra en el Apéndice A1 y en el Apéndice A2.

A partir de los datos seleccionados se identificaron las diferencias estadísticamente significativas (DES) entre los puntajes de la Prueba Saber Pro de la muestra. Para analizar los datos se usó el software estadístico JASP V. 0.14.1.0. Las variables (ver Apéndice 2) independientes fueron: (1) características personales, (2) familiares, (3) socioeconómicas, (4) académicas. Las variables dependientes fueron: (1) puntajes obtenidos Saber Pro, (2) puntajes obtenidos Saber 11. Los datos fueron integrados en el software y las variables organizadas. Se procesaron datos aislados y perdidos. El análisis descriptivo se realizó incluyendo frecuencias, valores de tendencia central y varianza. Dado el tamaño de la muestra, para hallar la diferencia estadísticamente significativa entre las medias de los puntajes obtenidos en las competencias genéricas evaluadas, al agrupar a los estudiantes por características, se usaron las pruebas no paramétricas de Mann-Whitney o de Kruskal-Wallis. Para identificar las correlaciones se usó la tau de Kendall. Lo mismo se hizo con los datos de Saber 11 de los mismos estudiantes. Por último, se identificaron las diferencias (Prueba de rangos con signo de Wilcoxon) y correlaciones (tau de Kendall) entre los puntajes de ambas pruebas.

Para llevar a cabo la fase cuantitativa se siguieron los pasos a continuación: a) se descargaron los datos de la plataforma DataIcfes y se cargaron en la interfaz de JASP; b) se realizó la estadística descriptiva de los datos y se exploró su integridad; c) se revisaron los supuestos de normalidad y se excluyeron los datos aislados; d) se tomaron los resultados obtenidos por los estudiantes en las competencias genéricas evaluadas en la Prueba Saber Pro y se describieron estadísticamente; e) se identificaron las diferencias estadísticamente significativas (DES) en las medias de los puntajes de la prueba Saber Pro al agrupar a los estudiantes por características (ver Apéndice A2); f) se identificaron las correlaciones entre los puntajes obtenidos en la prueba Saber Pro; g) se llevó a cabo el mismo procedimiento de análisis estadístico con los datos de Saber 11 (ver Apéndice A1); h) se identificaron las DES entre los resultados obtenidos en las dos pruebas por los mismos estudiantes, en aquellas competencias que tienen propósitos de evaluación similares; i) se identificó la correlación entre los resultados obtenidos en las dos pruebas por los mismos estudiantes, en aquellas competencias que tienen propósitos de evaluación similares.

El resultado del análisis estadístico de los datos se preparó para la Fase cualitativa de esta investigación mixta, como se describe a continuación.

Descripción Fase cualitativa

En la fase cualitativa se compartieron los resultados del análisis cuantitativo a un grupo de profesores de la Licenciatura objeto de estudio. La exposición del análisis de datos se hizo usando diapositivas. Esto permitió conocer sus apreciaciones al respecto y sus ideas encaminadas a mejorar los procesos formativos en el Programa. Se utilizó un muestreo intencional para reunir a un grupo de profesores de la Licenciatura: cuatro profesores de planta (entre ellos el coordinador del Programa y el jefe del departamento) y tres profesores ocasionales de tiempo completo, quienes pudieron expresar sus puntos de vista de manera abierta y transparente a través de la escritura de sus percepciones e ideas, en un formulario que se construyó para recoger la información de manera confidencial.

Los participantes fueron convocados por el jefe de departamento a petición del segundo autor. Los resultados de la fase cuantitativa fueron presentados a los participantes a través de diapositivas. Los objetivos del formulario fueron recoger las percepciones de los participantes sobre los resultados cuantitativos y explorar sus puntos de vista sobre la utilidad de estos resultados para impulsar acciones de mejora en el Programa. El formulario incluyó cada diapositiva usada en la exposición y la siguiente pregunta: Si usted fuera Coordinador(a) de la Licenciatura en Música o jefe del Departamento, ¿cómo usaría esta información para fortalecer el Proyecto Educativo del Programa?

Para llevar a cabo la Fase cualitativa se siguieron los pasos a continuación: a) se expuso el resultado del análisis estadístico de los datos a los profesores del Programa, usando diapositivas proyectadas; b) a través de un formulario en línea se recogieron las percepciones individuales sobre la información expuesta y las propuestas de acción para la mejora del Programa. Las y los profesores tuvieron acceso al formulario en línea y a cada diapositiva durante la exposición del análisis: c) las percepciones registradas se descargaron y se prepararon para llevar a cabo el análisis temático de los datos (Braun & Clarke, 2006).

Los resultados del análisis temático se presentan en el apartado de Resultados.

Fase de integración

En la fase de integración se tomaron los resultados de la fase cuantitativa, la fase cualitativa y la literatura revisada, para encontrar los puntos de encuentro y desencuentro. Con esta información se construyó el apartado Discusión.

Resultados

Fase cuantitativa

La Fase cuantitativa buscó responder la pregunta: ¿Cuáles son las diferencias y relaciones estadísticas entre los puntajes de los estudiantes de la Licenciatura en Saber Pro entre 2015 y 2019, sus resultados de Saber 11, y sus características personales, familiares, socioeconómicas y académicas? Para encontrar las respuestas se llevaron a cabo los pasos descritos en la metodología (ver Tabla 1).

Descripción estadística de los datos analizados Saber Pro

Los datos analizados pertenecen a 21 estudiantes de Licenciatura en Música de una universidad pública en la zona suroccidental del país, que nacieron entre 1989 y 1997, y presentaron la Prueba Saber Pro entre 2015 y 2019. De estos estudiantes, 85,7 % son de género masculino; 33,3 % de los padres y 33,3 % de las madres de los estudiantes tienen Bachillerato completo. El 23,8 % de los padres de los estudiantes es pensionado, mientras que el 23,8% de las madres permanece en el hogar. El 95,2% de los estudiantes reside en el Cauca, de ellos el 76,2% reside en Popayán. El 38,1 % en estrato 1, el 23,8 % no posee computador, el 52,4 % no cuenta con lavadora en su hogar, el 66,7 % no posee horno, y el 95,2 % no tiene automóvil. El 23,8 % trabajó menos de 20 horas semanales. En cuanto a la matrícula, el 90,5 % pagó menos de $ 500.000, al 68,4 % sus padres le pagaron y el 58,8 % pagó su propia matrícula. El 45 % cursaba noveno semestre cuando presentó la Prueba. Estos porcentajes permiten conocer algunas de las características personales, familiares, socioeconómicas y académicas de la población analizada. Más adelante se muestra si estas características tienen relación o no con los resultados obtenidos. En cuanto a los puntajes obtenidos, la Tabla 2 muestra que Lectura crítica y Razonamiento cuantitativo tienen las más alta y baja media, respectivamente.

La Tabla 3 muestra las diferencias estadísticamente significativas (DES) encontradas cuando se agrupó a los estudiantes por características. Solo las siguientes características evidenciaron DES en las medias de los puntajes obtenidos en las competencias que están entre paréntesis: municipio de residencia (Lectura Crítica); estrato (Razonamiento cuantitativo, Competencias ciudadanas); lavadora (Razonamiento cuantitativo, Inglés); período prueba (Razonamiento cuantitativo, Lectura Crítica, Competencias ciudadanas, Inglés). Llama la atención que el periodo de presentación de la prueba muestra DES en los puntajes obtenidos por los estudiantes en cuatro de las cinco competencias evaluadas. También, llama la atención que el municipio de residencia, el estrato y el tener o no lavadora señalan DES.

La Tabla 4 muestra la correlación entre los puntajes obtenidos en las competencias evaluadas en Saber Pro. RC: Razonamiento cuantitativo; LC: Lectura crítica; Cc: Competencias ciudadanas; I: Inglés; Ce: Comunicación escrita. Existen correlaciones muy fuertes (RC-I; LC- Cc), fuertes (RC-LC; RC- Cc) y débiles, aunque significativas (LC-I; Cc-I). Estas correlaciones son un insumo para investigaciones futuras, que podrían indagar sobre las causas.

Descripción estadística de los datos analizados Prueba Saber 11

En cuanto a los datos analizados de la Prueba Saber 11, se muestran a continuación las características de los estudiantes, las diferencias estadísticamente significativas en las medias de los puntajes obtenidos por competencia y la correlación entre los puntajes.

De los 21 estudiantes, el 46,7 % de sus padres y el 40 % de las madres cuenta con Bachillerato. El 40 % de los padres son empleados a nivel técnico profesional y el 50 % de las madres permanece en casa. En el 40 % de los hogares conviven cuatro personas. El 26,7 cuenta con hogares de tres habitaciones. El 23,8 % está fuera del Cauca, el 61,9 % está fuera de Popayán y el 13,3 % es de zona rural. El 40 % pertenece al estrato 1, el 60 % no posee internet; el 13,3 % no cuenta con celular; el 60 % no cuenta con computador; el 66,7 % no tiene televisión; el 71,4 % no cuenta con lavadora; el 71,4 % no tiene horno; el 93,3 % no posee automóvil; el 40 % no tiene DVD. El 75 % de los estudiantes no paga pensión; el 95,2 % es del calendario A, en colegio mixto; el 76,2 % pertenece a un colegio oficial; el 76,2 % estudia en la jornada de la mañana y el 42,9 % estudia en un colegio académico. Como se muestra en la Tabla 5, Matemáticas e Inglés tienen las más alta y baja media, respectivamente, en Saber 11.

En comparación con lo encontrado en Saber Pro, mientras la media en Matemáticas (Saber 11) obtuvo el mayor valor entre las competencias evaluadas, la media de Razonamiento cuantitativo (Saber Pro) fue la más baja.

La Tabla 6 muestra que existe una diferencia estadísticamente significativa en los puntajes obtenidos en Matemáticas, al agrupar a los estudiantes por área de residencia o por servicio de celular. A pesar de desconocer la razón de estas diferencias en las medias de los puntajes, esta información se convierte en insumo para investigaciones posteriores que permitan explorar las razones por las cuales el área de residencia, y contar o no con servicio de celular, marcan diferencias significativas en los puntajes de Matemáticas. En relación con los datos de Saber Pro, mientras el municipio de residencia marcó una DES en Lectura crítica, en Saber 11 es el área de residencia la que marca una DES en Matemáticas. Mientras que en Saber Pro el servicio de lavadora marcó DES, en Saber 11 es el servicio de celular.

La Tabla 7 muestra que existen correlaciones fuertes (LC-Sc) y débiles, aunque significativas (LC- M; M-I), entre los puntajes obtenidos en la Prueba Saber 11. La correlación entre Lectura crítica y Competencias Sociales y Ciudadanas que se observa con los datos de Saber 11, se identifica también con mayor fuerza en los resultados de Saber Pro, entre Lectura crítica y Competencias ciudadanas. La correlación entre Lectura Crítica y Matemáticas que se observa con los datos de Saber 11, se identifica con mayor fuerza en los resultados de Saber Pro, entre Lectura crítica y Razonamiento cuantitativo. La correlación entre Matemáticas e Inglés que se observa con los datos de Saber 11, se identifica con mayor fuerza en los resultados de Saber Pro, entre Razonamiento cuantitativo e Inglés.

Diferencia estadísticamente significativa entre las medias de las dos pruebas

Para identificar las diferencias estadísticamente significativas (DES) en las medias de los puntajes obtenidos, se usó la prueba de rangos con signo de Wilcoxon. La Tabla 8 muestra que existe una DES entre el puntaje obtenido en Razonamiento cuantitativo, en Saber Pro, y el puntaje obtenido en Matemáticas, en Saber 11; la diferencia significativamente superior la tiene la Prueba Saber 11. En las otras competencias evaluadas no se identifica una DES lo que invita a revisar en el futuro las razones asociadas a esta situación, dado que lo que se espera es que el paso por la educación superior marque diferencias estadísticamente significativas con medias superiores a las obtenidas en Saber 11.

Nota. Prueba de rangos con signo de Wilcoxon.

Correlaciones entre las competencias evaluadas en Saber 11 y Saber Pro

La Tabla 9 muestra con asteriscos dónde existe correlación fuerte, media y débil entre los puntajes de las competencias evaluadas. Los puntajes obtenidos en Saber Pro en las competencias Razonamiento cuantitativo y Lectura crítica están fuertemente correlacionados con los puntajes obtenidos en Saber 11, en la competencia Sociales y ciudadanas. Las correlaciones identificadas podrían plantear la posibilidad de trabajar de manera interdisciplinar.

Resultados Fase cualitativa

La fase cualitativa de la investigación responde a la segunda pregunta: ¿Cuáles son las acciones y estrategias que pueden incluirse en el plan de mejoramiento del Programa, luego de conocer el resultado de las relaciones y diferencias encontradas entre las características de los estudiantes y los resultados en Saber Pro y Saber 11, y las encontradas entre las dos pruebas? Para obtener los resultados de esta fase, se registraron las respuestas que los participantes escribieron en un formulario en línea, al que tuvieron acceso durante la exposición del resultado del análisis estadístico de los datos. La reunión con profesores para la exposición del resultado de la fase cuantitativa a través de diapositivas y el diligenciamiento del formulario se realizaron en marzo de 2022.

Con el método de análisis temático de Braun y Clarke (2006) se leyeron repetidamente los datos recogidos en busca de patrones; luego se codificaron agruparon estos patrones para formar temas, logrando: (1) transcribir los datos, y (2) codificar y recoger información relevante (la codificación y el análisis de los datos cualitativos fue distribuida entre los tres autores, y los desacuerdos que surgieron en esta etapa fueron discutidos hasta que se llegó a un consenso), (3) realizar la definición de temas, (4) realizar la revisión de temas, (5) nombrar temas, y (6) producir el informe.

Producto de la reunión con los profesores de la Licenciatura se definieron los temas asociados a los datos estadísticos expuestos, como se muestra en la Tabla 10. Lo escrito por el o la participante fue codificado como posibilidad que tiene el programa, porque cuenta con los recursos para ello, o como necesidad.

Todos los participantes dieron su consentimiento antes de registrar sus respuestas (ver Apéndice A3).

Los temas identificados fueron revisados como se muestra en la Tabla 11. En esta revisión se eliminaron las propuestas duplicadas, se unieron las propuestas similares y se agruparon los temas enunciados por los profesores como necesidades o posibilidades para la mejora del programa.

Luego de la revisión de los temas identificados, los temas fueron agrupados y se les asignó un nombre. En la Tabla 12 se muestran los temas nombrados. También, se muestran ejemplos de los comentarios hechos por los participantes.

Los temas nombrados son la base del apartado Discusión de este documento.

Discusión

El texto a continuación plantea la integración entre la fase cuantitativa, la fase cualitativa y los puntos de encuentro o desencuentro con la literatura revisada. La integración se realizó con el propósito de dar respuesta a la tercera pregunta de investigación: ¿Cuáles son las acciones y estrategias que pueden incluirse en los planes de mejoramiento institucional y del Programa de Licenciatura en Música, resultado de la exposición de las relaciones y diferencias estadísticamente significativas encontradas entre las características de los estudiantes y los resultados en Saber Pro y Saber 11 y, las encontradas entre las dos pruebas?

La investigación permitió identificar las acciones y estrategias que pueden incluirse en el plan de mejoramiento del Programa de Licenciatura en Música. Estas acciones o estrategias se relacionan con:

La importancia del análisis de datos para identificar necesidades. Esta propuesta, que fue identificada cuando se presentaron las características socioeconómicas de los estudiantes y las correlaciones identificadas en los resultados de Saber 11, se relaciona con la afirmación de que las pruebas estandarizadas posibilitan diagnosticar el nivel de competencias logradas por el estudiantado, y mediante los planes de mejoramiento se plantean ajustes para superar las debilidades y alcanzar las competencias y habilidades que permitan enfrentar los retos que exigen los diversos contextos laborales (Cifuentes Medina et al., 2019; Monroy Mateus et al., 2018). La estadística adquiere un rol fundamental en el análisis de los datos de los estudiantes y en la identificación de las fortalezas y debilidades de las acciones y estrategias que soportan el aprendizaje; además, el reconocimiento de patrones y las técnicas predictivas se pueden utilizar en los sectores de la educación superior para abordar a los estudiantes en riesgo (Patwa et al., 2018), y gracias a la información disponible es posible reunir una gran cantidad de datos de estudiantes y del proceso educativo en las universidades (Atif et al., 2013), economizando su tiempo y dinero (Al-Tameemi et al., 2020) y soportando la toma de decisiones que, por un lado, permitiría a los estudiantes mejorar su desempeño académico, por las acciones y estrategias de intervención que se generan al interior de la institución (Avella et al., 2016) y, por otro, permite a las instituciones predecir el desempeño futuro y abordar problemas potenciales (De Morais et al., 2014).

La caracterización de los estudiantes y cómo esta facilita el diseño del plan de mejoramiento. Esta propuesta surgió cuando se presentaron las características personales, familiares, socioeconómicas y académicas de los estudiantes; también, cuando se presentaron las correlaciones entre los puntajes de Saber Pro y Saber 11 y las diferencias estadísticamente significativas en las medias de los puntajes de Saber 11. Al respecto, es importante tener en cuenta, primero, que la mayoría de los estudios que exploran el desempeño académico de los estudiantes tienden a concentrarse en las calificaciones acumulativas del semestre, el género, las capacidades y la educación de los profesores, los métodos de enseñanza, el ambiente de clase, la asistencia a clase, el uso de Internet, los resultados de los exámenes semestrales y las condiciones socioeconómicas de la familia (Kosasi et al., 2020); segundo, que el análisis de estos resultados facilitará a los líderes la identificación temprana de problemas y la toma de decisiones adecuadas (Suryawan & Putra, 2016); tercero, que el desempeño académico de los estudiantes puede verse influenciado por una amplia variedad de aspectos como el comportamiento social, la actitud de aprendizaje, la comprensión de los materiales, las dificultades de aprendizaje y la mejora de las actividades de aprendizaje (Kosasi et al., 2020); y cuarto, que los ítems que contienen las pruebas estandarizadas se relacionan también con lo que se aprende fuera de la escuela y que los niños que provienen de hogares, cuyos ambientes son ricos en estímulos, responderán con mayor éxito en la prueba (Popham, 1999).

Las pruebas estandarizadas se relacionan con diferentes factores como los de tipo personal, cognitivo o emocional (Agudelo Álzate et al., 2019), las actitudes positivas que promueven el aprendizaje (Dueñas Herrera et al., 2018), el comportamiento social, la actitud, las dificultades de aprendizaje y la comprensión de los materiales (Kosasi et al., 2020). Por ello, es tan importante empezar a identificar los riesgos del fracaso y evitar la intervención tardía. La minería de datos educativos y el Learning Analytics son un primer paso para la aproximación a la identificación de factores que inciden en el bajo desempeño académico y la deserción.

La distribución de los recursos. Esta propuesta surgió al exponer las características socioeconómicas de los estudiantes y las diferencias estadísticamente significativas entre las medias de los puntajes obtenidos en la Prueba Saber Pro o Saber 11 al agruparlos por características de los estudiantes. El análisis de datos para la distribución de recursos en la formulación del plan de mejoramiento o la conciencia de la incidencia socioeconómica en el aprendizaje son iniciativas que pueden apoyarse en la reflexión sobre el capital cultural, definido como el compendio de activos inmateriales, que puede hacer evidente las diferencias del escolar en clases sociales distintas (Bourdieu, 1987), además de las variables que afectan el desempeño académico de la misma manera para los diferentes niveles socioeconómicos (Dueñas Herrera et al., 2018).

La necesidad de articular los Programas académicos y sus temáticas con los elementos de las competencias evaluadas. Surgió como propuesta al exponer las características personales, familiares, socioeconómicas y académicas de los estudiantes, las diferencias estadísticamente significativas entre las medias de los puntajes obtenidos en la Prueba Saber 11 y en la Prueba Saber Pro, y la correlación existente entre las competencias evaluadas en ambas pruebas. Esta información, también, permitió a los profesores pensar en la importancia de tener en cuenta las acciones del plan de mejoramiento no solo en el Programa, sino en los colegios, especialmente en lectura crítica. Al respecto, es importante tener en cuenta que los esfuerzos que se hagan desde la política nacional para fortalecer la lectura en lengua materna mejorarían los resultados en otras competencias (Gutiérrez Duque & Mayora Pernía, 2021) y que los marcos reductivos de la MDE, que analizan componentes individuales y sus relaciones, facilitan la mejora de las técnicas de evaluación y la disminución de la tasa de abandono (Patil & Gupta, 2019).

La creación de estrategias de apoyo institucional, nivelación, atención a la diversidad y estímulos. Las correlaciones entre los puntajes obtenidos en las competencias evaluadas en la Prueba Saber Pro o Saber 11, llamaron la atención sobre el rol que tiene el coordinador de Programa como analista de datos. Al respecto, es importante mencionar que el fortalecimiento del currículo requiere de métodos y estructuras de la ciencia de datos hacia una política de justicia social (Green, 2021), considerando la diversidad de necesidades para evitar borrar o subyugar a los ya marginados (Birhane, 2020; Costanza-Chock, 2018; Harrington et al., 2019) y requiere de la formación en lo que se necesita desde el análisis crítico (Toledo Lara, 2022). Además, esta propuesta recuerda el interés de quien analiza datos, en trabajar directamente en el abordaje de los problemas sociales para contribuir de manera reflexiva y rigurosa a mejorar la sociedad (Green, 2020), perfeccionando el acceso a las oportunidades, especialmente para quienes históricamente las oportunidades han sido limitadas (Abebe & Goldner, 2018). No solo el coordinador de programa, sino también las profesoras y profesores de este deben reconocerse a sí mismos como actores políticos comprometidos con las construcciones normativas de la sociedad y, como corresponde al trabajo político, evaluar sus esfuerzos de acuerdo con los impactos posteriores en la vida de las personas (Green, 2020).

La aplicación de políticas estatales y la identificación de infraestructura necesaria. Esta propuesta surgió al exponer las características personales, familiares, socioeconómicas y académicas de los estudiantes y al exponer las diferencias estadísticamente significativas en las medias de los puntajes al agruparlos por características. Al respecto, es urgente preguntarse si la ausencia de análisis sobre estos resultados está afectando positivamente la calidad del aprendizaje y los resultados de los estudiantes, dado que las formas tradicionales que se utilizan para mejorar el desempeño de los estudiantes son las evaluaciones de los estudiantes y los cuestionarios sobre su curso, sus calificaciones de cursos anteriores y la intervención realizada con base en estos resultados, así como su asistencia y las tasas de graduación (Jones, 2019; Patwa et al., 2018). Aunque es posible que lo haga, lleva mucho tiempo tomar la decisión correcta para los estudiantes con base en esta estrategia, y los datos generados con este método son limitados (Patwa et al., 2018). Es importante tener en cuenta que los datos pueden ser utilizados por los formuladores de políticas educativas para crear decisiones informadas luego de interpretarlos en, por ejemplo, las metas de aprendizaje, las experiencias de aprendizaje, el compromiso y prácticas de aprendizaje, las habilidades, los resultados y el desempeño (Ji et al., 2016).

La necesidad de realizar una capacitación previa a las pruebas. Esta propuesta surgió al exponer las correlaciones entre los puntajes obtenidos en Saber 11. Al respecto, Márquez Jiménez (2014) considera que un proceso de evaluación es útil, incluso la evaluación estandarizada, cuando se identifican los factores que inciden en el desempeño, facilitando la búsqueda de acciones y estrategias para mejorar los resultados.

La necesidad de fortalecer las habilidades de los docentes para la interpretación y uso de datos. Los profesores deben reconocerse a sí mismos como analistas de datos y actores políticos comprometidos que impactan la vida de las personas y se interesan por abordar los problemas sociales para transformar (Green, 2020) y facilitar el acceso a quienes históricamente han sido limitados (Abebe & Goldner, 2018). Si no existe un conjunto de habilidades desarrolladas para el análisis de datos es probable que el profesional de la educación se sienta limitado y tome decisiones basadas en suposiciones y especulación más que en argumentos.

En lugar de esto, el profesional puede valerse de cómo las aplicaciones de MDE y AdA tienen la capacidad de influir en la enseñanza y en los modelos de aprendizaje (Patil & Gupta, 2019), también, de cómo los datos ayudan a los estudiantes a comprender mejor cómo se involucran en las actividades que conducen a resultados de aprendizaje particulares, mejoran sus experiencias, aceptan la analítica en su ecosistema de aprendizaje (Ifenthaler & Schumacher, 2016) y toman decisiones sobre los informes de datos que sean apropiados para ellos (Ochoa & Wise, 2021).

Este estudio permitió identificar elementos clave para la toma de decisiones a medida que la información estadística fue presentada y los profesores tuvieron la oportunidad de exponer sus percepciones y propuestas de mejora. Se ha planteado que la tecnología es significativa para el desarrollo académico (Calderón Aldana & González Citelly, 2018) y que los datos pueden ser utilizados por los formuladores de políticas educativas para crear decisiones informadas luego de interpretarlos en las prácticas de aprendizaje, los resultados y el desempeño (Ji et al., 2016). Además, La MDE y el AdA ayudan a la identificación de factores que afectan el desempeño académico y facilitan darle continuidad a las pruebas estandarizadas con el diseño de una prueba que lea los contextos sociales (Chacón Benavides et al., 2018) y pueden generar un patrón que prediga eventos y realizar intervenciones adecuadas (Ming Wong, 2017; Patwa et al., 2018), logrando la identificación de factores que inciden en un grupo de estudiantes de forma estratégica y con miras a definir políticas y comprender el comportamiento de los estudiantes en un contexto determinado (Al-Tameemi et al., 2020).

Este estudio hace una contribución significativa a la exploración de la relación entre el desempeño académico de estudiantes que se forman como profesores, los resultados de aprendizaje medidos por pruebas estandarizadas y las características personales, familiares, socioeconómicas y académicas de los estudiantes. También, se constituye en un aporte a la investigación sobre las relaciones entre la Prueba Saber Pro, la Prueba Saber 11 y la posibilidad de analizar estos datos para definir y promover acciones dentro del plan de mejoramiento del Programa. Por otro lado, el diseño de investigación posibilitó la participación de profesores del programa, en el reconocimiento de las características que inciden en los resultados de las pruebas de Estado de los estudiantes y, consecuencia de ello, la creación de acciones y estrategias de mejora a ser tenidas en cuenta en al plan de mejoramiento del Programa objeto de estudio, contribuyendo a la toma de decisiones informadas (Ji et al., 2016; Ochoa & Wise, 2021).

En este sentido, este estudio analizó estadísticamente los datos proporcionados por el ICFES constituyéndose en un aporte para mejorar los programas de licenciatura (formación de profesores) en las IES y para la promoción de la calidad y la equidad (Aldowah et al., 2019; Gašević et al., 2015; Tsai & Gasevic, 2017), dado que las técnicas de MDE, el AdA y la participación de los profesores ayudan a encontrar datos relevantes en áreas educativas a través de la agrupación de los estudiantes según sus características y la identificación de factores que inciden en los resultados de aprendizaje (Agudelo Álzate et al., 2019; Al-Tameemi et al., 2020; Calderón Aldana & González Citelly, 2018; Cárcamo Vergara & Mola Ávila, 2012; Dueñas Herrera et al., 2018; Gutiérrez Duque & Mayora Pernía, 2021).

Conclusiones, recomendaciones, futuras investigaciones y limitaciones

Conclusiones

Esta investigación no pretende mostrar relación causal entre variables. Resalta la importancia de caracterizar a la población de estudiantes que ingresan a la educación superior desde sus características personales, familiares, socioeconómicas y su historial académico. Esto facilita la toma de decisiones pedagógicas que benefician el logro de los resultados de aprendizaje esperados.

Los resultados del estudio muestran diferencias significativas al agrupar los puntajes de los estudiantes según sus características; también muestran diferencias y muy fuertes correlaciones entre ambas pruebas; además, proyectan acciones de mejora de la Licenciatura relacionadas con la caracterización de estudiantes, la articulación de contenidos y competencias evaluadas, y el rol del coordinador del Programa como analista de datos.

Es importante que los programas y las instituciones de educación superior asignen recursos para la formación de sus profesores en análisis de datos, en aras de facilitar la toma de decisiones argumentada, puesto que el nivel de formación de los profesores en análisis estadístico de datos limita las acciones propuestas.

Se concluye, además, que sin el análisis de datos será más difícil abordar los problemas sociales desde una perspectiva política que resuelva problemas; tampoco conviene ignorar que los estudiantes se caracterizan por su diversidad, su contexto familiar, los recursos con los que cuentan, sus condiciones personales, culturas, desarrollos académicos y talentos, y al analizar esas características y sus relaciones se facilita la medición del desempeño y la creación de acciones y estrategias de mejora pertinentes.

Recomendaciones

Con el propósito de fortalecer la formación en licenciaturas con base en los datos publicados por el ICFES, que incluyen además de los puntajes obtenidos, algunas características personales, familiares, socioeconómicas y académicas, se hacen las siguientes recomendaciones dado que se considera que el Programa podría:

Evaluar la pertinencia de crear un comité propio de la Licenciatura en Música, que trabaje de manera continua en la construcción y seguimiento de un plan de mejoramiento consensuado, la revisión de las DES entre la Prueba Saber 11 y la Prueba Saber Pro, que articule los micro currículos con los elementos de competencia evaluados en las pruebas y que mantenga este proyecto de investigación activo en el tiempo dentro del plan de mejoramiento del Programa, para plantear los ajustes necesarios oportunamente.

Evaluar la relación entre los contenidos abordados en el Programa y la realidad social y cultural de los estudiantes, quienes a partir del arte reconocen su rol transformador en la sociedad para fortalecer el Proyecto Educativo de Programa (PEP) desde la equidad, con un currículo reconocedor de la diferencia y la heterogeneidad de los orígenes sociales, como producto de un proceso investigativo pertinente, integrador y equitativo. También, articular las metodologías de evaluación de procesos con la evaluación que revisa solo los resultados, y así hacer una transición de lo tradicional a lo diferenciado para la formulación de políticas educativas en el Programa y en la institución.

Promover la participación de los profesores en la interpretación, análisis y uso de los datos, dado que si no existe esta dinámica al interior del equipo de profesores será limitado el contacto con la naturaleza política de los problemas sociales y su abordaje, obstaculizando el mantener un enfoque crítico y de mente abierta para resolver problemas. También, involucrar a los estudiantes en ejercicios de análisis estadístico para identificar la información que ayuda a la comprensión de sus resultados de aprendizaje y así tomar acciones para mejorar sus procesos académicos.

Hay que reconocer que la Prueba Saber Pro evalúa principalmente la formación profesional del educador, antes de evaluar la formación específica disciplinar.

Sugerir a la IES adecuar salas con internet, amplios horarios de atención y capacitación para el acceso a bases de datos y material de consulta electrónica.

Futuras investigaciones

Para futuras investigaciones, los profesores plantearon la importancia de analizar los resultados de quienes realizan curso de preparación para la prueba; identificar qué poblaciones obtienen mejores resultados; revisar la disponibilidad de servicios con los que cuentan los estudiantes; caracterización de la población y formulación de estrategias incluyentes; analizar cómo la institución puede ofrecer las herramientas para mejorar los resultados de las pruebas; estudiar las fortalezas y debilidades evidenciadas por los puntajes; indagar las razones por las cuales en el año 2017 los resultados de la prueba fueron significativamente superiores; evaluar estrategias de articulación entre los microcurrículos, las competencias evaluadas y la relación con los resultados.

Además, producto de esta investigación, se recomienda a los programas y a las instituciones educativas, formular y ejecutar proyectos de investigación que analicen la relación entre las características de los estudiantes y los resultados de las pruebas nacionales e internas, con el objetivo de incluir estrategias argumentadas en el plan de mejoramiento. Identificar la incidencia de los cambios económicos de los estudiantes, en los resultados de las Pruebas. Explorar las razones por las cuales se dan las DES encontradas. Estudiar las fortalezas y debilidades evidenciadas en los puntajes para generar en el currículo los ajustes necesarios, en beneficio del proceso formativo y los futuros resultados. El análisis de datos obtenido con la información que publica el ICFES podría extenderse en una siguiente fase a la reflexión con egresados del Programa, para profundizar en sus contextos y así comprender y mejorar el aprendizaje y sus entornos. Podría ser valioso también explorar la relación entre las características de los estudiantes sobresalientes y los resultados obtenidos.

Limitaciones

Las limitaciones de la investigación se concentran en que los estudios relacionados con los resultados de la Pruebas Saber Pro y Saber 11 en años recientes, señalan la escasez de investigaciones que abordan los resultados de la prueba y aún existe una gran cantidad de datos por analizar sobre diferentes licenciaturas y características de los estudiantes que hacen que cada grupo y contexto sea diferente. Por otro lado, la base de datos del ICFES no incluía toda la información de la totalidad de los estudiantes que presentaron la Prueba Saber Pro, por lo que algunos de los datos tuvieron que ser descartados en el análisis. El número de profesores que participaron en la fase cualitativa fue inferior al número de profesores convocados, lo que limita el espectro de posibles acciones de mejora para el Programa. El nivel de formación de los profesores, en análisis estadístico de datos, limita las acciones propuestas. Las respuestas del formulario dependen de las conversaciones entre los participantes y los autores y, aunque una segunda entrevista hubiera sido enriquecedora, el tiempo fue una limitación importante.

Referencias

Abebe, R., & Goldner, K. (2018). Mechanism design for social good [Diseño de mecanismos para el bien social]. AI Matters, 4(3), 27-34. https://doi.org/10.1145/3284751.3284761

Agudelo Álzate, A. S., Figueroa Zapata, L. A., & Vásquez Benites, L. (2019). Relaciones causales de los factores que afectan el desempeño de los estudiantes en pruebas estandarizadas en Colombia. Revista ESPACIOS, 40(23). https://www.revistaespacios.com/a19v40n23/19402323.html

Aldowah, H., Al-Samarraie, H., & Fauzy, W. M. (2019). Educational data mining and learning analytics for 21st century higher education: A review and synthesis [Minería de datos educativos y análisis de aprendizaje para la educación superior del siglo XXI: revisión y síntesis]. Telematics and Informatics, 37, 13-49. https://doi.org/10.1016/j.tele.2019.01.007

Algarni, A. (2016). Data mining in education [Minería de datos en la educación]. International Journal of Advanced Computer Science and Applications, 7(6). https://doi.org/10.14569/ijacsa.2016.070659

Al-Tameemi, G., Xue, J., Ajit, S., Kanakis, T., & Hadi, I. (2020). Predictive learning analytics in higher education: Factors, methods and challenges [Analítica predictiva del aprendizaje en la educación superior: factores, métodos y desafíos]. En 2020 International Conference on Advances in Computing and Communication Engineering (ICACCE) (pp. 1-9). https://doi.org/10.1109/ICACCE49060.2020.9154946

Atif, A., Richards, D., Bilgin, A., & Marrone, M. (2013). Learning analytics in higher education: a summary of tools and approaches [Analítica de aprendizaje en la educación superior: un resumen de herramientas y enfoques]. En ASCILITE-Australian Society for Computers in Learning in Tertiary Education Annual Conference (pp. 68-72). Australasian Society for Computers in Learning in Tertiary Education https://ascilite.org/conferences/sydney13/program/papers/Atif.pdf

Avella, J. T., Kebritchi, M., Nunn, S. G., & Kanai, T. (2016). Learning analytics methods, benefits, and challenges in higher education: A systematic literature review [Métodos, beneficios y desafíos de las analíticas de aprendizaje en la educación superior: una revisión sistemática de la literatura]. Online Learning, 20(2), 13-29. https://files.eric.ed.gov/fulltext/EJ1105911.pdf

Backhoff Escudero, E. (2018, noviembre-diciembre). Evaluación estandarizada del logro educativo: contribuciones y retos. Revista Digital Universitaria, 19(6), 1-14. https://doi.org/10.22201/codeic.16076079e.2018.v19n6.a3

Birhane, A. (2020). Algorithmic colonization of Africa [Colonización algorítmica de África]. SCRIPT-ed, 17(2), 389-409. https://doi.org/10.2966/scrip.170220.389

Bourdieu, P. (1987). Los tres estados del capital cultural. Sociológica, 2(5). http://www.sociologicamexico.azc.uam.mx/index.php/Sociologica/article/view/1043

Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology [Uso del análisis temático en psicología]. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa

Calderón Aldana, E. S., & González Citelly, D. S. (2018). Relación de los factores socioeconómicos con el rendimiento académico de los estudiantes de educación media para Colombia en el segundo semestre del 2017: un enfoque geoeconómico [Trabajo de grado, Universidad de La Salle]. Repositorio digital institucional. https://ciencia.lasalle.edu.co/economia/602

Cárcamo Vergara, C., & Mola Ávila, J. (2012). Diferencias por sexo en el desempeño académico en Colombia: Un análisis regional. Economía & Región, 6(1), 133-169. https://revistas.utb.edu.co/economiayregion/article/view/137

Chacón Benavides, J. A., Moreno Pinzón, I. A., & Fonseca Correa, L. A. (2018). Test estandarizados y sus resultados en la Licenciatura en Educación Básica. Rastros y Rostros del Saber, 3(5), 71-82. http://repositorio.uptc.edu.co/handle/001/2825

Cifuentes Medina, J. E., Chacón Benavides, J. A., & Fonseca Correa, L. Á. (2019). Pruebas estandarizadas y sus resultados en una licenciatura. Revista UNIMAR, 37(1), 69-81. https://doi.org/10.31948/rev.unimar/unimar37-1-art4

Clow, D. (2012). The learning analytics cycle: Closing the loop effectively [El ciclo de la analítica del aprendizaje: cerrar el círculo de forma eficaz]. En Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 134-138). https://doi.org/10.1145/2330601.2330636

Congreso de la República de Colombia. (2009, 13 de julio). Ley N° 1324, por la cual se fijan parámetros y criterios para organizar el sistema de evaluación de resultados de la calidad de la educación, se dictan normas para el fomento de una cultura de la evaluación, en procura de facilitar la inspección y vigilancia del Estado y se transforma el ICFES. https://mineducacion.gov.co/1621/articles-210697_archivo_pdf_ley_1324.pdf

Consejo Nacional de Acreditación. (2021). Lineamientos y aspectos por evaluar para la Acreditación en Alta Calidad de Programas Académicos. https://www.cna.gov.co/1779/articles-404750_norma.pdf

Costanza-Chock, S. (2018). Design justice, A.i., and escape from the matrix of domination [Diseñar justicia, A.i. y escapar de la matriz de dominación]. Journal of Design and Science. https://doi.org/10.21428/96c8d426

Credé, M., Roch, S. G., & Kieszczynka, U. M. (2010). Class attendance in college: A meta-analytic review of the relationship of class attendance with grades and student characteristics [Asistencia a clases en la universidad: una revisión metaanalítica de la relación de la asistencia a clases con las calificaciones y las características de los estudiantes]. Review of Educational Research, 80(2), 272-295. https://doi.org/10.3102/0034654310362998

Creswell, J. W., & Plano Clark, V. L. (2017). Designing and conducting mixed methods research [El diseño y la realización de la investigación de métodos mixtos] (3ª ed.). Sage Publications.

De Morais, A. M., Araujo, J. M. F. R., & Costa, E. B. (2014). Monitoring student performance using data clustering and predictive modelling [Supervisar el rendimiento de los estudiantes mediante la agrupación de datos y el modelado predictivo]. En 2014 IEEE Frontiers in Education Conference (FIE) Proceedings (pp. 1-8). https://doi.org/10.1109/FIE.2014.7044401

Dueñas Herrera, X., Godoy Mateus, S., Duarte Rodríguez, J. L., & López Vera, D. C. (2018). La resiliencia en el logro educativo de los estudiantes colombianos. Revista Colombiana de Educación, 1(76), 69-90. https://doi.org/10.17227/rce.num76-8037

García Villegas, M., & Quiroz López, L. (2011, julio-diciembre). Apartheid educativo. Educación, desigualdad e inmovilidad social en Bogotá. Revista de Economía Institucional, 13(25), 137-162. https://revistas.uexternado.edu.co/index.php/ecoins/article/view/3028

Gašević, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning [No lo olvidemos: las analíticas de aprendizaje tienen que ver con el aprendizaje]. TechTrends, 59(1), 64-71. https://doi.org/10.1007/s11528-014-0822-x

Green, B. (2020). The false promise of risk assessments: Epistemic reform and the limits of fairness [La falsa promesa de las evaluaciones de riesgo: la reforma epistémica y los límites de la Equidad]. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. https://doi.org/10.1145/3351095.3372869

Green, B. (2021). Data science as political action: Grounding data science in a politics of justice [La ciencia de datos como acción política: fundamentar la ciencia de datos en una política de justicia]. Journal of Social Computing, 2(3), 249-265. https://doi.org/10.23919/JSC.2021.0029

Gutiérrez Duque, D. M., & Mayora Pernía, C. A. (2021, enero-abril). Variables predictoras del desempeño escolar en exámenes estandarizados de inglés: Evidencias desde el examen de Estado en Colombia. Revista virtual Universidad Católica del Norte, (62), 33-62. https://doi.org/10.35575/rvucn.n62a3

Harrington, C., Erete, S., & Piper, A. M. (2019). Deconstructing community-based collaborative design: Towards more equitable participatory design engagements [Deconstruyendo el diseño colaborativo basado en la comunidad: Hacia compromisos de diseño participativo más equitativos]. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), 1-25. https://doi.org/10.1145/3359318

Herodotou, C., Rienties, B., Boroowa, A., Zdrahal, Z., & Hlosta, M. (2019). A large-scale implementation of predictive learning analytics in higher education: the teachers’ role and perspective [Una implementación a gran escala de análisis predictivos del aprendizaje en la educación superior: el papel y la perspectiva de los docentes]. Educational Technology Research and Development: ETR & D, 67(5), 1273-1306. https://doi.org/10.1007/s11423-019-09685-0

Ifenthaler, D., & Schumacher, C. (2016). Student perceptions of privacy principles for learning analytics [Percepciones de los estudiantes sobre los principios de privacidad para el análisis del aprendizaje]. Educational Technology Research and Development, 64(5), 923-938. https://doi.org/10.1007/s11423-016-9477-y

Isáziga David, C.-H., Gabalán Coello, J., & Vásquez-Rizo, F.-E. (2014, julio-diciembre). La intervención académica en la construcción de una sociedad con calidad: análisis del valor agregado en el proceso formativo colombiano. Hallazgos, 11(22), 359-384. https://doi.org/10.15332/s1794-3841.2014.0022.18

Ji, H., Park, K., Jo, J., & Lim, H. (2016). Mining students activities from a computer supported collaborative learning system based on peer to peer network [Minería de actividades de los estudiantes desde un sistema de aprendizaje colaborativo asistido por computadora basado en una red de igual a igual]. Peer-to-Peer Networking and Applications, 9(3), 465-476. https://doi.org/10.1007/s12083-015-0397-0

Jones, K. M. L. (2019). Learning analytics and higher education: a proposed model for establishing informed consent mechanisms to promote student privacy and autonomy [Analítica de aprendizaje y educación superior: una propuesta de modelo para establecer mecanismos de consentimiento informado para promover la privacidad y autonomia de los estudiantes]. International Journal of Educational Technology in Higher Education, 16(1). https://doi.org/10.1186/s41239-019-0155-0

Jørnø, R. L., & Gynther, K. (2018). What constitutes an ‘actionable insight’ in Learning Analytics? [¿Qué constituye una “percepción procesable” en Learning Analytics?] Journal of Learning Analytics, 5(3), 198-221. https://doi.org/10.18608/jla.2018.53.13

Kosasi, S., Vedyanto, Kasma, U., & Ayu Eka Yuliani, I. D. (2020). The mediating role of learning analytics to improve student academic performance [El papel mediador de las analíticas de aprendizaje para mejorar el rendimiento académico de los estudiantes]. En 2020 2nd International Conference on Cybernetics and Intelligent System (ICORIS), (pp. 1-6). https://doi.org/10.1109/ICORIS50180.2020.9320802

López-Pino, C. M., & Moncada-Jaimes, L. Z. (2012). Expectativas de acceso a la Universidad en los jóvenes de sectores populares bogotano.. Educación y Educadores, 15(3), 383-409. https://intellectum.unisabana.edu.co/handle/10818/15045

Márquez Jiménez, A. (2014) Restos y tensiones en la EMS [Editorial]. Perfiles Educativos, 36(14) 3-11. https://www.iisue.unam.mx/perfiles/numeros/2014/146

Ming Wong, B.T. (2017). Learning analytics in higher education: an analysis of case studies [Analítica de aprendizaje en la educación superior: un análisis de estudios de caso]. Asian Association of Open Universities Journal, 12(1), 21-40. https://doi.org/10.1108/AAOUJ-01-2017-0009

Ministerio de Educación Nacional. (2017, 15 de septiembre). Resolución 18583, por la cual se ajustan las características específicas de calidad de los programas de Licenciatura para la obtención, renovación o modificación del registro calificado, y se deroga la Resolución 2041 de 2016. https://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=71384

Monge López, D., Bonilla, R., & Aguilar-Freyan, W. (2017). El Inventario de Estrategias de Autorregulación: traducción al español, características psicométricas preliminares y su relación con variables sociodemográficas en una muestra de estudiantes universitarios. Avances en Psicología Latinoamericana, 35(1), 61-78. https://doi.org/10.12804/revistas.urosario.edu.co/apl/a.3729

Monroy Mateus, A. F., Aguirre Lara, C., & Espitia Cubillos, A. A. (2018). Propuesta metodológica para identificar el valor agregado de Programas de ingeniería a partir del análisis de resultados de pruebas estandarizadas. Revista Educación en Ingeniería, 13(25), 102-107. https://doi.org/10.26507/rei.v13n25.868

Ochoa, X., & Wise, A. F. (2021). Supporting the shift to digital with student-centered learning analytics [Apoyar el cambio hacia lo digital con análisis de aprendizaje centrados en los estudiantes]. Educational Technology Research and Development, 69(1), 357-361. https://doi.org/10.1007/s11423-020-09882-2

Patil, J. M., & Gupta, S. R. (2019). Analytical review on various aspects of educational data mining and learning analytics [Revisión analítica sobre varios aspectos de la minería de datos educativos y el análisis del aprendizaje]. En 2019 International Conference on Innovative Trends and Advances in Engineering and Technology (ICITAET).https://doi.org/10.1109/ICITAET47105.2019.9170143

Patwa, N., Seetharaman, A., Sreekumar, K., & Phani, S. (2018). Learning Analytics: Enhancing the quality of higher education [Learning Analytics: Mejorando la calidad de la educación superior]. Research Journal of Economics,2(2). https://www.scitechnol.com/peer-review/learning-analytics-enhancing-the-quality-of-higher-education-miPz.php?article_id=7422

Popham, J. (1999). ¿Por qué las pruebas estandarizadas no miden la calidad educativa? Grupo de Trabajo sobre Estándares y Evaluación. Programa de Promoción de la Reforma Educativa en América Latina y el Caribe. https://www.thedialogue.org/wp-content/uploads/2016/07/1999-Porque-las-pruebas-estandarizadas-no-miden-la-calidad-educativa-Popham.pdf

Programa de las Naciones Unidas para el Desarrollo. (2016). Informe Sobre Desarrollo Humano. https://hdr.undp.org/sites/default/files/HDR2016_SP_Overview_Web.pdf

Rao, T. R., Mitra, P., Bhatt, R., & Goswami, A. (2019). The big data system, components, tools, and technologies: a survey [El sistema de big data, componentes, herramientas y tecnologías: una encuesta]. Knowledge and Information Systems, 60(3), 1165-1245. https://doi.org/10.1007/s10115-018-1248-0

Rodríguez Sandoval, M. T., & Vilchez Pirela, R. A. (2017, enero-junio). Valor agregado como indicador de calidad en Programas académicos universitarios utilizando resultados de pruebas censales. Academia y Virtualidad, 10(1), 42-55. https://doi.org/10.18359/ravi.2691

Sáenz-Castro, P., Vlachopoulos, D., & Fàbregues, S. (2021). Exploring the relationship between Saber Pro test outcomes and student teacher characteristics in Colombia: Recommendations for improving bachelor’s degree education [Explorando la relación entre los resultados de la prueba Saber Pro y las características de los futuros docentes en Colombia: recomendaciones para mejorar la educación de licenciatura]. Education Sciences, 11(9), Article 507. https://doi.org/10.3390/educsci11090507

Santana Espitia, J. (2018). Propuesta metodológica para mejorar los resultados en las pruebas de estado saber Pro en la carrera de administración ambiental dentro del proceso de acreditación de alta calidad de la universidad distrital Francisco José de Caldas. [Monografía de pregrado, Universidad Distrital Francisco José de Caldas]. Repositorio digital institucional. https://repository.udistrital.edu.co/bitstream/handle/11349/13184/SantanaEspitiaJessicaLiliana?sequence=1

Siemens, G. (2012). Learning analytics: Envisioning a research discipline and a domain of practice [Analítica de aprendizaje: Visualización de una disciplina de investigación y un dominio de práctica]. En Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 4–8). ACM. https://dl.acm.org/doi/10.1145/2330601.2330605

Suryawan, A. D., & Putra, E. (2016, November). Analysis of determining factors for successful student's GPA achievement [Análisis de los factores determinantes para el logro del GPA de los estudiantes exitosos]. En 2016 11th International Conference on Knowledge, Information and Creativity Support Systems (KICSS) (pp. 1-7). IEEE. https://doi.org/10.1109/KICSS.2016.7951403

Toledo Lara, G. (2022, mayo-agosto). El currículum en la formación universitaria docente: aportes para un análisis crítico. Revista virtual Universidad Católica del Norte, (66), 183-212. https://doi.org/10.35575/rvucn.n66a8

Tsai, Y.-S., & Gasevic, D. (2017). Learning analytics in higher education --- challenges and policies: A review of eight learning analytics policies [Analítica de aprendizaje en la educación superior --- desafíos y políticas: una revisión de ocho políticas de analítica de aprendizaje]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference. https://dl.acm.org/doi/10.1145/3027385.3027400