ANÁLISIS DE LAS CALIFICACIONES ESCOLARES COMO CRITERIO DE RENDIMIENTO ACADÉMICO Dr. D.
Inocencio Vicente Cascón RESUMEN En este trabajo presentamos algunas propiedades psicométricas de las calificaciones escolares, con el objetivo de observar si guardan la bondad psicométrica suficiente para ser utilizadas como criterio del rendimiento académico. Para ello estudiamos las notas de cuatro evaluaciones de 361 alumnos(as) de primero y segundo de BUP. Efectuamos análisis factoriales sobre las cuatro evaluaciones en ambos cursos por separado. En líneas generales obtenemos estructuras monofactoriales de las asignaturas. Asimismo calculamos la fiabilidad de las calificaciones mediante los métodos test-retest, pruebas paralelas y consistencia interna. Los coeficientes de fiabilidad arrojados oscilan entre el rango de 0,85 y 0,99. Palabras Clave: Validez, Fiabilidad, Criterio de Rendimiento Académico, Calificaciones Escolares. ABSTRACT This study presents some scholar achievement criteria. Whith this we intend to show a way of evaluating the academic results in a sample of adolescents (N=361). We have carried out a statistical analysis based on four teacher evaluations during a scholar peiod of nine months. The analysis were centred on teacher califications, and offered us: 1) solid factorial structures; 2) very good reliability coefficients in test-retest; 3) Psychometric goodness in parallel tests and internal consistence, so all values oscilated among .85 and .99. Key words: Validity, reliability, achievement academic criteria. 1. INTRODUCCIÓN Con esta investigación pretendemos calcular algunos índices de fiabilidad y validez del criterio de rendimiento académico más utilizado: las calificaciones escolares. La importancia de este tema la atribuimos a dos razones principales: 1) uno de los problemas sociales, y no sólo académicos, que están ocupando a los responsables políticos, profesionales de la educación, padres y madres de alumnos; y a la ciudadanía, en general, es la consecución de un sistema educativo efectivo y eficaz que proporcione a los alumnos el marco idóneo donde desarrollar sus potencialidades; 2) Por otro lado, el indicador del nivel educativo adquirido, en este Estado y en la práctica totalidad de los países desarrollados y en vías de desarrollo, ha sido, sigue y probablemente seguirán siendo, las calificaciones escolares. A su vez, éstas son reflejo de las evaluaciones y/o exámenes donde el alumno ha de demostrar sus conocimientos sobre las distintas áreas o materias, que el sistema considera necesarias y suficientes para su desarrollo como miembro activo de la sociedad. Por ello, las notas son, en última instancia, el criterio de rendimiento escolar, desde el que se valora una buena parte del «estado de salud» del sistema educativo (Consejo Escolar de Canarias, 1995). Desde estos postulados parece razonable tratar de identificar posibles factores relacionados con el rendimiento escolar, a fin de actuar sobre aquellos que mostrasen predicciones significativas de este criterio. Sin embargo, algunos autores (p.e. Pelechano, 1989) informan que la cuestión no es tan sencilla. Considera, este autor, que previamente es preciso someter el criterio a un análisis científico riguroso, es decir, comprobar si éste cumple con los requisitos de fiabilidad y validez que se exige a los predictores. Una de las razones aducidas es que los predictores no pueden pronosticar la variabilidad de un criterio más allá de las limitaciones de su fiabilidad (Eysenck, 1996). De esta forma, un criterio con un coeficiente de fiabilidad de 0,70, por ejemplo, no podrá ser predicho en un porcentaje superior al 50% (0,702). En esta línea Pelechano, Clemente, Báguena y Berges (1981) realizan un estudio con alumnos de la segunda etapa de EGB y primer curso de BUP. En este trabajo presentan las correlaciones entre las evaluaciones de distintas áras de conocimientos. Encuentran que las correlaciones aumentan a medida que se acercan a la evaluación final. Los coeficientes de correlación se encuentran entre 0,90 y 0,48. Por nuestra parte, a igual que en el estudio de estos autores, trataremos de hallar la estabilidad temporal (test-retest) de las calificaciones escolares. Esta medida pensamos que puede ser interpretada, también, como fiabilidad de pruebas paralelas, ya que las distintas evaluaciones, que tienen lugar en los institutos y colegios, cambian las preguntas. Además, calcularemos la fiabilidad mediante la consistencia interna de las calificaciones de las asignaturas; y también realizaremos análisis factoriales de las cuatro evaluaciones, con el fin de poner a prueba la hipótesis de unidimensionalidad de las calificaciones, en las diversas asignaturas. Lo cual nos podría dar pie para tratar la nota media global (de todas las asignaturas) como criterio de rendimiento escolar, o, por el contrario, si la hipótesis no se confirma, utilizar la nota media de los factores que empíricamente se obtengan. En definitiva, con este estudio tratamos de observar la estructura factorial (validez factorial) de las calificaciones escolares en primero y segundo de BUP, así como la posible evolución de esta estructura a lo largo del curso. También nos proponemos calcular la fiabilidad del criterio mediante su estabilidad temporal (test-retest), pruebas paralelas y consistencia interna. A partir de estos resultados queremos ver si se justifica, o no, el uso científico de las calificaciones académicas como criterio de rendimiento escolar. 2. MÉTODO 1. Muestra: este estudio está realizado con una muestra de 361 alumnos y alumnas de primero y segundo de BUP. En la Tabla I se muestra su distribución por sexo y curso académico. Tabla I Distribución de la muestra por curso y sexo SEXO CURSO VARONES MUJERES TOTALES 1º BUP 77 (49,7%) 121 (58,7%) 198 (54,8%) 2º BUP 78 (50,3%) 85 (41,3%) 163 (45,2%) TOTALES 155 (100%) 206 (100%) 361 (100%) Como puede verse en esta tabla 198 alumnos(as) cursaban primero de BUP y 163 segundo, 155 (43%) varones y 206 (57%) mujeres. 2. Procedimiento y análisis estadísticos: Los datos fueron extraídos de las calificaciones de los respectivos profesores de todas y cada una de las asignaturas de primero y segundo de BUP del Intituto de Bachillerato «Saulo Torón» de Gáldar (Gran Canaria). Fueron recogidos los datos de las tres evaluaciones parciales y la evaluación final del curso académico 1995/96. Las calificaciones se codificaron según la siguiente categorización: 1 = muy deficiente; 2 = insuficiente; 3 = suficiente; 4 = bien; 5 = notable; y 6 = sobresaliente. Una vez codificadas se procedió al análisis estadístico de los datos, utilizando para ello el programa estadístico computarizado SPSS/PC+. Los análisis estadísticos realizados fueron: análisis factoriales de componentes principales, con rotación varimax de los factores, cuando se obtenían más de un factor. Estos análisis se realizaron sobre las calificaciones de las asignaturas en las cuatro evaluaciones, en primero y segundo de BUP por separado. El objetivo de estos análisis es observar la estructura factorial de las notas en las diversas materias, así como ver la evolución de esta estructura a lo largo del curso. La fiabilidad test-retest y pruebas paralelas se calculó mediante coeficientes de correlación de Pearson de las notas medias de los(as) alumnos(as) en las cuatro evaluaciones. Por último, la consistencia interna de las notas de las asignaturas fue calculada mediante el coeficiente alfa de Crombach (1951). 3. RESULTADOS La estructura expositiva de los resultados será, en primer lugar, sobre los de primero de BUP, dentro de éstos comenzaremos con los análisis factoriales y posteriormente presentaremos los coeficientes de fiabilidad. El segundo bloque de resultados lo dedicamos a segundo de BUP. 1. Validez de las calificaciones en primero de BUP como constructo En el cuadro I exponemos el resumen de los análisis factoriales, de componentes principales, de las calificaciones de las asignaturas de primero de BUP. Cuadro I: Resumen de los análisis factoriales de las calificaciones escolares en primero de BUP (explicación en el texto) PRIMERA EVALUACIÓN Asignatura Factor 1 Comunalidad
Valor Propio 4,63 % de Varianza 51,40 SEGUNDA EVALUACIÓN Asignatura Factor 1 Comunalidad
Valor Propio 5,62 % de Varianza 62,50 TERCERA EVALUACIÓN Asignatura Factor 1 Comunalidad
Valor Propio 6,09 % de Varianza 67,60 EVALUACIÓN FINAL Asignatura Factor 1 Comunalidad
Valor Propio 6,13 % de Varianza 68,10 N=163 Las materias que se cursan en este nivel son: lengua española y literatura, lengua extranjera (inglés), dibujo, música, historia, ética, matemáticas, ciencias naturales y educación física. Como puede comprobarse en este cuadro las cuatro evaluaciones arrojan una estructura monofactorial. En líneas generales no parece que la estructura factorial sufra modificaciones significativas a lo largo del curso académico. Si bien, cabe destacar que a medida que avanza el año el porcentaje de varianza explicado por el factor aumenta, desde un 51,4% en la primera evaluación a un 68,10% en la evaluación final. Por otro lado las altas cargas de las asignaturas en el factor hacen posible altas comunalidades, entre un rango de 0,32 y 0,83, si exceptuamos educación física en la primera evaluación. Es decir, la asignatura que menos proporción de varianza explica es educación física (Comunalidad= 0,32), aunque este porcentaje no es despreciable, mientras que la materia que mayor porcentaje explica es Ciencias Naturales (Comunalidad=0,83). El resto de las asignaturas se encuentran entre estos dos valores, aunque más cercanos al de las ciencias naturales que al de educación física. 2. Fiabilidad de las calificaciones en primero de BUP: Como hemos visto en el apartado anterior las notas de los alumnos, en las nueve asignaturas, conforman una dimensión que explica un porcentaje aceptable de la varianza, por lo que parece justificado, desde estos resultados, tomar la nota media global (de todas las asignaturas) como el valor sobre el que realizar la fiabilidad test-retest y de pruebas paralelas. En el cuadro II presentamos los coeficientes de correlación de las calificaciones medias de los alumnos entre las cuatro evaluaciones, así como la consistencia interna de las notas en las distintas asignaturas. Cuadro II Coeficientes de fiabilidad test-retest, pruebas paralelas y consistencia interna de las calificaciones escolares en primero de BUP (explicación en el texto) FIABILIDAD TEST-RETEST Y PRUEBAS PARALELAS 1ª Evaluac. 2ª Evaluac. 3ª Evaluac. 2.ª Evaluación 0,90 3.ª Evaluación 0,90 0,96 Evaluación Final 0,89 0,95 0,99 CONSISTENCIA INTERNA 1ª Evaluac. 2ª Evaluac. 3ª Evaluac. Eval. Final Alfa de Cronbach 0,88 0,92 0,94 0,94 En primer lugar, señalar que los coeficientes de fiabilidad aumentan a medida que nos acercamos a la evaluación final y en función de la cercanía temporal de las evaluaciones, como era de esperar. Por otro lado, las cuantías de los coeficientes de fiabilidad test-retest y pruebas paralelas (rango 0,89-0,99) indican que el error aleatorio atribuible a la medida es razonablemente pequeño. Así, en términos de índices de fiabilidad, estos oscilan entre 0,94 (raiz cuadrada de 0,89) y 0,99 (raíz cuadrada de 0,99). Por otro lado, la consistencia interna de las calificaciones de las asignaturas de primero de BUP, muestran coeficientes entre 0,88, en la primera evaluación; y 0,94 en las evaluaciones tercera y final, lo que parece indicar una buena homogeneidad en las notas de las distintas materias. 3. Validez factorial de las calificaciones en segundo de BUP: Las asignaturas que se cursan en segundo de BUP son: lengua española y literatura, latín, lengua extranjera, geografía, ética, matemáticas, física y química, educación física y una asignatura de libre elección (EATP). Sobre las notas de estas asignaturas se han realizado los cuatro análisis factoriales, cuyo resumen de resultados exponemos en el cuadro III. Cuadro III: Resumen de los análisis factoriales de las calificaciones escolares en segundo de BUP (explicación en el texto) PRIMERA EVALUACIÓN Asignatura Factor 1 Factor 2 h2
SEGUNDA EVALUACIÓN Asignatura Factor 1 Factor 2 h2
TERCERA EVALUACIÓN Asignatura Factor 1 Comunalidad
Valor Propio 5,60 % de Varianza 62,20 EVALUACIÓN FINAL Asignatura Factor 1 Comunalidad
Valor Propio 5,54 % de Varianza 61,50 N=163 La muestra sobre los que se realizaron estos análisis fue de 163 alumnos y alumnas. Como puede observarse en este cuadro la evaluación tercera y la final obtienen una estructura factorial compuesta por un solo factor, el solapamiento de ambas estructuras es muy significativo, explicando ambas un porcentaje de varianza muy similar (62% y 61,5%). La primera y segunda evaluación, en cambio, ofrecen una estructura bifactorial. El factor primer facor es el que mayor porcentaje de varianza explica (45,6% en la primera evaluación y 51,3% en la segunda evaluación). Esta dimensión está compuesta por todas las asignaturas, excepto educación física y EATP, estas materias, a su vez, configuran el segundo factor, que explica el sobre el 11% de la varianza, tanto en la primera como en la segunda evaluación. En ambas evaluaciones la estructura factorial es muy semejante, si exceptuamos la asignatura de EATP, que en la segunda evaluación satura con altas cargas en los dos factores (0,54 y 0,44). Un análisis más interpretativo de los datos, de estas dos primeras evaluaciones, lo centramos en la irrelevancia del segundo factor para el estudio del fracaso escolar, por ejemplo, ya que las dos materias que lo componen (educación física y EATP) son suspendidas, a lo largo de todo el curso académico, por 2 (1,8%) alumnos la primera y por 3 (1,8%) la segunda. Por tanto, si nuestro objetivo es disponer de un criterio de rendimiento escolar parsimonioso, en base a estos resultados, la nota media global de las asignaturas de segundo de BUP parece ser aceptable, en las dos últimas evaluaciones. Mientras que en la primera y segunda evaluación el criterio se ajusta más a una de las dos alternativas siguientes: 1) Obviar el factor 2 en los análisis grupales, por la razón expuesta en el punto anterior; 2) O bien considerar la nota media de los dos factores por separado. 4. Fiabilidad de las calificaciones en segundo de BUP En cuanto a la fiabilidad test-retest, pruebas paralelas y sonsistencia interna de las calificaciones medias de segundo de BUP, como puede verse en el cuadro IV, las correlaciones entre Cuadro IV Coeficientes de fiabilidad test-retest, pruebas paralelas y consistencia interna de las calificaciones escolares en segundo de BUP (explicación en el texto) FIABILIDAD TEST-RETEST Y PRUEBAS PARALELAS 1ª Evaluac. 2ª Evaluac. 3ª Evaluac. 2.ª Evaluación 0,88 3.ª Evaluación 0,86 0,93 Evaluación Final 0,85 0,93 0,99 CONSISTENCIA INTERNA 1ª Evaluac. 2ª Evaluac. 3ª Evaluac. Eval. Final Alfa de Cronbach 0,85 0,87 0,92 0,92 las cuatro evaluaciones y los coeficientes alfa de Cronbach muestran un patrón y cuantías muy semejantes a los de primero de BUP, por lo que lo dicho en el apartado de la fiabilidad de este curso es válido para los de segundo. 4.CONCLUSIONES Los resultados sobre la bondad psicométrica de las calificaciones escolares en primero y segundo de BUP, analizados en este trabajo, apuntan hacia las siguientes conclusiones: 1. Tomar la nota media global de las calificaciones como criterio de rendimiento académico parece que se justifica, en virtud de la estructura empírica que arrojan los análisis factoriales y los coeficientes de fiabilidad. De esta forma: 1.1. En las cuatro evaluaciones de primero de BUP aparece una estructura monofactorial, con cargas de las asignaturas superiores a 0,50. Con porcentajes de varianza explicada alrededor del 60%. Estos resultados sugieren la posibilidad de simplificar el criterio de rendimiento académico en la nota media global. A su vez, los coeficientes de fiabilidad test-retest, pruebas paralelas y consistencia interna oscilan entre 0,88 y 0,99, lo que indica, por un lado, que el margen de error atribuible al criterio como medida es razonablemente pequeño y, por otro, que la homogeneidad de las calificaciones de los profesores es ciertamente aceptable. 1.2. En segundo de BUP los resultados, en esencia, son muy semejantes a los del curso precedente. Cabe exceptuar la estructura factorial de la primera y segunda evaluación, donde vemos dos factores ortogonales, siendo el primero el más potente, abarcando todas las asignaturas, menos educación física y EATP. El factor compuesto por estas dos últimas materias predice un 11% de la varianza, frente al 50% del primero. Además este segundo factor, a efectos de estudios sobre fracaso escolar, nos parece poco relevante, ya que los alumnos que superan estas materias sobrepasa el 97%. En definitiva, según los datos que hemos presentado, parece justificado utilizar la media de las calificaciones escolares como criterio de rendimiento académico de alumnos de primero y segundo de BUP. Sobre esta base, en estudios venideros, trataremos de apresar algunos factores psicopedagógicos que pudieran predecir el logro escolar. Por último, consideramos que este tipo de trabajos es una forma de afrontar el problema acuciante del fracaso escolar. 5. BIBLIOGRAFÍA CONSEJO ESCOLAR DE CANARIAS (1995): El Rendimiento Escolar en Canarias. Cursos: 1991-92; 1992-93; 1993-94. La Laguna: Consejo Escolar de Canarias. Gobierno de Canarias. CRONBACH, L. J. (1951): Coeficient alpha and internal structure of tests.Psychometrika, 16: 297-334. EYSENCK, H. J. (1996): Usos y abusos de la Psicología.Madrid: Biblioteca Nueva. PELECHANO, V. (1989): Fracaso Escolar y Calidad de la Enseñanza en Niveles no Universitarios. El caso de Canarias. Valencia: Alfaplus. PELECHANO, V., CLEMENTE. A., BAGUENA, M. J. Y BERGES, A. (1981): Una nota sobre análisis de criterio: el caso del rendimiento académico. V. Pelechano (Ed.). Intervención Psicológica. Valencia: Alfaplus. |