TIMMS Y PISA 2015
LA REALIDAD ESCOLAR A LA LUZ DE DOS INFORMES
1
TIMMS
Comenzaremos analizando los resultados del estudio TIMMS 2015. Sin perder de vista el siguiente interrogante: ¿Y los más capaces?
Acaban de publicarse hace unos días los resultados del estudio TIMSS (Trends in International Mathematics and Science Study) en el que España participa. Como se sabe es una evaluación internacional que realiza cada cuatro años la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), que examina el rendimiento en Matemáticas y Ciencias de los alumnos de cuarto curso de primaria (en el caso de España), valorando tanto los dominios de contenido como los dominios cognitivos en estas dos áreas.
Una vez más hay que felicitar al Instituto Nacional de Evaluación Educativa (INEE) por su excelente trabajo de divulgación, tanto en su web como en las redes sociales, y por elaboración de los informes y las notas que los acompañan. Una información completa puede verse aquí.
Para sacar partido a los resultados de este tipo de estudios es preciso conocer bien las escalas de rendimiento: qué son y qué expresan, porque aquí está la clave de la comprensión de las puntuaciones, más allá de la media que no nos dice demasiado. A quienes no estéis familiarizados con estas escalas os recomiendo leer las entradas en las que hablaba de este asunto: esta y esta otra. Dado el número de estudios internacionales en los que España y sus Comunidades participan es obligado que los profesores y los padres comprendan y sean capaces de analizar los resultados y su alcance.
«Como la mayoría de evaluaciones internacionales, TIMSS utiliza la metodología conocida como Teoría de Respuesta al ítem (TRI) para analizar las respuestas de los alumnos. La TRI no puntúa el rendimiento de un alumno según su porcentaje de aciertos sobre el total posible, sino en función del nivel de dificultad de las preguntas que ha sido capaz de responder. Por otra parte, la TRI permite situar el nivel de competencia de cada alumno en una escala común, con independencia de las preguntas que le hayan correspondido en su cuadernillo de la prueba».
Tomado del propio informe
Los datos relativos a la muestra de alumnos españoles en su conjunto y a las muestras ampliadas de las comunidades autónomas se recogen a continuación. Como ya dije en su momento, estos estudios buscan obtener estimaciones de los parámetros poblacionales, pero no sirven para estimar el rendimiento de alumnos particulares o centros educativos concretos (no están diseñados para eso). Son evaluaciones de conjunto en las que las estimaciones se refieren a países o, en este caso, a regiones o Comunidades que deciden ampliar sus muestras para que puedan hacerse estimaciones razonablemente precisas de las mismas, como si se tratase de países. Es el caso de las Comunidades Autónomas que se señalan en la tabla.
¿Por qué no están todas las Comunidades autónomas? Habrá razones diversas supongo, pero es una lástima.
La escala en la que se expresan las puntuaciones tiene una media de 500 puntos y una desviación típica de 100 (por construcción, son valores inicialmente arbitrarios, podrían haberse escogido otros). Los intervalos en los que se divide se pueden ver en la tabla adjunta. Desde rendimientos muy bajos (inferiores a 400 puntos), hasta avanzados (superiores a 625 puntos).
En esta tabla podemos ver cuáles son los conocimientos y destrezas que se ha definido para cada tramo de la escala de acuerdo con los items utilizados. Permiten comprobar las destrezas que son de cada nivel en cada una de las materias, lo que puede resultar de gran interés desde el punto de vista curricular.
PISA 2015
LA OTRA CARA DE LOS RESULTADOS
Acaban de presentarse, el pasado día 6 en Londres, los resultados del estudio PISA 2015 elaborado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE). En el acto intervinieron Ángel Gurría, Secretario General de la OCDE y Andreas Schleicher, Director de Educación de la misma organización. La presentación, que pudo seguirse en streaming, se puede volver a ver desde este enlace.
El propio Schleicher en una entrevista a un diario nacional señalaba que los resultados cosechados por España en el último informe —con un aumento de dos puntos en matemáticas hasta 486 puntos, una bajada de tres hasta 493 puntos en ciencias y una mejora de ocho puntos en lectura (hasta 496), que la sitúan en la media de los países industrializados, reflejan el estancamiento que ha tenido el país en el examen, con notas casi inalterables durante las seis ediciones celebradas desde 2000.
«No tengo una respuesta fácil para España, excepto que su concentración excesiva en la legislación y las normas ha desviado la atención lejos de lo único que logrará mejores resultados de aprendizaje: la calidad de la enseñanza», señalaba Schleicher. Y concluía: «La calidad de la educación nunca será mejor que la calidad de los profesores», (…) «la clave está en empoderar a los profesores para que lideren esta transformación; pero eso solo puede ocurrir si saben lo que se espera de ellos y reciben el apoyo necesario para enseñar con eficacia».
PISA, como casi todo el mundo conoce, no es una evaluación curricular (no puede serlo porque los curricula de los países no son iguales), pero mide el impacto del sistema educativo en las habilidades y destrezas de los alumnos que se desarrollan, en buena parte, por el efecto de este. Hay algunos mitos sobre PISA que el INEE resume bien aquí.
Las reacciones a los resultados han sido tan diversas como pasajeras. Decimos en Galicia: «pasou o día, pasou a romería». A los que les ha ido mejor han echado las campanas al vuelo calificando los resultados de «soñados», y a los que les ha ido peor dicen cosas como que los centros elegidos han sido de tal o cual tipo y no representativos. Conociendo el manual de muestreo de PISA es difícil sostener algunas de estas afirmaciones. A mi juicio, ni tan bien, ni tan mal. Ahora intentaré explicarme
La reacción ante la evaluación debería ser de otro tipo, a mi juicio. Si los resultados son buenos, tratemos de saber por qué para mantener las causas que los han originado. Si son malos, analicemos por qué para remover las causas que impiden rendir mejor. Ni echar las campanas al vuelo, ni dar patadas al aguijón son reacciones esperables por parte de responsables educativos. La evaluación tiene un gran poder optimizador del objeto evaluado si se utiliza cabalmente. La investigación, que suele seguirla, aporta todavía más explicaciones útiles sobre qué hacer, incluso sobre cómo hacerlo.
El informe preliminar español completo que inserto más abajo me permite decir que los resultados siguen siendo preocupantes. Ofrezco unas reflexiones a continuación que me encantaría que leyesen los responsables educativos de las Comunidades Autónomas y del Ministerio de Educación, como si esto fuera una carta abierta para ellos (estuve tentado a darle esa orientación).
1
Hablar de los países del entorno, de la media de la OCDE o mencionar a algún país como referencia es casi siempre un argumento defensivo. Los resultados deben analizarse en sí mismos primero y ponerlos en contexto, si se quiere, después.
2
La media solo representa bien a los que están en la media. Por eso es preciso hacer un análisis un poco más detenido de los resultados. Yo lo hice en una entrada anterior sobre PISA 2012, por ejemplo esta.
3
Lo importante en PISA no es la media sino las escalas de rendimiento. «La definición de los niveles de rendimiento de las áreas evaluadas en el estudio PISA desempeña un papel clave para interpretar y valorar los resultados de los alumnos, puesto que en ella se establecen los conocimientos que deben tener los estudiantes para alcanzar cada uno de los niveles descritos, así como las destrezas necesarias y las tareas que deben realizar para resolver los problemas planteados. La descripción de los niveles de rendimiento se corresponde con la dificultad de las preguntas o ítems adaptados a cada uno de los niveles» (PISA 2015, informe español, p. 72)
4
Sería pues de la máxima importancia que se analizasen las referencias cualitativas de las escalas, por parte de los expertos en curriculo y el profesorado especialista de las áreas implicadas para que valoraran si las destrezas, conocimientos y habilidades que aparecen en los diversos niveles de las mismas son las deseables para la formación de nuestros escolares. Es decir, para valorar si aparecen como difíciles (niveles altos) competencias que deberían ser medias o fáciles, por ejemplo.
5
Una información crítica es conocer el porcentaje de alumnos que se encuentran en cada uno de los tramos o niveles de la escala, como se muestra a continuación:
En esta figura se encuentra, a mi juicio, el principal motivo para decir que los resultados no son buenos: un exceso de alumnos con bajo rendimiento con distinto nivel de gravedad (zona marrón, nivel 1b e inferior) y un escaso porcentaje de alumnos en los niveles 5 y 6 (verde oscuro y claro). Sí, es cierto que Castilla y León o Navarra y Madrid tienen un porcentaje similar al de la OCDE (incluso superior en 1 punto en Castilla y León). Pero la media de la OCDE, ¿debe ser nuestra referencia? ¿a quién representa? No olvidemos que la OCDE es, por así decirlo, una abstracción. Los países y sus ciudadanos, escolares en nuestro caso, una realidad. Por eso, observemos la figura siguiente.
Los países de cabeza tienen entre el 25% y el 14% de sus alumnos en los niveles de rendimiento más alto o excelente. Es decir, entre 2 y 3 veces más que en nuestras mejores comunidades y, desde luego, que España en su conjunto, que tiene un 5% de alumnos en nivel 5 y ninguno en nivel 6.
6
¿Dónde están los alumnos excelentes? ¿Los de más capacidad? ¿Los de más talento? ¿Los de alto rendimiento?
7
Hace unas fechas escribí, en este blog, sobre «La caprichosa distribución de la inteligencia en España«. ¿Es posible que estos datos, que son del Ministerio de Educación, no preocupen a casi nadie? Pero, ¿cuántos alumnos de más capacidad hay en España? Si comparamos ambas tablas (a pesar de que difieren temporalmente) nos percataremos de que nuestro sistema educativo pierde talento a manos llenas y no hace nada, o muy poco, para remediarlo.
8
No me importa repetirme: las escuelas, ¿son una máquina de destruir talento? Me parece que sí, al menos en términos generales, «porque el talento que no se cultiva, se pierde.» Y sin identificación no hay intervención, y sin esta no hay desarrollo. Pero en este punto, entre la legislación que se ignora y la que señala criterios insostenibles, se nos dibuja un panorama desolador para los más capaces. Precisamente los que más habrían de aportar al desarrollo social, científico, técnico, artístico, etc.
9
Es imprescindible que se aborde con seriedad y realismo este problema que impide que podamos hablar de equidad y de igualdad para un gran número de estudiantes. Esto tiene consecuencias funestas para el desarrollo personal y también social, como acabo de señalar. Y es que sí, la excelencia es una meta del sistema educativo.
¡Cultivarla, además de ser una acción de justicia, ayudaría a subir la media, que parece que es lo único que aparentemente preocupa!
En la excelente figura interactiva adjunta (tomada de la web de la OCDE), se puede acceder a los resultados de cualquier país, o Comunidad Autónoma en el caso de España, y ver sus resultados (ampliar con la rueda del ratón para ver detalles de países concretos, seleccionar la materia en la parte inferior. El mapa se desplaza sobre la ventana como cualquier mapa de Google).
Al final incluyo, para más comodidad, el informe español que aporta muchos otros datos de interés que aquí no son del caso ahora, pero que recomiendo vivamente revisar: como la variabilidad entre intracentros, el impacto de ESEC en el rendimiento o el efecto de la inversión en educación y su relación con los resultados y, desde luego (aunque ya queda apuntada) la brecha enorme entre comunidades autónomas que llegan a valores difícilmente sostenibles (casi un curso académico).
