2.1.Una lectura de las escalas de rendimiento en los estudios internacionales

Una vez que hemos aclarado lo que significan las escalas de rendimiento y la lectura que de ellas se puede hacer, quisiera ahora presentar algunos resultados de los alumnos españoles en los estudios internacionales disponibles, particularmente los señalados. Nos interesa ver los resultados de las escalas de rendimiento, no los valores medios que tienen poca utilidad. Es más importante saber cuántos alumnos tenemos en cada tramo de la escala y comparar las referencias cualitativas de cada tramo (las competencias, destrezas y conocimientos) con lo que entendemos que sería deseable. Naturalmente esto no lo podremos hacer en estas breves páginas, pero sugiero que es la lectura que se debería hacer en cada unidad de decisión a la que los resultados afectan de manera directa.

A continuación presento una serie de figuras que recogen los resultados de PISA en los últimos años (2003, 2006 y 2009), a la espera de conocer los resultados de 2012. Están elaborados a partir de los resultados ofrecidos cada año por el Instituto Nacional de Evaluación Educativa. He seleccionado como elemento de comparación solo tres países distintos del nuestro: Corea, Finlandia y Canadá. Son tres países que no coinciden en sistema educativo, ni en cultura, ni en idioma ni siquiera en continente. Sí coinciden en una cosa: presentan unos de los resultados más altos en las diversas escalas de rendimiento y quizá, como señala el informe de Barber y Mourshed (2007) en que tienen los mejores profesores, al menos los más eficientes.

Los gráficos están simplificados, de manera que las escalas de rendimiento las he compactado en tres tramos: el de “rendimiento bajo”, menor o igual a 2, el de “rendimiento medio” (valores 3-4) y el de “rendimiento alto (5-6)”. Los números que figuran dentro de cada barra en los gráficos se refieren al porcentaje de estudiantes del país o comunidad en ese tramo de la escala. Para ver el significado cualitativo de cada tramo, como ya señalé anteriormente, habría que referirse a los informes de resultados que están disponibles en la web del citado Instituto Nacional de Evaluación, cosa que aquí no haré para no alargar este trabajo más de lo prudente.

01

Figura 2. Rendimiento en Matemáticas en PISA 2003 (elaborada a partir de los datos del informe español)

02

Figura 3. Rendimiento en Ciencias en PISA 2006 (elaborada a partir de los datos del informe español)

No parece necesario hacer un análisis muy pormenorizado de estos gráficos, pero sí que me interesa hacer algunos comentarios que son extensibles a cualquiera de ellos. Me voy a fijar intencionadamente en los extremos que son, a mi entender, los que mejor nos permiten caracterizar la situación, al tiempo que me referiré exclusivamente a España y, lógicamente, a Navarra; cualquier lector podrá ampliar la lectura a otras comunidades que le puedan interesar, incluso a otros países remitiéndose a los informes completos de estas evaluaciones.

En primer lugar, vemos que en los años 2003 y 2006, en los que hay menos comunidades autónomas participando con muestras suficientemente grandes como para permitir estimaciones independientes de España, el porcentaje de alumnos en los niveles inferiores en los países tomados de referencia varían entre el 19% y el 33%, en España lo hace entre el 47% y 48%, Navarra está en el 39% (año 2006, no hay datos en 2003). Por el contrario, el porcentaje de alumnos con rendimientos más altos está entre el 20-25% en 2003 y 9-21% en 2006 en los países de referencia. Navarra tiene un 9% de alumnos en el nivel superior, como Corea, pero lejos de Canadá o Finlandia. En suma, un excesivo número de alumnos con rendimientos deficientes y un escaso número de alumnos con rendimientos destacados o sobresalientes. Ninguna de las dos cosas es deseable y, como veremos, es una tendencia casi estructural que se repite con demasiada frecuencia en nuestro sistema educativo.

Echemos ahora un vistazo a los resultados de PISA 2009 en el que hay más elementos de comparación, pues todas las comunidades autónomas ampliaron su muestra y, por tanto, tienen resultados con un nivel de precisión razonable, como los países.

03

Figura 4. Rendimiento en Comprensión Lectora en PISA 2009 (elaborada a partir de los datos del informe español)

Mientras los niveles más bajos de comprensión lectora implican al 21-30% de alumnos en Finlandia, Canadá y Corea, en España este porcentaje se eleva al 47%, siendo en Navarra de un 39%. En el otro extremo vemos que los niveles superiores de rendimiento son alcanzados por un 13-15% de alumnos de los países de referencia, mientras que en España este porcentaje es cinco veces menor que en Finlandia, un 3%, situándose en Navarra en un 5%.

04

Figura 5. Rendimiento en Competencia Científica en PISA 2009 (elaborada a partir de los datos del informe español)

En competencia científica nos encontramos una tendencia similar. Así, mientras en Finlandia hay un 21% de alumnos en los niveles inferiores y un 18% en los superiores, en España los porcentajes son del 46% y del 4%. Algo mejor es la situación de Navarra, desde luego, mejor que la de España, pero bien lejos de los países tomados como referencia (38% de alumnos con niveles bajos y un 6% en los niveles altos), la tercera parte que Finlandia o la mitad que Corea.

En relación con los resultados de Matemáticas en España tenemos un 48% (casi la mitad de la población) con niveles bajos de rendimiento, aproximadamente el doble que en los países tomados como referencia. Por el contrario, en los niveles de rendimiento excelente estos países tienen entre el 18 y el 26% de sus alumnos, mientras que España tiene un 8%, algo menos de la tercera parte que Finlandia. Navarra está ciertamente mejor, pero no mucho mejor, ya que los alumnos con rendimientos bajos alcanzan al 36% y los alumnos de rendimiento excelente son solo el 13%, muy por encima de España, pero por debajo de otras comunidades como La Rioja, Castilla-León o Aragón.

05

Figura 6. Rendimiento en Matemáticas en PISA 2009 (elaborada a partir de los datos del informe español)

Ante estos resultados podemos ver dos claros problemas. El primero es que el sistema español (el navarro en la parte correspondiente) no parece tener mecanismos adecuados para reducir de manera importante a los alumnos que van retrasados pero, en particular, no tiene capacidad para “bombear” alumnos a los niveles superiores de rendimiento, como ya otros autores han puesto de manifiesto hace años (Cf. Gaviria, 2003). Estos datos son preocupantes porque además de no recuperar eficientemente a los alumnos con bajo rendimiento, tampoco parece que seamos capaces de promover la excelencia de los más capaces, con el efecto negativo que esto tiene en el desarrollo de los escolares y, por ende, en la construcción social (Tourón, 2012).

Se trata de disfrazar en ocasiones estos resultados utilizando el término equidad para señalar que, si bien no tenemos muchos alumnos con resultados excelentes, la dispersión de los resultados entre los de menor y mayor rendimiento no es muy amplia. Se ha dicho expresamente que España se encuentra bien situada en cuanto a la equidad conseguida en su sistema educativo y debería esforzarse en mejorar los resultados de rendimiento para conseguir una mayor excelencia (INEE, 2003). Sin embargo, esta es una manera equivocada de entender la equidad, haciéndola equivaler a igualdad o ausencia de diferencias extremas de rendimiento entre unos y otros.

La igualdad entendida como homogeneidad de resultados no puede convertirse en un objetivo de la política educativa. La homogeneidad en sí misma no es deseable, excepto si va acompañada de unos resultados medios muy altos. Ese sí debe ser un objetivo de la acción política, el lograr el máximo rendimiento de todos y cada uno de los alumnos” (Gaviria, 2003). No es posible extenderse más en esto punto, pero el argumento me parece que está claro. Un sistema educativo tiene que “promover la excelencia, que equivale a facilitar los recursos educativos necesarios que permitan a cada alumno llegar tan lejos, tan rápido, con tanta amplitud y con tanta profundidad como su capacidad y competencia le permitan (Tourón, 2011). Esto, por mucho que algunos se empeñen, no va contra la igualdad de oportunidades, justamente es una exigencia de la misma si se entiende en su correcta acepción.

Veamos rápidamente que ocurre con los resultados del estudio TIMSS-PIRLS (alumnos de 4º de Primaria), cuyos resultados se acaban de presentar hace escasos meses en dos volúmenes. El segundo en el que he participado con otros colegas, contiene interesantes análisis secundarios (INEE, 2012). En este estudio solo ampliaron su muestra dos comunidades autónomas, por lo que los comentarios los voy a referir a España en su conjunto.

Como sabemos, PIRLS se ocupa del análisis de la comprensión lectora partiendo de unos marcos de referencia que pueden encontrase en la web del Instituto Nacional de Evaluación Educativa, lo mismo que los informes de resultados completos.

El gráfico siguiente (ver figura 7) se refiere a la Comprensión Lectora y los países participantes no son los mismos que en PISA, no obstante vamos a ver que se da en los resultados una tendencia similar. En primer lugar vemos que España tiene tan solo un 4% de alumnos en el nivel de rendimiento alto o excelente (avanzado), frente a valores del 19-18% en países como la Federación Rusa, Irlanda, Hong Kong, Finlandia o Inglaterra. Por el contrario, en los dos niveles más bajos tenemos el 28% de alumnos frente al 8-13% de los países de cabeza.

Esto significa sencillamente que tenemos una quinta parte de alumnos de rendimiento avanzado respecto a los países con mejores rendimientos y más del doble de alumnos con rendimientos bajos. Las dos cosas son preocupantes y lo mejor sería reconocerlo para poder abordar las soluciones más adecuadas.

06

Figura 7. Resultados de Comprensión Lectora en PIRLS. Tomado del informe español

No son muy distintas las cosas si nos referimos a las Matemáticas, tal como muestra la figura 8. Apenas un 1% de alumnos en los niveles superiores o un 44% en los inferiores tenemos en España, mientras que en Hong Kong-China tienen, respectivamente, el 37% y el 4%.

Los resultados en Ciencias que se recogen en la figura 9 son del mismo tenor que los anteriores. Ahora los alumnos con rendimientos altos llegan al 4%, por debajo incluso de la media de la OCDE, mientras que en los países de cabeza están entre el 15-20%. Los rendimientos bajos alcanzan en España al 44% de sus alumnos, mientras que en los países de cabeza están entre el 4% y el 22%.

Una situación claramente deficiente que exige un análisis profundo y quizá poner en marcha otras medidas que inviertan esta tendencia. Obsérvese que en estos datos estamos hablando de las escalas de rendimiento, no de los valores medios que vienen afectados por los valores extremos. Estamos poniendo directamente el énfasis en la distribución de nuestros alumnos respecto a los niveles de dominio de la escala, por lo que estos datos vienen a referirse directamente a lo que saben o dominan o no saben ni dominan qué porcentaje de nuestros alumnos (ver figura 1). Este es el análisis que nos importa.

Es preciso ahora analizar en qué grado los expertos en desarrollo del currículo, en la enseñanza de las diversas materias, los servicios de inspección y planificación educativa y otros, consideran que se pueden afrontar medidas de actuación concretas -a partir de los resultados logrados- que palíen esta situación, de otro modo la evaluación no tendrá consecuencias y, como ya dije, una evaluación sin consecuencias es una evaluación inútil, más aún puede ser perjudicial.

07

Figura 8. Rendimiento en Matemáticas en TIMSS. Resultados del informe español

08

Figura 9. Rendimiento en Ciencias en TIMSS. Resultados del informe español

Si buscamos pretextos o indicadores indirectos, que los hay, que puedan ser en parte responsables de algunas diferencias o, dicho en términos técnicos, de parte de la varianza de los resultados, podremos correr el riesgo de excusar cualquier resultado. De hecho la varianza entre centros en España es razonablemente pequeña.

Me parece más sensato para el sistema educativo preguntarse: ¿con los recursos que tenemos es posible hacerlo mejor? ¿ser más eficientes? No tengo duda de que sí se puede. De hecho, nuestros resultados en TIMSS-PIRLS son inferiores de los esperados de acuerdo con el citado ISEC. Por otra parte, no trataré este asunto aquí, pero merece la pena mencionarlo, “existe una mayor variabilidad entre los centros en el ámbito internacional que en España en ambos estudios [TIMSS y PIRLS]. En España la variación global entre unos centros y otros está en torno al 20%, mientras que en el ámbito internacional es superior al 25%.” (Cf. INEE, 2012, 100). Que la varianza entre los centros sea baja cuando los resultados no son altos en conjunto no es nada deseable, pues apunta a un problema estructural, probablemente debido a la organización, autonomía, formación de los profesores y otros.

Es cierto que las comparaciones lineales entre países o sistemas educativos no son estrictamente adecuadas, pero no lo es menos que los resultados que estamos comentando no se explican solo por los índices socioeconómicos o la inversión, asuntos en los que ahora no podemos entrar, pero que pueden verse en el informe de la OCDE Education at a Glance de 2012. La inversión en educación no es solo una cuestión de cuantía, lo es también de eficiencia, tal como demuestran los datos publicados. Pero en cualquier caso, no olvidemos que estamos hablando de un nivel de enseñanza muy básico, que no requiere de inversiones muy especiales. Me pregunto dos cosas: a) ¿es conveniente seguir ignorando o dulcificando estos resultados con pretextos diversos? y b) ¿es posible con nuestro nivel de recursos obtener mejores resultados? Para mí las respuestas son sencillamente: no y sí.

No es necesario insistir más que en una cosa: la situación exige un análisis serio, desapasionado y constructivo. Tenemos un sistema educativo con un potencial probablemente infrautilizado.

Compartir
POST ANTERIORDE HIJA DEL HAMPA A PROFESORA EJEMPLAR
SIGUIENTE POSTESTRUCTURA CURRICULAR
Vicerrector de Innovación y Desarrollo Educativo en la Universidad Internacional de La Rioja-UNIR desde septiembre de 2015, soy Catedrático de Métodos de Investigación y Diagnóstico en Educación y Doctor en Ciencias de la Educación y Ciencias Biológicas. Past-President del European Council for High Ability (2000-2004) y miembro del National Advisory Board del Center for Talented Youth (CTY) de la Universidad Johns Hopkins (2003-2011). Fundé y dirigí el centro para la atención educativa de alumnos de alta capacidad CTY España, International Charter Member del CTY de la Universidad Johns Hopkins (2001-2011). He sido profesor de la Universidad de Navarra durante 36 años (1979-2015). Mi carrera investigadora en el desarrollo del talento académico en jóvenes de alta capacidad me ha llevado a ser Consultant Editor de algunas de las revistas extranjeras más prestigiosas de este ámbito entre las que destacan: High Ability Studies, Education Today, Talent Development and Excellence, Sobredotaçao, Gifted and Talented International, Abilities and giftedness; así como de algunas de las españolas más reconocidas como la Revista Española de Pedagogía, Estudios sobre Educación, RELIEVE, Bordón, Educación XXI o Revista de Educación. Soy miembro de Sociedades Científicas como: International Association for Talent Development and Excellence European Council for High Ability World Council for Gifted and Talented Children National Association for Gifted Children (EE.UU) Sociedad Española de Pedagogía He publicado más de 150 trabajos de investigación en revistas españolas y extranjeras y soy autor y coautor de 30 libros y capítulos de libros, varios de ellos dedicados a la alta capacidad y el desarrollo del talento, así como a la evaluación de Sistemas Educativos.