El informe PISA que evalúa 70 sistemas educativos saca un aprobado raso como sistema de evaluación

PISA ha vuelto a todos los titulares. Pasa cada tres años, cuando la OCDE libera los datos del informe de educación más famoso del mundo. Los resultados suelen dar para mucho y adoptan, coinciden los expertos, formas diferentes en función de los ojos que los miren. Son muchos datos, pero el estudio concede pocas explicaciones. 

En esta ocasión, sabemos que España registra ligeras mejoras que la igualan a la media de la OCDE tras la caída de esa puntuación de referencia. Y también que, a priori, que lo que mide PISA es algo más que las competencias que se adquieren entre las cuatro paredes de un aula. Evalúa, como explica la OCDE, la literacia, un conjunto de competencias y destrezas entre las que las curriculares son solo una pequeña parte del pastel.

La experta en Psicología Educativa Elena Martín  destaca en este análisis "el reduccionismo de los aprendizajes evaluados, las limitaciones metodológicas de los análisis y el insano fondo competitivo que subyace a toda su lógica", aunque anima a leer sin maniqueísmos los resultados para extraerles todo el jugo posible. Al menos, sostiene, como gran fuente estadística que sirva como punto de partida para empezar a trabajar en lo local.

"Todo se puede medir mejor"

Esta experta y otros consultados por eldiario.es valoran la aportación de PISA –"conocer es siempre mejor que no conocer"–, pero todos rechazan que los resultados permitan algo tan "monumental" como medir y explicar cómo y por qué funcionan los sistemas educativos de 72 países diferentes a partir de una comparación entre ellos.

"La gran virtud y el gran problema de PISA es homogeneizar los niveles de conocimientos y competencias. Es una tarea muy complicada. Cada sistema tiene sus pecualiaridades y cualquier cosa que midas se podría medir mejor, siempre", apunta José García Montalvo, catedrático de Economía de la Universidad Pompeu Fabra.

La OCDE va introduciendo periódicamente nuevos indicadores y áreas de medición. Este año, por ejemplo, incluye como novedad la resolución de problemas en equipo y los conocimientos financieros. ¿Se puede seguir avanzando sobre la base de PISA? ¿Hay margen para la mejora en la evaluación?

Tres especialistas proponen fórmulas para conocer con más rigor científico y sociológico los porqués de los resultados de PISA, más allá de la mera sucesión de números y correlaciones.

¿Los empollones son buenos en PISA?

"Medir mejor lo que hace PISA" es el objetivo del equipo multidisciplinar en el que trabaja el sociólogo José Saturnino Martínez desde la fundación COTEC. "La idea es evaluar en dos momentos del tiempo a los mismos alumnos para ver qué pasa a través de pruebas equiparables a PISA, algunas psicológicas y otras que aporten indicadores de contenido", explica.

Su fórmula busca, entre otras cosas, estudiar en qué medida las competencias que mide PISA están relacionadas con los contenidos de la escuela, en este caso española. "Así podemos ver qué trabaja el sistema, si incide por ejemplo en el aprendizaje memorístico más que en las competencias. Porque puede ser que estudiantes con notas muy buenas tengan malos resultados en competencias, es decir, en saber aplicar lo que conocen, y viceversa", detalla.

Estas novedades, recuerda Martínez, podrían tener cabida sin pasar por alto que, "como sí muestra PISA, la variable con más fuerza en la vida escolar de los estudiantes es el nivel socioeconómico y cultural de las familias".

En cualquier caso, apunta García Montalvo, la dificultad está en pasar de la correlación –lo que revela como máximo PISA– a la causalidad.  "Para saber que hay una causalidad entre factor y efecto, no puedes hacer como los médicos: suministrar una medicación y evaluar reacciones".

Eliminar la "discusión ideológica"

Todo esto, añade Saturnino Martínez, debería servir para vacunarnos de la "falsa tecnocracia" con la que PISA asocia la política educativa. "Si algo funciona en siete países de 72, entones que lo haga el resto. Pensar esto es absolutamente loco. Hacer política educativa no es verte los datos, sacar unos parámetros y plantarlo en el BOE, que es lo que ha hecho Wert. Y con qué resultado".

"Estamos explicando muy mal PISA porque una gran mayoría se centra en utilizar las estadísticas como arma para justificar por qué alguien lo hizo mal con sus políticas educativas, cuando eso es algo, además, que se aprecia en un plazo largo de tiempo. Los efectos no son inmediatos. El debate técnico y científico queda desvirtuado por la discusión ideológica", critica García Montalvo. 

El catedrático Julio Carabaña pone como ejemplo en este análisis el hecho de que los recortes en educación que ha sufrido España no hayan dejado huella en PISA y se pregunta con escepticismo a "qué factores responde entonces lo que mide la OCDE y de cuánta intensidad".

"No hay que culpar a las herramientas, sino a cómo colectivos con poder se apropian de la interpretación de esa herramienta. Y ahí está la trampa ideológica de la calidad como una regla de medir. ¿Qué es calidad? Es una palabra vacía que cada uno entiende como le da la gana y le interesa", añade en este sentido el sociólogo José Saturnino Martínez. Y lanza una última advertencia: "Lo peligroso es que el debate se ha ideologizado con el disfraz de que no es ideológico".

Más factores subjetivos

Para Enric Prats, profesor de Pedagogía Internacional en la Universidad de Barcelona, la clave para mejorar PISA es combinar factores objetivos con otros. "Ratios, recursos, salarios de docentes, peso de las familias... con cuestiones como la satisfacción con la educación en general y con su educación", explica.

Dice que se lo pregunta a sus alumnos y alumnas y la respuesta a la primera –negativa– es muy diferente a la segunda –positiva–. "Analizar ese dato longitudinalmente, al cabo de tres o cinco años, siendo subjetivo, permite construir una percepción, una tendencia para contrastar muy curiosa".

Con las variables actuales, Prats es rotundo: "No es posible comparar países". "Es comparable si se pudiera asegurar que los alumnos evaluados han seguido unos procesos de aprendizaje similares". Si acaso, remata el experto, el análisis puede ser "con muchas comillas interesante para ver la evolución de un mismo país".

Artículo de Sofía Pérez Mendoza en eldiario.es: "El informe PISA que evalúa 70 sistemas educativos saca un aprobado raso como sistema de evaluación"