Llamado de atención y reflexión sobre la evaluación y el uso de los resultados. Oportunidades de aprendizaje y mejora en Estados Unidos y Latinoamérica.

El uso de pruebas estandarizadas es una práctica reciente en América Latina, aunque tiene una historia más larga en Estados Unidos. Hasta hace unas tres décadas, sin contar las pruebas de ingreso a la universidad, se trataba de pruebas de bajo impacto, porque sus resultados no influían en decisiones importantes respecto a cada alumno, ni tampoco respecto a maestros y escuelas individuales.

En Estados Unidos esa situación comenzó a cambiar en la década de 1980 y la tendencia se acentuó en la de 1990, para culminar en las disposiciones de la Ley No child left behind, de 2002, con la que las pruebas a gran escala adquirieron un gran peso en decisiones relativas a alumnos, maestros y escuelas. En Latinoamérica ocurre algo similar. Aunque legalmente las pruebas no tengan un valor especial, su impacto puede ser muy fuerte si se aplican masivamente y sus resultados se difunden, especialmente cuando se hacen ordenamientos simples de escuelas, basados en los puntajes obtenidos por los alumnos, sin tener en cuenta el contexto de cada una.

Algunas críticas a las pruebas provienen de personas que las rechazan en bloque, sin matices que tengan en cuenta sus variantes y los usos de sus resultados. Las críticas siguientes, en cambio, vienen de personas conocedoras de las pruebas y que, en general, son partidarias de su uso adecuado. A diferencia de los críticos radicales, lo que estos juicios cuestionan son usos de la evaluación que creen ilegítimos, porque no tienen en cuenta los alcances y las limitaciones de las pruebas, lo que lleva a hacer un uso abusivo de sus resultados, con consecuencias negativas que pueden ser serias.

Currículo y mejora de la enseñanza

A propósito del creciente peso que la evaluación basada en pruebas adquirió en Estados Unidos, antes de la Ley No child left behind, un experto reconocido dijo que la tendencia se debía a la preocupación -en muchos casos fundada- de muchas personas respecto a la calidad de las escuelas, y que en ese contexto las pruebas adquirieron un peso predominante. Luego se refirió a las consecuencias negativas de la importancia excesiva y mal enfocada que se les estaba dando:

Por la errónea utilización de pruebas estandarizadas tradicionales para evaluar la calidad de las escuelas, hay cosas realmente terribles que están ocurriendo en las escuelas en estos días. Una es que aspectos importantes del currículo se están haciendo a un lado, porque no son medidos por las pruebas. Otra es que los niños están siendo entrenados sin descanso para que dominen el contenido de esas pruebas de alto impacto y, en consecuencia, están comenzando a odiar la escuela. Y una más es que, en muchos casos, los maestros se dedican a preparar a sus alumnos para las pruebas, lo que se parece mucho a hacer trampa, porque están inflando las puntuaciones de los alumnos sin elevar su competencia en los aspectos que se supone miden las pruebas. (Popham, 2001)

Popham dejaba claro que su postura no se refería a cualquier forma de usar pruebas, sino a ciertas formas inapropiadas de hacerlo. Afirmaba, expresamente, que pruebas bien diseñadas y utilizadas adecuadamente pueden ser de gran valor para la educación:

Está surgiendo en nuestro país una resistencia a cualquier tipo de pruebas. Pienso que esto no es sano. Creo que hay que usar pruebas bien construidas, que ayuden a los maestros a mejorar su enseñanza. Pienso también que el público tiene derecho a saber qué tan bien funcionan las escuelas. Por ello pienso que oponerse a cualquier tipo de pruebas es negativo para los alumnos. Tenemos que hacer buenas pruebas, que pueden ser una fuerza poderosa para mejorar la enseñanza, haciendo que los alumnos aprendan lo que deben aprender. (2001)

En 2008, viendo que sus temores respecto a la extensión de las pruebas sin las debidas consideraciones se habían vuelto realidad, Popham precisa dos razones por las que una buena idea -conseguir que los alumnos alcancen altos niveles de competencia- está teniendo las consecuencias que él anticipaba: el exceso de contenidos que trae consigo una definición inadecuada de estándares, y uso de pruebas inapropiadas para verificar su cumplimiento. (2008: 18-22)

La aplicación de la Ley No Child Left Behind ha evidenciado problemas importantes y consecuencias contraproducentes, sobre todo para escuelas públicas: pocas de ellas podrán satisfacer las exigencias de avance anual que establece la Ley, y la gran mayoría (tal vez más de 95% en todo el país) deberán ser clasificadas como deficientes y enfrentar consecuencias que pueden llegar hasta su cierre. (Oakes y Lipton, 2007)

Otro investigador destacado, antes también de la ley mencionada escribía:

Me veo llevado a concluir que, en la mayoría de los casos, los instrumentos y la tecnología no han estado a la altura de lo que esperaba de ellos la rendición de cuentas de alto impacto. Los sistemas de evaluación basados en pruebas, que son útiles para propósitos de monitoreo, pierden mucha de su confiabilidad y credibilidad cuando se les asocian consecuencias fuertes. Los efectos negativos inesperados de usos de alto impacto de la rendición de cuentas frecuentemente son más importantes que los efectos positivos que se buscaban. (Linn, 2000: 16)

Otros estudiosos apuntan probables causas de las expectativas que llevan a usos no adecuados de las pruebas:

Los sistemas de rendición de cuentas basados en pruebas se fundan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas de rendimiento y asocie consecuencias fuertes a las pruebas, con premios cuando los resultados suben y sanciones cuando no ocurra. (Hamilton, Stecher y Klein, 2002: iii)

Mejoras, luces y sombras

Muchas personas no valoran lo difícil que es tener buenos resultados con alumnos de origen social desfavorable. En México, es frecuente que dirigentes empresariales vean con simpatía las estrategias simplistas a las que alude la cita anterior, pensando que las fallas de la escuela pública se podrían corregir fácilmente con escuelas privadas como las que atienden a sus hijos; pero ignoran que menos del 10% de los niños mexicanos, en general de condiciones privilegiadas, asisten a ellas. Probablemente por eso son frecuentes las opiniones de que bastará con aplicar pruebas masivamente, y tomar medidas correctivas simples, para que la calidad de la educación mejore sustancialmente.

Los desarrollos recientes en América Latina apuntan en dirección similar a la observada en Estados Unidos: se tiende a pensar que aplicar pruebas censales, cuyos resultados permitan comparaciones directas y simples entre escuelas, facilitará tomar decisiones que lleven a mejoras sustanciales a corto plazo. Una docena de países está incursionando en la aplicación de pruebas censales. El riesgo de consecuencias contraproducentes es real.

Un balance actual de la evaluación tiene luces y sombras. En el lado positivo están los avances técnicos; la formación de especialistas de buen nivel; la creciente conciencia ciudadana del derecho a conocer los resultados; y el que algunas autoridades comiencen a usar los resultados para tomar decisiones. En el lado negativo, el número ya excesivo y creciente de pruebas que se desarrollan y aplican; el predominio de la evaluación a gran escala sobre la que deben hacer los maestros; el uso inapropiado de los resultados; y su excesivo peso en el diseño de las políticas públicas.

La proliferación de pruebas va acompañada por el interés de que sus resultados se usen para tomar decisiones que mejoren la calidad. Esto se relaciona con la tendencia a la rendición de cuentas y cobra sentido en el contexto de corrientes más amplias: búsqueda de transparencia en los asuntos públicos; desconfianza respecto de la educación pública y, en general, respecto a la gestión pública de los servicios. A ello se añade la escasa cultura de evaluación, no sólo entre el público, sino también entre maestros y autoridades, e incluso entre investigadores. Esto lleva a esperar resultados casi milagrosos en las escuelas gracias a la aplicación de pruebas, sin tener en cuenta sus alcances y límites.

Pruebas y trabajo del maestro

Para que se concreten las perspectivas favorables asociadas con las pruebas se necesita una visión más completa de sus posibilidades. Las pruebas a gran escala tienen rasgos que limitan su capacidad para informar sobre muchos aspectos importantes de lo que debe incluir el currículo, sobre todo en aplicaciones censales y si se quiere cubrir muchos grados con frecuencia. Además las pruebas nunca podrán sustituir el trabajo del maestro.

Sólo un buen maestro puede hacer la evaluación más importante de cada alumno, una que incluya todos los aspectos del currículo y los niveles cognitivos más complejos, que tenga en cuenta las circunstancias de cada niño y se haga con la frecuencia necesaria para dar retroalimentación oportuna, con el fin de que el alumno mejore. Este tipo de evaluaciones son las que deben hacerse en cada aula regularmente. Muchos maestros no tienen la preparación necesaria para hacer bien dicha evaluación, pero ninguna prueba a gran escala podrá ocupar su lugar. Habrá que apoyar a los docentes para que cumplan bien con su función evaluativa, viendo a las pruebas como uno de esos apoyos.

Aún bien hechas, las evaluaciones a cargo de los maestros tienen también limitaciones. En particular sus resultados no son agregables, no permiten sacar medias que informen sobre la situación de todo el sistema educativo. Las pruebas a gran escala sí pueden hacerlo y son insumos valiosos para la toma de decisiones, siempre que se las vea como complementos del trabajo de los maestros y no pretendan sustituirlo.

La evaluación no se debe ver como amenaza, sino como oportunidad de aprendizaje y mejora. Los resultados de pruebas, en vez de servir para hacer ordenamientos simples, pueden ayudar a detectar oportunamente alumnos en riesgo y escuelas que necesiten apoyo especial, para brindarlo oportunamente a unos y otras, en lugar de propiciar competencias estériles e injustas, de las que se derivan consecuencias perversas.

(*) Profesor de la Universidad Autónoma de México, exdirector del INEE.

Referencias
-Hamilton, L. S., Stecher, B. M. y Klein S. P. (Eds.). (2002). Making sense of test-based accountability in education. Santa Monica, CA: Rand Corporation.

-Linn, R. (2000). Assessments and accountability. Educational Researcher, 29 (2), 4-16.

-Martínez Rizo, F. (2009). Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. Revista Electrónica de Investigación Educativa, 11 (2).

-Oakes, J. y Lipton, M. (2007). Teaching to change the world. Nueva York: McGraw Hill.

-Popham, W. J. (2008). Standards-based education: Two wrongs don't make a right. En S. Mathison y E. W. Ross, eds. The nature and limits of standards-based reform and assessment (pp. 15-25). Nueva York: Teachers College Press, pp. 15-25.

-Popham, W. J. (2001). Frontline: testing our schools: interviews: James Popham. http://www.pbs.org/wgbh/pages/frontline/shows/schools/interviews/popham.html

Las pruebas de rendimiento y sus consecuencias