Tag Archives: avaluació

Que vol dir “treure un quatre”?

A l’atenció del Director

Benvolguda, benvolgut,
que les persones tenim una mena d’admiració pels nombres diria que ja us n’he parlat alguna vegada. La majoria de persones del nostre gremi donem un valor quasi diví a les xifres, talment com si representessin, sense cap mena de dubte, la realitat. Us dic això a tomb d’una entrevista que vaig llegir al “Diari de l’educació”. L’entrevistat era el professor Jordi Adell, de la Universitat Jaume I de Castelló, un cap clar.

El professor Adell treu ferro a les dades que aporta PISA. Considera que la majoria donem massa importància als resultats d’aquesta avaluació, talment com si representés, de fet, l’avaluació de tot el sistema educatiu quan, en realitat “només” avalua lectura, matemàtiques i ciències. No hi puc estar més d’acord, és clar. Ara bé, en relació a aquests tres àmbits de competència PISA “afina”, no en tinc cap dubte. Personalment només puc parlar amb coneixement de causa de la lectura. Us ben asseguro que els resultats que aporta PISA es corresponen amb força fidelitat a la realitat del sistema.

En canvi no sóc del mateix parer quan afirma que “PISA no avalua medi social i natural perquè no donen diners”. Diria que corre massa quan fa aquesta afirmació. Que PISA té un biaix financer és una obvietat si es té en compte la institució que n’assumeix la iniciativa i el cost: la Organització per al Desenvolupament i la Cooperació econòmiques (OCDE); tenir aquest biaix, però, no considero que la faci necessàriament sospitosa i poc fiable. Avaluar el nivell d’integritat, de justícia o de tolerància a la corrupció, com comenta aquest professor m’imagino que requeriria una prova d’una complexitat extrema i, a part, caldria efectuar un nombre molt important d’inferències a partir dels resultats. Tot plegat, ara per ara i en el format de prova actual, molt complicat, per no dir impossible.

Ara bé, quan torno a estar d’acord amb Adell és quan afirma que: “un alumne que treu un quatre, en cap cas vol dir que sàpiga la meitat del que treu un vuit”. Tot i estar-hi totalment d’acord, l’experiència em diu que “en tenim per anys”: tenim “notes numèriques” per temps. Penseu sinó en la resistència que ofereixen la majoria de docents a l’hora de valorar el nivell de competències dels alumnes. A la fi, tard o d’hora, tothom demana: “Però com puntuem l’avaluació de competències?” Tenim les xifres incrustades a l’ADN del concepte avaluació.

A la segona part de l’entrevista el professor Adell aborda una altra qüestió de la què me n’heu “sentit a parlar” força vegades: la introducció de les TIC a les aules. La idea de fons que defensa és “simple” però complexa a la vegada: Introduir les TIC en els processos d’ensenyament i aprenentatge demana posar-les en mans dels alumnes, no només en mans del professorat. Som molt lluny d’aquest desig, si més no amb caràcter general, de sistema.

Tot plegat, un entrevista massa curta a un home que “té el cap molt clar”.

A veure si us agrada.

Gràcies pel vostre temps.

adell

http://diarieducacio.cat/blogs/bits/2015/03/03/jordi-adell-que-un-nen-tregui-un-quatre-no-vol-dir-que-sapiga-la-meitat-que-un-que-treu-un-vuit/#at_pco=smlwn-1.0&at_si=566d971067dcb5a0&at_ab=per-2&at_pos=0&at_tot=1

“Que un nen tregui un quatre no vol dir que sàpiga la meitat que un que treu un vuit”

Ens atén minuts abans de pronunciar una conferència sobre learning analytics –recopilació i tractament de dades per analitzar els processos d’aprenentatge– al congrés sobre noves tecnologies i educació ITWorldEdu. Jordi Adell és pedagog i professor de Noves Tecnologies aplicades a l’Educació a la Universitat Jaume I de Castelló de la Plana, a més d’un habitual de les jornades en les quals s’intenta desxifrar quin ha de ser el paper de les TIC a les aules.

Comencem parlant de learning analytics. És curiós com un bon coneixedor de l’anàlisi de dades sobre educació sigui molt crític amb les proves PISA. Per què?

Sobrevalorem la informació que ens donen les dades. PISA mesura només les competències en matemàtiques, llengua, ciències i la competència financera, una visió molt estreta de l’educació. I la premsa ho agafa com una mesura absoluta del valor d’un sistema educatiu. A més, qui ha nomenat l’OCDE ministeri d’Educació del món? PISA no detecta els alumnes moralment més desenvolupats, els més justos o els que toleren menys la corrupció; no detecta la funció socialitzadora i individualitzadora de l’educació.

Considera que les dades pesen massa a l’hora de fer polítiques educatives?

Absolutament. Hi ha una forta tendència a simplificar-ho tot en dades. Un nen que treu un quatre no sap la meitat que un nen que treu un vuit. I això realment ens ho creiem. Però en un sistema complex com és l’educació, on les variables i els mecanismes de comportament no sempre són iguals, això no funciona.

“Tot el que es pot mesurar, es pot millorar”. Aquesta és una cèlebre frase atribuïda a Peter Drucker. No la comparteix?

Dins la seva lògica, té sentit. Però podem fer perfectes imbècils mesurant i millorant el nivell imbecil·litat de la gent. Per què PISA no avalua matèries com medi social i natural? Perquè no donen diners. El problema és quan hem d’enfocar l’ensenyament per obtenir bons resultats. És el que s’anomena teaching to the test, la pitjor manera d’educar, que és el que hem fet tota la vida a Segon de Batxillerat: preparar la selectivitat en comptes d’aprendre matemàtiques o filosofia.

Anem a parlar de la incorporació de les noves tecnologies de la informació i la comunicació (TIC) a l’educació. D’entrada, podria identificar quin és, segons vostè, el seu principal avantatge?

Que obren l’escola al món. Acaben amb l’educació com allò que succeeix en una aula de manera tancada, on els únics recursos són els llibres de text i el mestre. Trenquen les parets de l’escola i la fan més transparent i comunicativa envers la societat. Permeten no donar una única visió de les coses. Per això m’entristeix quan veig alumnes amb tauletes connectades a internet que a classe només les fan servir de llibre de text. Gastar-se diners per fer això…

Si ja no és el mestre qui t’explica el món, sinó que ho fa internet, què li queda al mestre?

Ser el traductor. La persona que et guia i dissenya situacions i activitats que permetin entendre la complexitat del món. És el component que aporta saviesa més enllà de la transmissió pura d’informació. I quan aquesta informació és tan confusa i contradictòria com la que tenim en les nostres societats, el mestre esdevé imprescindible.

En una entrevista recent, l’investigador Philip Schmidt explicava que les TIC s’apoderen de la transmissió d’informació però no encara del component emocional de l’educació, que al final és el que motiva l’aprenentatge.

Això encara ho construïm a partir de la interacció humana. El gran valor afegit de les TIC no són els seus cables i els aparells, són les persones que amb cables i wifi s’apropen, es comuniquen i fan coses junts. Aquesta capacitat no ve donada, cal aprendre’n. Ara, per exemple, vivim en un moment molt interessant en què partits polítics nous estan utilitzant les TIC per fer noves formes de política. És un moment apassionant.

Considera que els docents s’estan adaptant als nous contextos digitals?

Crec que no. Saben usar les noves tecnologies però no amb finalitats didàctiques. Molts les integren per fer les coses que ja feien. Cal canviar la mentalitat dels mestres perquè cedeixin als alumnes un paper més actiu en la construcció de coneixement, a partir de les seves necessitats, dubtes i curiositats. I això comença per la formació inicial del professorat, que segueix sent molt tradicional: d’aula i examen.

I sobretot: el mestre ha de deixar de pensar la docència com una activitat aïllada que fa ell sol dins l’aula. Ell és un node dins una xarxa, els seus problemes els han tingut altres mestres abans, i col·laborant i comunicant-se a través de la xarxa ampliarà perspectives i trobarà gent de la qual –i amb la qual– aprendre. Això són els entorns personals d’aprenentatge aplicats al desenvolupament docent.

Internet facilita l’intercanvi de coneixement a la xarxa.

A Espanya hi ha 800.000 docents. Posem que cadascun d’ells publica una activitat didàctica que li hagi funcionat. Potser 750.000 no són prou bones o són repetitives. Així i tot en tenim 50.000 que, si les organitzem al núvol, ens proporciona enormes possibilitats. Al final la virtut de la xarxa és que està conformada per persones. Internet no és un quarto d’eines, sinó una àgora plena de gent.

El discurs favorable a la incorporació de les TIC a les aules topa a vegades amb els problemes del dia a dia a classe. Què li diria vostè a un mestre la foto del qual corre pel WhatsApp dels seus alumnes?

Que té una magnífica oportunitat per explicar-los què és la privacitat de dades i dels perills de les TIC als alumnes. Per ser revolucionari en les noves tecnologies cal posar-les en mans dels alumnes. Quan les dones als mestres, les fan servir per ensenyar. Però els alumnes s’hi diverteixen i, amb sort, aprenen.

Abans cal posar les noves tecnologies a disposició de les escoles.

Sí, però la veritat és que vivim en un ritme de consum vertiginós -marcat per la indústria- que les escoles no poden seguir de cap manera. Tampoc els mestres tenen marge per assimilar-les i integrar-les.

Tampoc no totes les escoles –i evidentment no totes les famílies– tenen la mateixa capacitat econòmica per incorporar aquests dispositius.

És cert. Ens cal una forta inversió a l’escola pública no només perquè sigui una escola 2.0, sinó sobretot perquè sigui un espai igualador. Parlo d’una política que no segueixi privilegiant les escoles concertades, com passa amb el Govern valencià, que concerta qualsevol cosa: et regala el terreny, et construeix l’escola i te’n cedeix la gestió 50 anys. Estan convençuts, des de la seva ideologia neoliberal, que l’escola privada funciona millor que la pública.

Què volen aquesta gent? (III)

A l’atenció del Director/a

Benvolguda, benvolgut,

suposo que esteu al cas de la que ens pot caure, no? El partit que ara governa a Espanya vol recuperar, amb caràcter general, una iniciativa que ja plantejar l’any 2010: la de fer públics els resultats dels centres després d’administrar als seus alumnes unes proves externes. Com que en aquell moment “no tallaven el bacallà” la proposta no va prosperar. Bé, de fet, sí que ho va fer; fou a la capital del reino on una senyora ja fa dies que mana. Amb quins resultats?, si us llegiu l’article en sabreu alguna cosa.
El primer país seriós que es va plantejar aquesta qüestió va ser Anglaterra. Ja fa anys que fan públics els “resultats” de les escoles. Resultat? Demaneu-ho a algun conegut que tingueu d’aquell país, veure-ho. Lluny de suposar una millora pel sistema el que ha suposat és una perversió del seu funcionament: centres que dediquen molt de temps i esforç a “practicar” el tipus de preguntes que habitualment formen part de les proves externes. Un temps i esforç que, és clar, no dediquen al que caldria.

De fet, d’això, aquí ja en tenim exemples. Hi ha unes proves magnífiques d’avaluació de la comprensió lectora dels alumnes d’educació primària, “les ACL”. Magnífiques si s’administren com assenyalen les autores, és clar. Conec més d’un mestre que dedica una franja setmana a “practicar” la prova i, és clar, els seus alumnes “treuen bona nota” i, ell, de retruc també, és clar.

L’única cosa que se sap del cert que millora el resultat d’un sistema educatiu, en general, i dels seus centres en particular és tenir BONS MESTRES. Només això, i, és clar, a la vegada, rescindir el contracte dels que no ho siguin tant. Com fer això, però? El dia que vingui a tomb us donaré el meu parer. Avui, amb ser conscients de la que ens pot caure al damunt amb això de fer públics els resultats dels centres, ja farem.

La condició humana no deixa de sorprendre’m, renoi!
No sé a vós?
Gràcies.

LA SOMBRA DEL “RANKING‟ CAE SOBRE LA ESCUELA

EL PAIS. 07.02.12

Habrá pruebas externas para ayudar a los padres a elegir centroEl ejemplo de otros países dice que pueden aumentar las brechas
La competición como base para mejorar los resultados de las escuelas. Esta es la dirección a la que apuntan algunas propuestas que ha empezado a desgranar el nuevo ministro de Educación, José Ignacio Wert. Se celebrarán “pruebas externas” a todos los alumnos de todos los centros. Sus resultados servirán para fijar las políticas públicas, para premiar a los que tengan mejores resultados, tanto centros como estudiantes, y también para orientar las decisiones de los padres, para que puedan elegir centro según los resultados de cada escuela.
Un portavoz del ministerio asegura que, de momento, se están estudiando los detalles, así que no puede decir si se publicarán los resultados centro a centro, lo que acaba inevitablemente componiendo clasificaciones de escuelas. Desde luego, el documento que presentó en 2010 el PP para el fracasado pacto educativo hablaba claramente de exámenes a todos los alumnos al final de primaria y secundaria, cuyos “resultados de cada centro, en su conjunto, serán públicos”.
Este planteamiento se lleva discutiendo más de dos décadas en todo el mundo y en los distintos países que se ha implementado, como Chile o Inglaterra, cuenta con firmes defensores que aseguran que la elección de centro por parte de los padres, acompañada de información sobre los resultados de las escuelas, y de incentivos según esos resultados, son los ingredientes infalibles para mejorar la educación. Sin embargo, estas ideas también cuentan con infatigables detractores que aseguran que lejos de mejorar los resultados educativos como prometen, tienen efectos perversos que ahondan las brechas educativas entre los sectores acomodados y los desfavorecidos.
En España ya ha habido una prueba de este sistema. En la Comunidad de Madrid, el Gobierno dirigido por Esperanza Aguirre instauró en 2005 un examen externo de evaluación para los centros educativos públicos, privados y concertados que ha evolucionado rodeado de polémica. Es la prueba de conocimientos y destrezas indispensables (CDI). Comenzó por los alumnos de 6º de primaria, se amplió a los estudiantes de 3º de Educación Secundaria Obligatoria y, desde el curso pasado, también a los escolares de 2º de primaria. La evaluación, en la que no puntúan los alumnos de educación compensatoria, incluye pruebas de lengua castellana, matemáticas y cultura general. La Consejería de Educación de Madrid, que dirige Lucía Figar, flirteó con la idea de incluir los resultados en la nota final de cada alumno en “el centro que libremente quisiera”, pero finalmente se ha mantenido como una prueba externa sin valor en el expediente académico que las familias consultan, como un dato más, a la hora de elegir el centro.
Paloma, una madrileña con dos hijas de cinco y siete años, consultó la lista para ver “qué colegios estaban los primeros y cuáles los últimos”. “No me fío del todo de la prueba, porque no sé cómo se hace, pero nunca llevaría a las niñas a uno de los que aparezcan al final”, admite. Se decidió por un colegio privado “que estaba entre los 100 primeros”. Carmen del Arco, con dos hijos de 4 y 13 años, eligió el centro para el mayor antes de que existieran las pruebas. Es un concertado del distrito de Carabanchel, al sur de Madrid. Revisa periódicamente esas notas. “Si el colegio sacara muy mal resultado, me plantearía llevar a los chicos a otro sitio”.
Tras los primeros exámenes de 2005 (que suspendió uno de cada tres alumnos y uno de cada cinco centros) la consejería facilitó la lista completa de las notas medias de los 1.153 colegios. Oposición y sindicatos denunciaron un “uso político” de los resultados, que fueron mejores en los centros concertados y privados que para la educación pública. Sindicatos y federación de padres amenazaron con boicotear la prueba, que ha perdurado con amplia contestación desde entonces. El Defensor del Pueblo llegó a reclamar, tras una denuncia de IU, que no se hicieran públicos sus resultados y pidió a la consejería que adoptara “cuantas medidas” fueran necesarias en la custodia y difusión de los resultados para evitar que se establecieran listas o comparaciones. Profesores del Movimiento de Renovación Pedagógica llamaron también al boicoteo. El examen es “técnicamente impresentable”, dijeron, porque no incluye valoraciones del contexto, ni tiene en cuenta los recursos de los centros ni la composición del alumnado.
El colegio con la mejor nota de 2011 es un centro público de la capital, el colegio Méjico. Es un centro de integración para alumnos con problemas motores y tiene un 25% de estudiantes extranjeros. Sus calificaciones en la prueba CDI han aumentado con las sucesivas evaluaciones. En 2008, se quedó por debajo del aprobado con un 4,04; en 2009, obtuvo un notable (7,21) que raspó en 2010 (6,75). Y, en el último curso, sus alumnos sacaron de media un flamante 9,89 que le llevó al primer lugar. La directora, Almudena Armijo, explica que laevolución se debe fundamentalmente “al importante esfuerzo y trabajo” de alumnos y docentes. “No se deben fiar solo de la fama porque cambia”, señala una directora
Los profesores del colegio Méjico se apuntaron a cursos de matemáticas que ofertaba el Ministerio de Educación tras los primeros resultados “para aprender con materiales nuevos”, hicieron una inversión en libros y practican con preguntas de exámenes anteriores durante las semanas de la ciencia y las matemáticas. Todo, asegura, sin ayuda de la Administración. “Quedar en el número uno no significa que otros colegios no trabajen, pero chapó por los centros públicos, que han salido muy bien este año”. Entre los 100 primeros hubo 43 públicos, 33 concertados y 24 privados. Armijo admite que también hay una cuestión de suerte. “El puesto en el que quedes depende de la promoción de alumnos de cada curso, hay mucho trabajo detrás aunque acabes el 500º de la lista”.
La directora del Méjico ha visto en los últimos meses cómo se acercan más padres a su centro para interesarse por las plazas disponibles. “Está bien que consulten la nota como un dato más, pero no se deben fiar solo de la fama, porque cambia”. Armijo recomienda a los padres que se informen preguntando a otras familias, acudiendo a las jornadas de puertas abiertas del colegio y les pide que consideren como un punto positivo más a la hora de elegir que en su centro los chicos conviven con compañeros en sillas de ruedas desde los tres años. “Estos alumnos enseñan al resto valores de superación”.
Otra duda que ha surgido en la trayectoria de la prueba madrileña es el riesgo de que las escuelas intenten maquillar datos dejando en casa a los alumnos con peores resultados académicos. La Comunidad de Madrid encargó en 2010 un estudio sobre la prueba CDI al catedrático de Economía Antonio Cabrales, autor del informe Los determinantes del éxito en la educación primaria en España. El autor alertó de que uno de los peligros que le comunicaron los profesores sobre la fiabilidad de este examen es que hay colegios “que animan a sus peores estudiantes a no presentarse”. Educación anunció entonces que informaría del número de alumnos absentistas al facilitar los resultados. Las listas de los resultados desde 2008 de las pruebas de 6º de Primaria se pueden consultar en la web oficial de la Comunidad de Madrid desde finales de 2011, pero ese dato aún no figura entre la información a disposición del público. En todo caso, la pregunta es si los resultados de Madrid son mejores. Aunque aún es quizá pronto para hablar del impacto de estas pruebas, lo cierto es que Madrid fue la comunidad que mejor resultado obtuvo en lectura en la prueba Pisa 2009 (el informe de la OCDE que mide el aprendizaje en medio centenar de países), pero también resultó la tercera (por delante de La Rioja y Asturias), donde más influye el contexto socioeconómico y cultural del alumno en sus resultados.
En el verano de 2010, el Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL) hizo un repaso al debate sobre la publicación de las evaluaciones externas. Habla de sus orígenes, hace más de dos décadas, y lo enlaza con la corriente de pensamiento neoliberal estadounidense conocida como Escuela de Chicago, aunque recuerda también que el instituto de evaluación educativa de Estados Unidos (NAEP, en sus siglas en inglés) tiene prohibido por ley publicar los resultados por escuelas de las pruebas externas.También se repasan los argumentos a favor de esas ideas. El “derecho de las familias” a llevar “a sus hijos a las escuelas con mejores resultados”, lo que empujaría al resto de escuelas a mejorar; el derecho de las familias a tener información sobre la educación que están recibiendo sus hijos, lo que les permitiría exigir mejoras a los centros; y la promoción de la participación y el control ciudadano en el ámbito del sistema educativo.
Tras casi dos décadas con el modelo, Chile apenas ha mejorado. Pero la experiencia en países como Chile, continúa el texto, habla de pocos resultados positivos pero algunos muy negativos. “Los estudios realizados en Chile muestran que, aun cuando las familias de mejor posición económica tienen mayor conocimiento de los resultados, casi no los toman en cuenta a la hora de elegir escuela para sus hijos”, y, además, “luego de casi dos décadas implementando esta estrategia, los resultados han mejorado poco”. Y, por el contrario, el sistema “puede generar desmotivación en los centros educativos que aparecen sistemáticamente en posiciones inferiores (sobre todo si dicha situación se deriva de un inadecuado tratamiento de la información, como ocurre en el caso de los semáforos chilenos)”, añade el texto del PREAL.
El sistema de semáforos, ahora en revisión por la fuerte polémica suscitada, consistía en etiquetar públicamente a los colegios e institutos como verdes, amarillos o rojos, según sus resultados estuvieran por encima, al nivel o por debajo de la nota media en las pruebas SIMCE, las evaluaciones externas nacionales que se hacen y publican en el país andino desde mediados de los años noventa. Un modelo que ha empujado a la “privatización” del sistema, según un trabajo de 2005 del Observatorio Chileno de Políticas Educativas. Aunque finalmente no se usa mucho el SIMCE para elegir escuela, sí ha “ido imponiendo un sentido común que nos impulsa a querer que nuestros niños estudien en establecimientos particulares subvencionados [concertados], donde podrán conocer a otros niños de un estatus socioeconómico un poco mayor que en uno municipalizado [público]”.
En muchas ocasiones, las Administraciones hacen públicos los resultados y son los medios de comunicación los que confeccionan, a partir de ellos, las clasificaciones de escuelas, generales, por zonas, de los 100 primeros colegios… Esos rankings han sido muy criticados “por no controlar resultados por origen socioeconómico de los alumnos, de tal modo que el 90% de los colegios entre los 100 mejores son privados pagados, mientras el (pobre) resto son privados subvencionados y unos pocos municipales”, explicaba hace un año para el caso chileno el exministro de Educación del país José Joaquín Brunner.
Los centros se acaban centrando únicamente en los mejores alumnos, dice un especialista sobre el caso inglés. Sin embargo, esas evaluaciones, continuaba, sí contienen otras tablas que tienen en cuenta la dependencia del colegio (público, privado o concertado) o el origen socioeconómico de la población estudiantil. La gran crítica a los semáforos fue que, teniendo toda esa información, la Administración optara “por mostrar valores brutos sin intentar alguna otra (cualquiera) forma de mostrar valor agregado por escuela”.
El documento del PP para el pacto educativo de 2010 especificaba que “se evaluará el valor que añade cada centro, es decir, el avance o progreso real que promueve en sus alumnos, tomando en consideración su nivel socioeconómico y sociocultural”. Pero incluso en países como Inglaterra, donde se han sofisticado los resultados con ranking de ese “valor añadido”, los problemas siguen presentes. “Los políticos lanzan estas ideas que, en principio, suenan muy bien, pero sus consecuencias en el sistema inglés han sido contradictorias: las escuelas se ven forzadas a concentrar todos sus esfuerzos en los contenidos de las evaluaciones; en los grupos de alumnos concretos que harán que sus estadísticas mejoren, sacrificando, bajo mi punto de vista, un trato equitativo a los alumnos”, asegura el especialista Warwick Mansell, autor del libro Education by numbers, una crítica a la educación volcada en resultados estadísticos. “No culpo a las escuelas por comportarse así, pese crea un sistema basado en la desconfianza que empuja a los centros a pensar en cómo serán vistos desde fuera en vez de pensar en lo que ocurre en el interior de sus clases”, sigue Mansell. En el eterno camino de ida y vuelta que parece ser la política educativa, en España ahora toca la competencia. ¿Será para mejor o para peor? Depende de cuál sea el objetivo y, sobre todo, de cómo se mida.