Estereotípicos

#43

¡Hola! ¿Cómo estás?

A veces estamos sesgados y ni nos damos cuenta. Y eso afecta nuestro comportamiento: evaluamos peor a tal grupo, le tenemos más miedo a tal otro, somos más duros con otro, discriminamos al grupo de allá.

Eso que tenemos se llama sesgo implícito, precisamente porque lo tenemos sin darnos cuenta y por eso no lo controlamos. Tal vez si alguien nos dijera que estamos sesgados podríamos cambiar y tratar mejor al grupo que sin darnos cuenta nos genera desconfianza.

Hoy escribí sobre la discriminación involuntaria y las maneras de corregirla.

PERO ANTES DE SEGUIR. Hace unos días mandé un “podcast” íntegramente hecho con AI. Varios me respondieron diciendo que debería ponerme las pilas y grabar los envíos leídos, para que lo escuchen en el auto. No sé hacer eso ni me interesa aprender, pero si casualmente estás leyendo esto y te dedicás al temita de producir podcasts (y/o te gusta mucho como suena tu voz) y tenés ganas de que esto salga grabado, escribime y hablamos a ver si se puede hacer algo. Ni que hablar que si hubiera un podcast sería gratis, igual que el newsletter (por ahora, #ahre), así que ni vos ni yo ni nadie vería un mango. ¿Para qué hacerlo entonces? No sé, para divertirse. En fin, avisá cualquier cosa.

Espero que te guste. Gracias por leer.

---

Las preguntas de hoy

• ¿Se puede medir el sesgo implícito contra algún grupo (raza, etnia)? ¿Los que tienen más sesgo implícito, discriminan más en la vida real?

• ¿Se puede mejorar?

---

Una de las peores partes (acaso la peor) de la tarea docente es la corrección de exámenes. A mí no me sirve, al alumno tampoco, si lo hacés bien lleva mucho tiempo y encima después un porcentaje no menor de los alumnos va a venir a quejarse (a veces con razón, eh, no lo niego). Perdemos todos. No es que sea un hippie de la docencia. Para nada, entiendo que de alguna forma hay que evaluar; y muchas mejores técnicas, al menos a cierto nivel, no tenemos. Pero la técnica de evaluar con exámenes la verdad que no es gran cosa.

Los que corregimos exámenes de forma asidua sabemos que hay un par de cosas a las que tenemos que prestarle atención para no ser injustos. Por ejemplo, hay cosas que te predisponen mal (pero no deberían), como la mala letra. Mi forma de calmarme y no dejar que el malhumor afecte la evaluación cuando veo una letra difícil de seguir es acordarme de mi yo de 7 u 8 años, que no tenía permitido escribir con lapicera de pluma porque era demasiado desprolijo y manchaba toda la hoja de tinta (tal vez más que desprolijo era medio dolobu). O del yo de la semana pasada, a quien no le entiendo una goma lo que escribió en ese papelito que se supone que me tenía que recordar algo.

Otra cosa que sé que me puede influenciar (y no debería) es la performance pasada del alumno a quien le estoy corrigiendo el examen. Si participa mucho en clase o si le fue muy bien en alguna evaluación previa, por ejemplo, seguramente de manera inconsciente voy a tender a mirar su examen con mejores ojos. Por eso antes de corregir tapo todos los nombres o ID’s si es que aparecen. Y esos son los sesgos que puedo anticipar. Ni hablar los miles de otros tantos que debo tener y ni me doy cuenta.

Si darse cuenta de los propios sesgos es difícil, más jodido es identificar los de otros. Imaginate esto: agarrás todas las calificaciones de todos exámenes que rinden los chicos del secundario de tu ciudad. Notás que, en una misma escuela (incluso una misma maestra y en un mismo grado) sistemáticamente los blancos reciben notas más bajas que los negros. ¿La conclusión es que la maestra está discriminando? ¿O será que efectivamente performan peor? Qué sé yo, difícil saberlo. Para poder saber a ciencia cierta si hay “discriminación” en la escuela, no nos bastaría con saber que la gente de cierta etnia o sexo o raza o religión o lo que sea recibe sistemáticamente una nota menor, sino que deberíamos tener algo así como una correción “objetiva” (ciega, digamos), otra “subjetiva” (misma prueba, pero no ciega) y mostrar que, ante dos correcciones objetivas iguales, la subjetiva es sistemáticamente más baja para tal etnia o sexo o raza o religión.

Pero quién haría semejante cosa, ¿no? ¿Por qué corregirías exámenes primero de forma ciega por gente que ni conoce a los alumnos y luego por las propias maestras? Por nada. No lo harías, ni lo hace nadie. Pero en Italia (y, bueno, en varios otros países) hacen algo que se le parece bastante. Resulta que al mismo tiempo (al final del año), en 8vo grado se toman pruebas de fin de año (que corrigen los maestros de cada escuela) y pruebas estandarizadas (que corrigen ciegamente unas máquinas). El dream team de italianos formado por Michela Carlana, Eliana La Ferrara, Paolo Pinotti y Alberto Alesina le metió mano esos datos y escribió el paper sobre el que te cuento hoy.

Primer dato: resulta que si agarrás las notas que se sacan los pibes en las maestras que corrige la maestra vas a ver un patrón sistemático: a los pibes italianos les va mucho mejor que a los inmigrantes a Italia. ¿Y en las pruebas estandarizadas? También.

Hasta acá nada raro. Qué sé yo, mil cosas que tienen nada que ver con la discriminación pueden explicar ese patrón: les cuesta más la adaptación, el idioma, el contenido al que no están acostumbrados, de todo.

Segundo dato: las notas de los exámenes estandarizados se mueven muy parecidas a las notas de los exámenes corregidos por maestras. También esperable. Por supuesto que a uno le puede ir mejor en una que en otra evaluación, pero sería raro que sistemáticamente a los que les va bien en una les vaya mal en la otra.

Tercer dato: y acá se pone interesante la cosa. Mirá el gráfico de abajo. En el X tenés las notas (ordenadas de peor a mejor) en las pruebas estandarizadas corregidas por máquinas y en el eje Y tenés las notas (ordenadas de peor a mejor) en las pruebas corregidas a mano por maestros. El segundo dato se ve claro en este gráfico: si te va bien en una, probablemente te vaya bien en la otra (y al revés). Pero hay dos líneas: la roja, que refiere a estudiantes inmigrantes y la verde, que refiere a estudiantes nativos.

Mirá, por ejemplo, el quintil 5 del eje X (los más cracks en la prueba estandarizada). Si agarrás a un grupo de estudiantes nativos a quienes les fue bien en la estandarizada (llamémoslo Grupo N) y a otro grupo de estudiantes inmigrantes a quienes les fue exactamente igual de bien en la misma prueba corregida por máquinas (Grupo I), resulta que a los de N les va a ir mucho mejor en la prueba corregida por maestros que a los del grupo I. Acá va el dato: para una idéntica nota en la prueba estandarizada, a los nativos les va sistemáticamente mejor que a los inmigrantes en la prueba de fin de curso que corrige el maestro del curso.

Esto se va pareciendo un poco más a evidencia de discriminación contra inmigrantes. Digo, el gráfico de arriba descarta que la explicación de que a los nativos les vaya mejor que a los extranjeros se explique por diferencias de habilidad (idioma, adaptación, lo que sea). Pero es cierto que hay otras cosas que no son discriminación y que podrían explicar parte del problema. Por ejemplo: las pruebas de fin de curso que arman los maestros puede medir cosas que en una prueba estandarizadas son más difíciles de captar. No sé, la calidad en la redacción, o incluso temas de lenguaje oral (porque las pruebas de fin de curso pueden ser orales, claro).

Hace unos meses escribí sobre un paper que intenta medir discriminación racial usando Twitter. Al final del envío te invitaba a hacer un test, que se llama IAT (Implicit Association Test) y que sirve para medir, como su nombre indica, discriminación implícita en alguna dimensión particular (género, raza). Lo hace a través de asociaciones inconscientes. O sea: no te pregunta si pensás que las mujeres no deberían salir de la cocina o si está bien que los blancos ganen más; te pide que asocies una serie bastante larga de características y atributos muy rápidamente (sin tiempo para pensar y sin respuesta obvia) y con eso (qué elegiste, cuánto tardaste, qué asociaciones te salen más automáticas y cuáles necesitás más deliberación), identifica que tan sesgado está implícitamente.

Resulta que el dream team de italianos le hizo este test a un grupo de maestros de los que corrigen los exámenes de arriba. Con eso clasificaron a cada maestro según que tan “implícitamente sesgado” está en contra de los inmigrantes. Prestá atención porque el de abajo es el gráfico más importante de este envío de puta madre que no podés parar de leer:

Se lee como el de arriba. O sea, el X mide las notas (de peor a mejor) en las pruebas estandarizadas) y en el Y las notas (de peor a mejor) en las pruebas de fin de año. El gráfico de la izquierda corresponde a inmigrantes y el de la derecha a nativos. Ahora fijate que hay dos líneas en cada uno: una naranjita (“High IAT”) y una azul (“Low IAT”). IAT es el test que mide si el maestro que corrige está sesgado, o sea que la naranjita de “High IAT” refiere a maestros recontra sesgados contra los extranjeros. La azul son los que no están sesgados.

Mirá el gráfico de la derecha: las dos líneas están totalmente superpuestas, lo que nos dice que estar sesgado contra los extranjeros no hace que seas más o menos generoso en la nota final que le ponés al alumno nativo.Y ahora mirá el de la izquierda. Fijate como a medida que le va mejor al alumno en la estandarizada, corregida por máquinas (eje X), los maestros sesgados (naranjas) se ponen más amarretes con las notas que le ponen al final de curso a los migrantes que los maestros no sesgados (azules).

Te lo pongo de otra manera: si sos un inmigrante crack y te toca una maestra (implícitamente) sesgada, te va a joder en la nota final. Si te toca una (implícitamente) no sesgada, vas a andar bien. Si sos un nativo crack y te toca una maestra sesgada te va a ir igual que si te toca una no sesgada.

Ahora sí: difícil pensar que no hay discriminación de las maestras (sesgadas) contra los migrantes en las notas de fin de año que les ponen. Pero hay más. Empecé este envío aceptado que, nos guste o no, tenemos sesgos implícitos de diferente tipo cuando corregimos y que, si nos damos cuenta, tal vez podemos hacer algo para actuar de forma más deliberada (menos automática, o sea, digamos, si querés saber más sobre esto vas a tener que comprar mi libro) y así no dejar que el sesgo, que aparece de forma inconsciente pero que nos gustaría no tener, aparezca. Michela y su grupo probaron si una técnica tan simple como advertirle a los maestros del nivel de sesgo que tenía (alto, bajo, nulo) cambiaba su comportamiento.

Es literal mi descripción, eh. Hicieron un experimento aleatorizando maestros en dos grupos: “te cuento cómo te fue en el test de asociación implícita” versus “no te cuenta una goma”. Y funcionó bastante bien: el gap de notas nativo-extranjero en las pruebas de fin de año corregidas por maestros fue bastante menor (algo así como un tercio, si hice bien los números) en el grupo de maestros que recibió el feedback sobre el test que habían hecho. Nada mal.

Tanto pero tanto me aburre corregir que me gasté una hora entera escribiendo esto que estás leyendo para posponer la corrección. Y ahora ya estoy cansado y todos sabemos que cuando uno está cansado se pone más duro y, sin darse cuenta, es más propenso a dejarse llevar por prejuicios, sesgos implícitos y estereotipos. Y no le quiero hacer eso a los alumnos, así que, por su bien, la corrección va a tener que quedar para otro día ¯\_(ツ)_/¯ [n. de r.: todos los alumnos recibieron su nota en tiempo y forma sin demoras, y ningún animal fue lastimado en la realización de este post].

Ah. Y antes de que me olvide: Shaná Tová, amigos. Coman y beban como si no hubiera mañana.

Si sos paisano, invitá a algún goy a la cena Roshashana.

Si sos goy (o sea, digamos, no judío), pedile a algún amigo de la cole que se cope y ponga un plato más para festejar el año nuevo.

Si no tenés amigos de la cole, yo que sé, replanteate qué estás haciendo de tu vida.

Si no sabés que cocinar, al final de este post te doy una receta de latkes de papa. Nosotros vamos a probar hacer leicaj (una especie de torta/pastel de miel) por primera vez.

El año que viene te cuento cómo salió.

---

Ah bueno, mírenlo al tipo leyendo el newsletter, disfrutándolo, aprendiendo, riendo, armándose de datos e historias para chamuyare a la minita o al pibe del bar o simplemente para parecer inteligente en el almuerzo del laburo, siendo feliz pura y exclusivamente gracias al correo que le llega a su casilla cada dos semanas, los lunes sin excepción. Y sin compartirlo. Qué verguenza, quedarte esa alegría solamente para vos. No sé cómo no te sentís culpable. Acá abajo podés remediar tu error.

Ah y dejame tu mail si aún no lo hiciste:

---

Te puede interesar

El paper de hoy lo encontrás acá. Michela tiene otro gran paper del estilo acá.

Como siempre (siempre = las 3 veces que escribí sobre el tema), acá podés testear tus propios sesgos implícitos.

Me encantaría poder escribir sobre Italia sin poner un clásico italiano de los early 80s’s de fondo. Me encantaría posta eh. Pero no puedo, así que esta semana empieza escuchando a los Ricchi e Poveri de fondo:

---

En el próximo envío

“La trampa colectiva”. Che, ¿desinstalamos Instagram? Dale! ¿Empezás vos? Tal vez sería más feliz si no usara redes sociales. Pero ojo, solo si el otro tampoco las usara. Y el otro también sería más feliz desinstalando esa app adictiva, pero solo si yo también lo hiciera. Al final nadie desinstala nada y las usamos todos. Dame unos días que te cuento más sobre esta trampa digital de acción colectiva.