Este estudiante está tomando un software de examen 'parcial'

Para ella, Pocornie dice que este caso legal se trata de asegurarse de que otros estudiantes no sufran la misma experiencia o tengan que usar lámparas de Ikea solo para hacer un examen. No quiere volver a tomar sus exámenes, aunque cree que el software afectó sus calificaciones. Como estaba tomando dos cursos de maestría de tiempo completo al mismo tiempo, dice que pudo comparar las calificaciones que recibió en ambos (solo un curso reemplazó los exámenes en persona con software de supervisión durante la pandemia; el otro usó cursos). El estrés de la supervisión en línea, dice Pocornie, significa que las calificaciones que recibió en su curso de VU Amsterdam fueron significativamente más bajas que las calificaciones que recibió en la Universidad de Maastricht. Para proteger su privacidad, le pidió a WIRED que no compartiera la diferencia exacta. Para ese primer examen en septiembre de 2020, y los otros nueve que le siguieron, la única forma en que Pocornie podía hacer que el software de Proctorio la reconociera era si ella alumbraba la lámpara incómodamente cerca de su cara, inundando sus rasgos con luz blanca durante la mitad del día. . Se imaginó a sí misma como una escritora en una caricatura, acurrucada sobre su escritorio bajo un foco brillante. Tener una luz dura brillando en su rostro mientras trataba de concentrarse fue incómodo, dice, pero perseveró. “Tenía miedo de que me echaran del examen si apagaba la lámpara”. Ha habido desafíos legales para el uso de software anti-trampas en los EE. UU. y en los Países Bajos, pero hasta ahora se han centrado principalmente en la privacidad, no en la raza. Un caso de agosto en Cleveland, Ohio, descubrió que la forma en que Proctorio escanea las habitaciones de los estudiantes durante las pruebas remotas es inconstitucional. Otro caso holandés en 2020 intentó y no pudo probar que el software de monitoreo de exámenes violó las reglas de privacidad de la Unión Europea. El caso de Pocornie es diferente porque se enfoca en lo que ella describe como sesgo incrustado en el software. “Si [estos sistemas] no funcionan tan bien para los negros en comparación con los blancos, eso nos parece discriminatorio”, dice Naomi Appelman, cofundadora del Racism and Technology Center, administrado por voluntarios, que ayudó a Pocornie con su caso.

Ross se niega a nombrar a la empresa que fabricó el software que todavía utiliza (Proctorio ha demandado al menos a uno de sus críticos). Pero después de que su madre, Janice Wyatt-Ross, publicara lo sucedido en Twitter, Ross dice que un representante de la empresa se acercó y le aconsejó que dejara de hacerse las pruebas frente a paredes blancas. Ahora hace pruebas con un tapiz multicolor detrás de ella, que hasta ahora parece funcionar. Cuando Ross preguntó a algunos de sus amigos negros o de piel más oscura sobre el software, muchos de ellos habían experimentado problemas similares. “Pero luego les pregunté a mis amigos blancos y dijeron: 'Estoy tomando exámenes en la oscuridad'”, dice ella. En los EE. UU., Amaya Ross dice que su universidad en Ohio todavía usa software anti-trampas. Pero cada vez que inicia sesión, siente ansiedad de que su experiencia durante la pandemia se repita. Ross, que es negra, también dice que no pudo acceder a su prueba cuando encontró el software por primera vez en 2021. "Seguía diciendo: no podemos reconocer tu rostro", dice Ross, que tenía 20 años en ese momento. Después de recibir ese mensaje tres o cuatro veces, comenzó a jugar con las lámparas cercanas y las persianas de las ventanas. Incluso intentó hacer una prueba de pie, directamente debajo de la luz del techo.

VU Amsterdam y Proctorio se negaron a comentar.

Los productores de software anti-trampas como Proctorio se vieron impulsados por la pandemia, ya que las salas de examen fueron reemplazadas por los propios hogares de los estudiantes. El monitoreo digital estaba destinado a ayudar a las escuelas y universidades a mantener los negocios como de costumbre durante el cierre, sin crear una oportunidad para que los estudiantes sin supervisión hagan trampa. Pero la pandemia terminó y el software todavía se usa, incluso cuando los estudiantes de todo el mundo vuelven a la enseñanza presencial. “No creemos que vaya a desaparecer”, dijo Jason Kelly, quien se enfoca en la vigilancia de los estudiantes en Electronic Frontier Foundation, con sede en EE. UU., en una revisión de 2022 del estado de la privacidad de los estudiantes en diciembre.

"Así que ese es el efecto cuantitativo", dice ella. “Pero además de eso, obviamente también está la angustia, y creo que eso debería contar para algo”.

Por lo general, la tecnología de reconocimiento y detección de rostros no reconoce a las personas con piel más oscura cuando las empresas usan modelos que no fueron entrenados en diversos conjuntos de datos, dice Deborah Raji, miembro de la Fundación Mozilla. En 2019, Raji copublicó una auditoría de productos de reconocimiento facial implementados comercialmente, que encontró que algunos de ellos eran hasta un 30 por ciento peores para reconocer a las mujeres de piel más oscura que a los hombres blancos. "Muchos de los conjuntos de datos que eran de uso generalizado en el espacio de reconocimiento facial antes [de 2019] contenían más del 90 % de sujetos de piel más clara, más del 70 % de sujetos masculinos", dice, y agrega que se han logrado avances desde entonces, pero este no es un problema que haya sido “resuelto”. “Si la educación no está funcionando de acuerdo con las necesidades de todos”, dice, “entonces simplemente no está funcionando”. Los exámenes de Pocronie terminaron, pero decidió impugnar el uso de software por parte de la universidad que, según ella, es discriminatorio al llevar a su universidad ante el tribunal holandés de derechos humanos. El software de exámenes de este tipo ya ha sobrevivido a los bloqueos pandémicos que lo hicieron popular, y Pocronie dice que todas las universidades que usan software de detección de rostros deben tener en cuenta la forma en que esta tecnología discrimina a las personas con tonos de piel más oscuros. Después de pasar más de un año buscando a un funcionario de la universidad que tomara en serio sus preocupaciones sobre Proctorio, Pocornie espera que este caso obligue a VU Amsterdam a crear un proceso que los estudiantes puedan usar para quejarse de software discriminatorio. En Google, Pocronie pronto encontró a otros estudiantes negros que compartían experiencias similares, diciendo que tenían que usar lámparas o linternas o sentarse cerca de las ventanas para que el software del examen los reconociera. En todo el mundo, los estudiantes de color se vieron obligados a crear arreglos de luces complicados solo para tomar sus exámenes. Eventualmente, descubrió que si balanceaba una linterna LED en un estante cerca de su escritorio y la dirigía directamente a su cara, podía tomar su examen de ciencias, aunque la luz era casi cegadora. Ella compara la experiencia con conducir de noche con un automóvil que se acerca desde la otra dirección con las luces delanteras encendidas. “Solo tenías que seguir adelante hasta que estuviera hecho”, dice ella.

Robin Pocoronie llevó una lámpara a la corte. No es nada especial, solo una lámpara de pie básica de Ikea. Pero para la estudiante de maestría, la lámpara fue un accesorio útil para ayudar a explicar cómo cree que el software de supervisión de exámenes de su universidad la discriminó en función del color de su piel.

“Antes de que podamos llegar a un grado aceptable de rendimiento en estos diferentes grupos demográficos… no tiene sentido que implementemos esa tecnología en escenarios de alto riesgo como la supervisión”, dice Raji, especialmente cuando los estudiantes no tienen forma de optar. salir o apelar. El caso legal de Porcornie aún está en curso. En diciembre, el Instituto Holandés de Derechos Humanos emitió un fallo provisional en el que afirmaba que tenía fuertes sospechas de que el software utilizado por VU Amsterdam era discriminatorio y otorgaba a la universidad 10 semanas para presentar su defensa. Esa defensa aún no se ha hecho pública, pero VU Amsterdam ha argumentado anteriormente que los datos de registro de Pocornie, que muestran cuánto tiempo tardó en iniciar sesión en su examen y cuántas veces tuvo que reiniciar el software, implican que sus problemas se debieron a un Internet inestable. conexión, a diferencia de los problemas con la tecnología de detección de rostros. Se espera un fallo a finales de este año. Pocronie y su lámpara se pararon frente al Instituto de Derechos Humanos de los Países Bajos, un tribunal que se enfoca en reclamos de discriminación, en octubre de 2022. Pero la primera vez que se encontró con un software de monitoreo remoto fue dos años antes, durante la pandemia, cuando su curso en holandés la universidad VU Amsterdam estaba realizando exámenes en línea obligatorios. Para evitar que los estudiantes hicieran trampa, la universidad había comprado un software de la empresa de tecnología Proctorio, que utiliza la detección de rostros para verificar la identidad de la persona que realiza el examen. Pero cuando Pocornie, que es negra, trató de escanear su rostro, el software seguía diciendo que no podía reconocerla: decía "no se encontró rostro". Ahí es donde entró la lámpara de Ikea.