El gobierno del Reino Unido está suspendiendo el uso de un algoritmo utilizado para transmitir solicitudes de visa después de que surgieron preocupaciones de que la tecnología genera prejuicios inconscientes y racismo.
La herramienta había sido objeto de un desafío legal. Él Consejo Conjunto para el Bienestar de los Inmigrantes (JCWI) y el bufete de abogados Foxglove habían pedido a un tribunal que declarara ilegal el algoritmo de transmisión de solicitudes de visa y ordenara detener su uso, en espera de una revisión judicial.
La acción legal no había seguido su curso completo, pero parece haber forzado la mano del Ministerio del Interior, ya que se comprometió a rediseñar el sistema.
Un portavoz del Ministerio del Interior nos confirmó que a partir del 7 de agosto se suspenderá el uso del algoritmo y nos envió este comunicado por correo electrónico: “Hemos estado revisando cómo funciona la herramienta de transmisión de solicitudes de visa y rediseñaremos nuestros procesos para hacerlos aún más ágiles y seguro.”
Aunque el gobierno no ha aceptado las acusaciones de parcialidad, escribiendo en una carta al bufete de abogados: “El hecho del rediseño no significa que el [Secretary of State] acepta las alegaciones en su formulario de reclamo [i.e. around unconscious bias and the use of nationality as a criteria in the streaming process].”
La carta del Ministerio del Interior también afirma que el departamento ya se había alejado del uso de la herramienta de transmisión “en muchos tipos de aplicaciones”. Pero agrega que abordará el rediseño “con la mente abierta al considerar las inquietudes que ha planteado”.
El rediseño está programado para completarse en otoño, y el Ministerio del Interior dice que mientras tanto se implementará un proceso provisional, excluyendo el uso de la nacionalidad como criterio de clasificación.
GRAN noticia. ¡Desde este viernes, el algoritmo racista de visas del Ministerio del Interior ya no existe! 💃🎉 Gracias a nuestra demanda (con @JCWI_ES) en contra de este oscuro sistema computarizado para tamizar las solicitudes de visa, el Ministerio del Interior acordó “interrumpir el uso de la herramienta de transmisión”.
— Dedalera (@Foxglovelegal) 4 de agosto de 2020
El JCWI ha reclamado una victoria contra lo que describe como un sistema de cribado de personas “sombrío, impulsado por computadora”, escribiendo en su sitio web: “La victoria de hoy representa el primer desafío judicial exitoso del Reino Unido a un sistema de decisión algorítmico. Le habíamos pedido al Tribunal que declarara ilegal el algoritmo de transmisión y ordenara detener su uso para evaluar las solicitudes de visa, en espera de una revisión. La decisión del Ministerio del Interior efectivamente concede el reclamo”.
El departamento no respondió a una serie de preguntas que le hicimos sobre el algoritmo y sus procesos de diseño, incluido si buscó o no asesoramiento legal antes de implementar la tecnología para determinar si cumplía con la Ley de Igualdad del Reino Unido.
“No aceptamos las alegaciones hechas por el Consejo Conjunto para el Bienestar de los Inmigrantes en su reclamo de Revisión Judicial y, aunque el litigio aún está en curso, no sería apropiado que el Departamento hiciera más comentarios”, agregó el comunicado del Ministerio del Interior.
La queja del JCWI se centró en el uso, desde 2015, de un algoritmo con un “sistema de semáforo” para calificar cada solicitud de visa de entrada al Reino Unido.
“La herramienta, que el Ministerio del Interior describió como una ‘herramienta de transmisión’ digital, asigna una calificación de riesgo roja, ámbar o verde a los solicitantes. Una vez asignada por el algoritmo, esta calificación juega un papel importante en la determinación del resultado de la solicitud de visa. escribellamando a la tecnología “racista” y discriminatoria por diseño, dado su trato a ciertas nacionalidades.
“El algoritmo de visa discriminaba en función de la nacionalidad, por diseño. Las solicitudes realizadas por personas con nacionalidades “sospechosas” recibieron una puntuación de riesgo más alta. Sus solicitudes recibieron un escrutinio intensivo por parte de los funcionarios del Ministerio del Interior, se abordaron con más escepticismo, tomó más tiempo determinarlas y era mucho más probable que fueran rechazadas.
“Argumentamos que esto era discriminación racial y violaba la Ley de Igualdad de 2010”, agrega. “La herramienta de transmisión era opaca. Además de admitir la existencia de una lista secreta de nacionalidades sospechosas, el Ministerio del Interior se negó a proporcionar información significativa sobre el algoritmo. No está claro qué otros factores se usaron para calificar las solicitudes”.
Desde 2012, el Ministerio del Interior ha operado abiertamente una política de inmigración conocida como el “entorno hostil”, aplicando procesos administrativos y legislativos que tienen como objetivo dificultar al máximo la permanencia de las personas en el Reino Unido.
La política ha dado lugar a una serie de escándalos de derechos humanos. (También cubrimos el impacto en el sector tecnológico local al contar la historia de la pesadilla de la visa de una startup del Reino Unido el año pasado). Por lo tanto, aplicar la automatización sobre una política que ya es muy problemática parece una fórmula para ser llevado a los tribunales.
La preocupación del JCWI en torno a la herramienta de transmisión era exactamente que se estaba utilizando para automatizar el racismo y la discriminación que muchos argumentan sustentan la política de “ambiente hostil” del Ministerio del Interior. En otras palabras, si la política en sí es racista, cualquier algoritmo lo detectará y lo reflejará.
“La propia revisión independiente del Ministerio del Interior del escándalo Windrush encontró que no tenía en cuenta los supuestos y sistemas racistas que opera”, dijo Chai Patel, director de política legal de JCWI, en un comunicado. “Esta herramienta de transmisión tomó décadas de prácticas institucionalmente racistas, como apuntar a nacionalidades particulares para redadas de inmigración, y las convirtió en software. El sistema de inmigración debe reconstruirse desde cero para monitorear ese sesgo y erradicarlo”.
“Estamos encantados de que el Ministerio del Interior haya tenido sentido y haya descartado la herramienta de transmisión. Los bucles de retroalimentación racista significaron que lo que debería haber sido un proceso de migración justo fue, en la práctica, solo un ‘embarque rápido para los blancos’. Lo que necesitamos es democracia, no un gobierno basado en algoritmos”, agregó Cori Crider, fundadora y directora de Foxglove. “Antes de que se implementen más sistemas, preguntemos a los expertos y al público si la automatización es apropiada y cómo se pueden detectar y desenterrar los sesgos históricos”.
En su carta a dedalerael gobierno se comprometió a realizar Evaluaciones de impacto de igualdad y Evaluaciones de impacto de protección de datos para el proceso provisional al que cambiará a partir del 7 de agosto, cuando escribe que utilizará “atributos centrados en la persona (como evidencia de viajes anteriores” para ayudar tamizar algunas solicitudes de visa, comprometiéndose además a que “no se utilizará la nacionalidad”.
Algunos tipos de aplicaciones se eliminarán por completo del proceso de tamizado durante este período.
“La intención es que el rediseño se complete lo más rápido posible y, a más tardar, el 30 de octubre de 2020”, agrega.
Cuando se le preguntó sobre cómo sería un algoritmo de transmisión de visas legalmente aceptable, experto en derecho de Internet Lilian Edwards dijo a TechCrunch: “Es difícil… No soy lo suficientemente abogado de inmigración para saber si los criterios originales aplicados a las nacionalidades sospechosas habrían sido ilegales según el estándar de revisión judicial de todos modos, incluso si no se implementaran en un algoritmo de clasificación. En caso afirmativo, entonces claramente un algoritmo de próxima generación debería aspirar solo a discriminar por motivos legalmente aceptables.
“El problema, como todos sabemos, es que el aprendizaje automático puede reconstruir criterios ilegales, aunque ahora existen técnicas bien conocidas para evadir eso”.
Los principios éticos deben aplicarse a la política de inmigración, no solo al algoritmo de visa. El problema es el sistema de inmigración racista disfrazado de falsa objetividad computarizada
— Javier Ruiz (@javierruiz) 4 de agosto de 2020
“Se podría decir que el sistema algorítmico nos hizo un favor al confrontar el uso de criterios ilegales que podrían haber quedado enterrados en el nivel informal del oficial de inmigración individual. Y, de hecho, uno de los argumentos a favor de tales sistemas solía ser la naturaleza ‘coherente y no arbitraria’. Es difícil”, agregó.
A principios de este año, se ordenó al gobierno holandés que detuviera el uso de un sistema algorítmico de puntuación de riesgo para predecir la probabilidad de que los solicitantes de la seguridad social cometieran beneficios o fraude fiscal, después de que un tribunal local determinara que violaba la ley de derechos humanos.
En otro caso interesante, un grupo de unidades Uber del Reino Unido está cuestionando la legalidad de la gestión algorítmica de la plataforma de conciertos bajo el marco de protección de datos de Europa, que incluye derechos de acceso a los datos, incluidas las disposiciones adjuntas a decisiones automatizadas legalmente significativas.