Un sistema de puntuación de riesgo algorítmico implementado por el estado holandés para tratar de predecir la probabilidad de que los solicitantes de la seguridad social cometan beneficios o fraude fiscal es una violación de la ley de derechos humanos, dictaminó un tribunal de los Países Bajos.
La legislación de indicación de riesgo del sistema (SyRI) del gobierno holandés utiliza un modelo de riesgo algorítmico no divulgado para perfilar a los ciudadanos y se ha dirigido exclusivamente a vecindarios con residentes en su mayoría de bajos ingresos y minorías. Los activistas de derechos humanos lo han denominado un “estado de vigilancia del bienestar”.
Varias organizaciones de la sociedad civil en los Países Bajos y dos ciudadanos iniciaron la acción legal contra SyRI, buscando bloquear su uso. El tribunal ha ordenado hoy el cese inmediato del uso del sistema.
Él decisión (ahora aqui en ingles) está siendo aclamado como un fallo histórico por los defensores de los derechos humanos, con el tribunal basando su razonamiento en la ley europea de derechos humanos, específicamente el derecho a la vida privada que se establece en el artículo 8 del Convenio Europeo de Derechos Humanos (CEDH), en lugar de que una disposición específica en el marco de protección de datos de la UE (GDPR) que se relaciona con el procesamiento automatizado.
El artículo 22 del RGPD incluye el derecho de las personas a no estar sujetas a la toma de decisiones individuales únicamente automatizadas cuando puedan producir efectos jurídicos significativos. Pero puede haber cierta confusión sobre si esto se aplica si hay un ser humano en algún lugar del circuito, como para revisar una decisión sobre la objeción.
En este caso, el tribunal ha eludido tales cuestiones al determinar que SyRI interfiere directamente con los derechos establecidos en el CEDH.
Específicamente, el tribunal encontró que la legislación SyRI falla una prueba de equilibrio en el Artículo 8 de la CEDH que requiere que cualquier interés social sea sopesado contra la violación de la vida privada de las personas, exigiendo un equilibrio justo y razonable. El sistema automatizado de evaluación de riesgos falló esta prueba en opinión del tribunal.
Los expertos legales sugieren que la decisión establece algunos límites claros sobre cómo el sector público en el Reino Unido puede hacer uso de las herramientas de IA, y el tribunal se opone en particular a la falta de transparencia sobre cómo funcionaba el sistema algorítmico de puntuación de riesgo.
en un presione soltar sobre la sentencia (traducida al inglés usando Google Translate), el tribunal escribe que el uso de SyRI es “insuficientemente claro y controlable”. Mientras, por Observador de derechos humanosel gobierno holandés se negó durante la audiencia a revelar “información significativa” sobre cómo SyRI usa datos personales para sacar conclusiones sobre un posible fraude.
El tribunal claramente vio con malos ojos que el estado intentara eludir el escrutinio del riesgo para los derechos humanos al señalar una “caja negra” algorítmica y encogerse de hombros.
El razonamiento del Tribunal no implica que deba haber una divulgación completa, pero claramente espera información mucho más sólida sobre la forma (criterios objetivos) en que se desarrollaron el modelo y las puntuaciones y la forma en que se abordaron los riesgos particulares para las personas.
— Joris van Hoboken (@jorisvanhoboken) 6 de febrero de 2020
El relator especial de la ONU sobre la pobreza extrema y los derechos humanos, Philip Alston, quien intervino en el caso proporcionando al tribunal una análisis de derechos humanos — acogió con beneplácito la sentencia, describiéndola como “una clara victoria para todos aquellos que están justificadamente preocupados por las graves amenazas que los sistemas digitales de bienestar representan para los derechos humanos”.
“Esta decisión sienta un fuerte precedente legal para que lo sigan otros tribunales. Esta es una de las primeras veces que un tribunal en cualquier lugar ha detenido el uso de tecnologías digitales y abundante información digital por parte de las autoridades de asistencia social por motivos de derechos humanos”, agregó en un comunicado de prensa. declaración.
En 2018, Alston advirtió que la prisa del gobierno del Reino Unido por aplicar tecnologías digitales y herramientas de datos para rediseñar socialmente la prestación de servicios públicos a gran escala corría el riesgo de tener un impacto inmenso en los derechos humanos de los más vulnerables.
Por lo tanto, la decisión del tribunal holandés podría tener algunas implicaciones a corto plazo para la política del Reino Unido en esta área.
La sentencia no cierra por completo la puerta al uso por parte de los estados de sistemas de elaboración de perfiles automatizados, pero deja claro que la ley de derechos humanos en Europa debe ser fundamental para el diseño y la implementación de herramientas que pongan en riesgo los derechos.
También llega en un momento clave en el que los legisladores de la UE están trabajando en un marco para regular la inteligencia artificial, y la Comisión se compromete a diseñar reglas que garanticen que las tecnologías de IA se apliquen de manera ética y centrada en el ser humano.
Queda por ver si la Comisión impulsará límites paneuropeos sobre usos específicos de la IA en el sector público (como las evaluaciones de la seguridad social). Un borrador filtrado recientemente de un libro blanco sobre la regulación de la IA sugiere que se está inclinando hacia las evaluaciones de riesgo y un mosaico de reglas basadas en el riesgo.