Los departamentos de policía llevan dos décadas experimentando con sistemas predictivos apoyados en el análisis de datos y la inteligencia artificial. Este tipo de herramientas están muy implantadas en Estados Unidos y China, pero también tienen presencia en países como Reino Unido, Alemania o Suiza. Su objetivo es determinar los puntos calientes del crimen para desplegar a las patrullas policiales de forma más eficiente. Uno de los efectos perversos de estos sistemas es que tienden a sobrecriminalizar los barrios menos pudientes: como los algoritmos se suelen alimentar de datos sobre arrestos, normalmente reclaman más vigilancia en las zonas donde se producen esas acciones, lo que a su vez provoca más detenciones aún.
Acabar con este círculo vicioso es complicado. Algunos desarrolladores han tratado de hacerlo nutriendo el sistema también con datos de denuncias. Es el caso de la herramienta de PredPol, una de las más populares en Estados Unidos. Si se tiene en cuenta los reportes de las víctimas, aseguran, se obtiene una imagen más nítida de la criminalidad y se eliminan los posibles prejuicios que puedan llevar a la policía a realizar más arrestos en determinados distritos (por ejemplo, en barrios predominantemente negros).
Pero esos esfuerzos son inútiles. Una reciente investigación concluye que los algoritmos que trabajan con esa información cometen los mismos errores. “Nuestro estudio demuestra que incluso los sistemas basados exclusivamente en las denuncias interpuestas por las víctimas pueden llevar a sesgos geográficos que pueden redundar en una colocación significativamente errada de las patrullas policiales”, explica a EL PAÍS Nil-Jana Akpinar, investigadora de la Universidad Carnegie Mellon y coautora del trabajo.
El sueño de la policía predictiva
Los sistemas que analiza Akpinar llevan años entre nosotros. Ya en 1998, el 36% de los departamentos de policía estadounidenses decían tener los datos y la capacidad técnica de generar mapas digitales de criminalidad, según fuentes federales. Tan solo unos años después, el 70% decía usar esos mapas para identificar los puntos calientes. “Las versiones más modernas de estas primeras herramientas de vigilancia policial preventiva se remontan a 2008, cuando el Departamento de Policía de Los Ángeles (LAPD) empezó sus propias exploraciones, a quien le siguió la policía de Nueva York (NYPD), que usaba herramientas desarrolladas por Azavea, KeyStats y PredPol”, describe la investigadora.
Diversos estudios han acreditado los problemas que plantea la aplicación de algoritmos predictivos en la actividad policial. Uno de los primeros sistemas de este tipo en salir a la luz fue el que puso en marcha la ciudad de Chicago en 2013: un algoritmo identificaba a potenciales criminales analizando datos de arrestos y la red de relaciones tanto de pistoleros como de víctimas. El objetivo era poner en marcha programas de servicios sociales preventivos con quienes el algoritmo detectaba que podían delinquir. Fue un fracaso. No solo desde el punto de vista de la eficiencia (no ayudó a que cayera la criminalidad), sino que además la población negra quedó sobrerrepresentada en las listas, según detalló un estudio independiente unos años después.
Más información
En 2010, una investigación del Departamento de Justicia determinó que el Departamento de Policía de Nueva Orleans (NOPD) debía ser reformado casi de cero tras detectar anomalías graves: se encontraron pruebas de varias violaciones de leyes federales, incluyendo el uso excesivo de la fuerza, detenciones irregulares o discriminación por raza y orientación sexual. Tan solo dos años después, la NOPD empezó a trabajar de forma secreta con Palantir, una misteriosa compañía de Silicon Valley especializada en el análisis de datos relacionada con la CIA y el Pentágono. Su fundador, Peter Thiel, que puso en marcha unos años antes PayPal junto a Elon Musk, sería más tarde de los pocos magnates tecnológicos que apoyó abiertamente al presidente Donald Trump durante su mandato.
Palantir desarrolló para la NOPD un software pensado para dar caza a los principales miembros de las bandas de narcotraficantes más importantes de la ciudad, según desveló The Verge. Todavía no está claro si la herramienta infringió la ley (elaboró listas de “sospechosos” a los que seguir de modo preventivo), pero los datos dicen que el número de asesinatos por violencia armada disminuyó en Nueva Orleans.
Para que sus métodos y algoritmos evitaran el escrutinio público, la compañía no cerró el contrato con el departamento de la policía, sino con una fundación creada para tal efecto. Palantir siguió el mismo modus operandi con la policía de Nueva York (NYPD), tal y como destapó BuzzFeed en 2017, y presumiblemente con sus colegas de Los Ángeles (LAPD).
Ese secretismo no es casual. Ya se ha demostrado que los algoritmos predictivos usados por la policía reproducen sesgos como el racismo y suelen perjudicar a los más pobres. Uno de los estudios más conocidos es el de Rashida Richardson, Jason M. Schultz y Kate Crawford, del AI Now Institute, que pone el énfasis en que este tipo de algoritmos siempre arroja resultados que contienen sesgos. Su paper, publicado en 2019, demuestra que “las prácticas ilegales de la policía”, en referencia tanto a la corrupción como a los juicios sesgados, “pueden distorsionar significativamente los datos que se recogen”. Si no se reforma la manera en que las fuerzas de seguridad recopilan y ordenan los datos, dicen, “aumenta el riesgo de que los sistemas policiales predictivos estén sesgados y de que afecten a la Justicia y a la sociedad”.
Tratando de corregir los sesgos
De ahí que las principales compañías del sector traten de corregir estos defectos: quieren poder seguir vendiendo sus herramientas sin que la sociedad se le eche encima. Akpinar y sus colegas Alexandra Chouldechova, también de la Carnegie Mellon, y Maria De-Arteaga, de la Universidad de Texas (Austin), concluyeron que nos es posible eliminar los sesgos de estos sistemas tras desarrollar su propio algoritmo predictivo. Se basaron en el modelo que utiliza PredPol, la herramienta más popular de Estados Unidos. “Aunque no hay una lista oficial de cuántos departamentos de policía tienen contratos con PredPol, se sabe que docenas de ciudades estadounidenses usan o han usado en algún momento las herramientas de la compañía, incluyendo Los Ángeles, San Francisco, Oakland y Richmond”, asegura Akpinar. También hay pruebas, añade, de que la policía de Kent, en Inglaterra, ha trabajado con esta herramienta.
Las investigadoras entrenaron a su algoritmo con datos estadísticos de criminalidad de Bogotá, una de las pocas ciudades del mundo que publica informes de denuncias por distritos y que actualmente trabaja en la implementación de uno de estos sistemas predictivos. Cuando cruzaron los resultados de su modelo con los datos reales de delitos detectaron errores de bulto. Las áreas con mayor criminalidad, pero pocas denuncias fueron menos identificadas como puntos calientes que las zonas con criminalidad media o baja pero muchas denuncias. Algunos distritos necesitaban tener la mitad de crímenes que otros para que el sistema previera que se trataba de un punto caliente.
“Esto se debe a que los datos de crímenes cometidos no reflejan exactamente la distribución real de la criminalidad y a que los distintos barrios o comunidades tienen una propensión diferente a presentar una denuncia a la policía”, subraya Akpinar. Yendo al detalle, es estadísticamente común que un blanco denuncie a un negro, o que un negro denuncie a otro negro, pero no tanto que un negro denuncia a un blanco.
¿Cuál es entonces la solución? ¿Hay algún modo de que los algoritmos predictivos policiales no encasillen todavía más a los menos favorecidos? “La única forma es no usarlos”, concluye la investigadora.
Puedes seguir a EL PAÍS TECNOLOGÍA en Facebook y Twitter o apuntarte aquí para recibir nuestra newsletter semanal.