Nueve de los 12 miembros de una junta de ética designada por Axon para asesorar sus decisiones tecnológicas han renunciado, citando el plan para instalar drones equipados con Taser y vigilancia generalizada en las escuelas. “Después de varios años de trabajo, la empresa ha fallado fundamentalmente en adoptar los valores que hemos tratado de inculcar”, escriben los miembros salientes. “Hemos perdido la fe en la capacidad de Axon para ser un socio responsable”.
Axon (anteriormente Taser) se ha convertido en los últimos años en un gigante de software y hardware para el cumplimiento de la ley, que proporciona no solo las armas eléctricas familiares y antes epónimas, sino también cámaras corporales y plataformas digitales completas para la gestión de pruebas. Dejando de lado por ahora los riesgos inherentes de privatizar tales cosas, Axon ha sido sorprendentemente cuidadoso con su tecnología, solicitando el consejo de las comunidades en las que se utilizarán estas herramientas, así como de los policías que las usarán o manejarán.
El Consejo de Ética de IA se estableció hace unos años cuando quedó claro que el aprendizaje automático era una herramienta extremadamente valiosa, pero también una que fácilmente podía construirse de manera deficiente, aplicarse de manera abusiva o alguna combinación de ambos. La junta, una colección de expertos, académicos y profesionales de la industria, brindaría una perspectiva moderada sobre la tecnología que sugería salvaguardas, medidas de responsabilidad, etc.
Tuvo un buen comienzo, escribieron los miembros renunciantes en un comunicado:
Cada uno de nosotros se unió a esta Junta con la creencia de que podíamos influir en la dirección de la empresa de manera que ayudaría a mitigar los daños que la tecnología policial puede sembrar y capturar mejor cualquier beneficio. Durante un tiempo, vimos esa influencia en algunas de las decisiones de Axon. Desde no equipar ninguno de sus productos con capacidades de reconocimiento facial, hasta retirar una nueva herramienta de software para recopilar datos de sitios web de redes sociales, hasta promover la legislación que se necesita desesperadamente para controlar el uso de lectores de matrículas, observamos evidencia tangible de la diferencia que estaban haciendo.
Hablé con el director ejecutivo Rich Smith en 2020 y descubrí que tenía una opinión refrescantemente honesta sobre la cuestión de si la tecnología es la respuesta a una crisis policial en curso.
“La tecnología no es una panacea. No va a resolver estos problemas para nosotros”, dijo. Pero igualmente cierto, continuó, es el hecho de que sin tecnología, algunos de estos problemas serán insolubles. Las cámaras corporales y otros seguimientos digitales de los encuentros con la policía no son un bien puro, pero ¿de qué otra manera podemos esperar que se registren sistemáticamente tales eventos? Quienes definirán estas herramientas no son la policía sino las empresas que las fabrican, y Axon se las ha arreglado para ponerse en esa posición.
Pero recientemente puede haber ido demasiado lejos en cuanto a la cantidad y el tipo de tecnología que se debe utilizar como elemento disuasorio contra los tiroteos masivos.
“[Axon] tiene la intención de desarrollar drones equipados con Taser, preposicionarlos en objetivos potenciales para tiroteos masivos y escolares, y rodear esos objetivos en cámaras de vigilancia con capacidades de transmisión en tiempo real”, dice la carta de la junta.
“La junta había sido presentada y deliberó sobre el Taser Drone como algo para ser pilotado, con controles estrictos porque hay muchas preguntas por responder sobre el uso de este tipo de equipo. Sin embargo, se notificó a la junta con muy poca anticipación que Axon planeaba anunciar esta herramienta como un concepto generalizado, pasando por alto por completo la precaución de la Junta de ética de AI”, dijo Mecole McBride, ex miembro de la junta y directora de defensa de NYU. Proyecto de vigilancia grupo de vigilancia. “Si fue tan fácil hacer que la Junta se hiciera a un lado en algo tan importante, teníamos que preguntarnos, ¿qué estamos haciendo aquí?”
La junta advirtió a Axon que si seguían con esto según lo planeado, habría renuncias. Continuó, y renunciaron.
Con esto y las protestas de otros en la comunidad de que tal vez esta no era la respuesta adecuada a la amenaza de tiroteos masivos, Smith escribió esta publicación de blog reconociendo que la compañía puede haberse adelantado.
“A la luz de los comentarios, estamos pausando el trabajo en este proyecto y reenfocándonos para involucrarnos más con los grupos clave para explorar completamente el mejor camino a seguir”, escribió. “Un dron no letal habilitado para TASER operado a distancia en las escuelas es una idea, no un producto, y está muy lejos. Tenemos mucho trabajo y exploración para ver si esta tecnología es viable y para comprender si las preocupaciones del público pueden abordarse adecuadamente antes de seguir adelante”.
También dijo que estarían “mejorando” el proceso de recopilación de opiniones alternativas, aunque, como señaló McBride, parece haber arrasado con su sistema existente. ¿Qué mejoras evitarían que haga lo mismo en el futuro con cualquier persona, por muy bien que cuente con personal, que tenga un papel puramente asesor mientras que los halcones están en los puestos de toma de decisiones? Axon no respondió preguntas relacionadas con el futuro de la junta, y me refirió a la publicación mencionada anteriormente.
Curiosamente, Smith afirma en él que los miembros de la junta de ética que renunciaron “han optado por retirarse de participar directamente en estos temas antes de que escucháramos o tuviéramos la oportunidad de abordar sus preguntas técnicas”.
Sin embargo, Max Isaacs, un abogado de Policing Project que trabajó con Axon y la junta en esta idea, declaró que “Durante más de un año, la Junta de Ética se comprometió con Axon para discutir los parámetros de un programa piloto limitado”, lo que implica que la cuenta de Smith ha al revés. “El incumplimiento por parte de la empresa de su promesa de consultar a la Junta de Ética antes de tomar decisiones tan trascendentales y su aceptación de la vigilancia masiva persistente indica que Axon no está lo suficientemente comprometida con el desarrollo de esta tecnología de manera responsable”, dijo Isaacs.
Un representante de Axon explicó que la junta había opinado sobre un dron equipado con Taser para la policía, no el “preinstalado en espacios públicos” y destinado brevemente para su uso en las escuelas. Es un poco débil como tapadera para decir que la junta no había intervenido: sus preocupaciones por los despliegues policiales seguramente deben haber sido aún más apremiantes para el despliegue en las escuelas. Y como señaló la carta de renuncia, Axon no les dio mucho tiempo para responder, o más probablemente, sabía exactamente cuál sería la respuesta.
Cualquiera que sea el caso, el plan Taser Drone está congelado y Axon puede pensar dos veces antes de lanzarse a una discusión sobre el polvorín, cerilla en mano. La tecnología siempre tendrá un papel importante en la seguridad y el cumplimiento de la ley, pero no le hace ningún bien a nadie (y puede tener serias repercusiones) moverse más rápido de lo que pensamos.
Source link