Cat Noone es diseñadora de productos, cofundadora y directora ejecutiva de Rígido – una startup con la misión de hacer accesible el software del mundo. Su objetivo es dar vida a productos y tecnología que maximicen el acceso a las últimas innovaciones del mundo.
Más publicaciones de este colaborador El ROI real de hacer que sus productos sean más accesibles
Los datos no son abstractos, tienen un impacto directo en la vida de las personas.
En 2019, un robot de reparto impulsado por IA momentáneamente bloqueado que un usuario de silla de ruedas no acceda de forma segura a la acera al cruzar una carretera con mucho tráfico. Hablando sobre el incidente, la persona señaló: “Es importante que el desarrollo de tecnologías [doesn’t put] personas discapacitadas en la línea como garantía “.
Junto con otros grupos minoritarios, las personas con discapacidad se han visto perjudicadas durante mucho tiempo por datos y herramientas de datos defectuosos. Las discapacidades son diversas, matizadas y dinámicas; no encajan dentro de la estructura de fórmulas de la IA, que está programada para encontrar patrones y formar grupos. Debido a que AI trata cualquier dato atípico como “ruido” y lo ignora, con demasiada frecuencia se excluye de sus conclusiones a las personas con discapacidad.
Las discapacidades son diversas, matizadas y dinámicas; no encajan dentro de la estructura de fórmulas de la IA, que está programada para encontrar patrones y formar grupos.
Tomemos, por ejemplo, el caso de Elaine Herzberg, quien fue atropellada y asesinada por un Uber SUV autónomo en 2018. En el momento de la colisión, Herzberg empujaba una bicicleta, lo que significaba que el sistema de Uber luchaba por categorizarla y pasaba de etiquetarla como un “vehículo”, “bicicleta ,” y otra.” La tragedia planteó muchas preguntas a las personas con discapacidad; ¿Una persona en silla de ruedas o scooter correría el mismo riesgo de sufrir la misma clasificación errónea fatal?
Necesitamos una nueva forma de recopilar y procesar datos. Los “datos” abarcan desde información personal, comentarios de los usuarios, currículums, multimedia, métricas de usuarios y mucho más, y se utilizan constantemente para optimizar nuestro software. Sin embargo, no se hace con la comprensión del espectro de formas nefastas en las que puede y se usa en las manos equivocadas, o cuando los principios no se aplican a cada punto de contacto del edificio.
Nuestros productos necesitan desde hace mucho tiempo un marco de datos nuevo y más justo para garantizar que los datos se gestionen teniendo en cuenta a las personas con discapacidad. Si no es así, las personas con discapacidad se enfrentarán a más fricciones y peligros en una vida cotidiana que depende cada vez más de las herramientas digitales.
Los datos mal informados dificultan la creación de buenas herramientas
Es posible que los productos que carecen de accesibilidad no impidan que las personas con discapacidades abandonen sus hogares, pero pueden evitar que accedan a puntos clave de la vida como atención médica de calidad, educación y entregas a pedido.
Nuestras herramientas son producto de su entorno. Reflejan la visión del mundo y la lente subjetiva de sus creadores. Durante demasiado tiempo, los mismos grupos de personas han estado supervisando sistemas de datos defectuosos. Es un circuito cerrado, donde los sesgos subyacentes se perpetúan y los grupos que ya eran invisibles permanecen invisibles. Pero a medida que avanzan los datos, ese bucle se convierte en una bola de nieve. Estamos lidiando con modelos de aprendizaje automático: si se les enseña el tiempo suficiente que “no ser X” (léase: blanco, sin discapacidad, cisgénero) significa no ser “normal”, evolucionarán basándose en esa base.
Los datos están interconectados de formas que son invisibles para nosotros. No es suficiente decir que su algoritmo no excluirá a las personas con discapacidades registradas. Los sesgos están presentes en otros conjuntos de datos. Por ejemplo, en los Estados Unidos es ilegal rechazar un préstamo hipotecario porque es negro. Pero al basar el proceso en gran medida en las puntuaciones crediticias, que han sesgos inherentes perjudicial para las personas de color: los bancos indirectamente excluir ese segmento de la sociedad.
Para las personas con discapacidades, los datos indirectamente sesgados podrían ser la frecuencia de actividad física o la cantidad de horas conmutadas por semana. Aquí hay un ejemplo concreto de cómo el sesgo indirecto se traduce en software: si un algoritmo de contratación estudia los movimientos faciales de los candidatos durante una entrevista en video, una persona con una discapacidad cognitiva o de movilidad experimentará diferentes barreras que un solicitante plenamente capacitado.
El problema también se debe a que las personas con discapacidad no son vistas como parte del mercado objetivo de las empresas. Cuando las empresas se encuentran en la etapa inicial de intercambiar ideas sobre sus usuarios ideales, las discapacidades de las personas a menudo no se dan cuenta, especialmente cuando son menos notorias, como las enfermedades de salud mental. Eso significa que los datos del usuario inicial utilizados para iterar productos o servicios no provienen de estas personas. De hecho, 56% de las organizaciones todavía no prueban de forma rutinaria sus productos digitales entre personas con discapacidades.
Si las empresas de tecnología incluyeran de manera proactiva a personas con discapacidades en sus equipos, es mucho más probable que su mercado objetivo sea más representativo. Además, todos los trabajadores tecnológicos deben conocer y tener en cuenta las exclusiones visibles e invisibles en sus datos. No es una tarea sencilla y tenemos que colaborar en ello. Idealmente, tendremos conversaciones, foros e intercambio de conocimientos más frecuentes sobre cómo eliminar el sesgo indirecto de los datos que usamos a diario.
Necesitamos una prueba de estrés ético para los datos
Probamos nuestros productos todo el tiempo, en términos de usabilidad, participación e incluso preferencias de logotipo. Sabemos qué colores funcionan mejor para convertir a los clientes que pagan y las palabras que más resuenan entre las personas, entonces, ¿por qué no estamos estableciendo un estándar para la ética de los datos?
En última instancia, la responsabilidad de crear tecnología ética no solo se encuentra en la cima. También son responsables los que colocan los ladrillos de un producto día tras día. Fue el ingeniero de Volkswagen (no el director ejecutivo de la empresa) quien enviar a la cárcel por desarrollar un dispositivo que permitiera a los automóviles evadir las reglas de contaminación de EE. UU.
Ingenieros, diseñadores, gerentes de producto; todos tenemos que reconocer los datos que tenemos delante y pensar por qué los recopilamos y cómo los recopilamos. Eso significa diseccionar los datos que estamos solicitando y analizar cuáles son nuestras motivaciones. ¿Siempre tiene sentido preguntar sobre la discapacidad, el sexo o la raza de alguien? ¿Cómo beneficia al usuario final tener esta información?
En Stark, hemos desarrollado un marco de cinco puntos para ejecutar al diseñar y construir cualquier tipo de software, servicio o tecnología. Tenemos que abordar:
Qué datos estamos recopilando. Por qué lo estamos recopilando. Cómo se usará (y cómo se puede usar incorrectamente). Simular IFTTT: “Si esto, entonces aquello”. Explique posibles escenarios en los que los datos se pueden usar de manera nefasta y soluciones alternativas. Por ejemplo, ¿cómo los usuarios pueden verse afectados por una violación de datos a gran escala? ¿Qué sucede si esta información privada se hace pública para sus familiares y amigos? Envíe o descarte la idea.
Si solo podemos explicar nuestros datos utilizando una terminología vaga y expectativas poco claras, o estirando la verdad, no se nos debería permitir tener esos datos. El marco nos obliga a desglosar los datos de la manera más simple. Si no podemos, es porque aún no estamos equipados para manejarlo de manera responsable.
La innovación tiene que incluir a las personas con discapacidad
La tecnología de datos complejos es entrando en nuevos sectores todo el tiempo, desde el desarrollo de vacunas hasta la robotaxis. Cualquier sesgo contra las personas con discapacidad en estos sectores les impide acceder a los productos y servicios más avanzados. A medida que nos volvemos más dependientes de la tecnología en todos los nichos de nuestras vidas, existe un mayor margen de exclusión en la forma en que llevamos a cabo las actividades cotidianas.
Se trata de pensar en el futuro y de incluirlos en su producto desde el principio. El dinero y / o la experiencia no son factores limitantes aquí: cambiar su proceso de pensamiento y su viaje de desarrollo es gratis; es solo un pivote consciente en una mejor dirección. Si bien el costo inicial puede ser un gran impulso, las ganancias que perdería por no aprovechar estos mercados, o porque termine modernizando su producto en el futuro, superan con creces el gasto inicial. Esto es especialmente cierto para las empresas de nivel empresarial que no podrán acceder a contratos académicos o gubernamentales sin cumplir con la normativa.
Por lo tanto, las empresas en etapa inicial deben integrar los principios de accesibilidad en el desarrollo de sus productos y recopilar datos de los usuarios para reforzar constantemente esos principios. Compartir datos entre sus equipos de incorporación, ventas y diseño le dará una imagen más completa de dónde están experimentando dificultades sus usuarios. Las empresas en una etapa posterior deben realizar una autoevaluación para determinar dónde faltan esos principios en su producto y aprovechar los datos históricos y los comentarios de los nuevos usuarios para generar una solución.
Una revisión de la inteligencia artificial y los datos no se trata solo de adaptar el marco de trabajo de las empresas. Todavía necesitamos que las personas al timón sean más diversas. Los campos permanecen abrumadoramente masculinos y blancosy en tecnología, hay numerosos cuentas de primera mano de exclusión y parcialidad hacia las personas con discapacidad. Hasta que los equipos que seleccionan las herramientas de datos sean ellos mismos más diversos, el crecimiento de las naciones seguirá siendo sofocado y las personas con discapacidades serán algunas de las víctimas más afectadas.
Source link