A estas alturas, la mayoría de nosotros en tecnología sabemos que el sesgo inherente que poseemos como humanos crea un sesgo inherente en las aplicaciones de IA: aplicaciones que se han vuelto tan sofisticadas que pueden dar forma a la naturaleza de nuestra vida cotidiana e incluso influir en nuestra toma de decisiones. .
Cuanto más prevalentes y poderosos se vuelven los sistemas de IA, antes la industria debe abordar preguntas como: ¿Qué podemos hacer para dejar de usar modelos de IA / ML que demuestran un sesgo injusto?
¿Cómo podemos aplicar un marco interseccional para construir IA para todas las personas, sabiendo que diferentes individuos se ven afectados por la IA e interactúan con ella de diferentes maneras en función de las identidades convergentes que tienen?
Empiece por identificar la variedad de voces que interactuarán con su modelo.
Interseccionalidad: qué significa y por qué es importante
Antes de abordar las preguntas difíciles, es importante dar un paso atrás y definir la “interseccionalidad”. Un término definido por Kimberlé Crenshaw, es un marco que nos permite considerar cómo las distintas identidades de una persona se unen y dan forma a las formas en las que experimentan y son percibidas en el mundo.
Esto incluye los prejuicios y privilegios resultantes que están asociados con cada identidad distinta. Muchos de nosotros podemos tener más de una identidad marginada y, como resultado, estamos familiarizados con el efecto agravante que ocurre cuando estas identidades se superponen unas a otras.
A El proyecto Trevor, la organización de intervención en crisis y prevención del suicidio más grande del mundo para jóvenes LGBTQ, nuestra misión principal es brindar apoyo a todos y cada uno de los jóvenes LGBTQ que lo necesiten, y sabemos que aquellos que son transgénero y no binarios y / o negros, indígenas y las personas de color enfrentan desafíos y factores estresantes únicos.
Entonces, cuando nuestro equipo de tecnología se propuso desarrollar IA para servir y existir dentro de esta comunidad diversa, es decir, para evaluar mejor el riesgo de suicidio y brindar una atención de alta calidad constante, tuvimos que ser conscientes de evitar los resultados que reforzarían las barreras existentes para la salud mental. recursos de salud como la falta de competencia cultural o prejuicios injustos como asumir el género de alguien en función de la información de contacto presentada.
Aunque nuestra organización sirve a una población particularmente diversa, los prejuicios subyacentes pueden existir en cualquier contexto y afectar negativamente a cualquier grupo de personas. Como resultado, todos los equipos de tecnología pueden y deben aspirar a construir modelos de IA equitativos e interseccionales, porque la interseccionalidad es la clave para fomentar comunidades inclusivas y construir herramientas que sirvan a personas de todos los orígenes de manera más efectiva.
Hacerlo comienza con Identificar la variedad de voces que interactuarán con su modelo., además de los grupos para los que se superponen estas diversas identidades. Definir la oportunidad que está resolviendo es el primer paso porque una vez que comprenda quién se ve afectado por el problema, puede identificar una solución. Próximo, mapear la experiencia de un extremo a otro viaje para conocer los puntos donde estas personas interactúan con el modelo. A partir de ahí, existen estrategias que toda organización, startup y empresa puede aplicar para tejer la interseccionalidad en cada fase del desarrollo de la IA, desde la capacitación hasta la evaluación y la retroalimentación.
Conjuntos de datos y entrenamiento
La calidad de la salida de un modelo se basa en los datos con los que se entrena. Los conjuntos de datos pueden contener sesgos inherentes debido a la naturaleza de su recopilación, medición y anotación, todos los cuales tienen sus raíces en la toma de decisiones humana. Por ejemplo, un Estudio 2019 encontró que un algoritmo de predicción de riesgos de atención médica demostró sesgo racial porque se basó en un conjunto de datos defectuoso para determinar la necesidad. Como resultado, los pacientes negros elegibles recibieron puntuaciones de riesgo más bajas en comparación con los pacientes blancos, lo que finalmente hizo que fueran menos propensos a ser seleccionados para la gestión de la atención de alto riesgo.
Los sistemas justos se construyen entrenando un modelo en conjuntos de datos que reflejan a las personas que interactuarán con el modelo. También significa reconocer dónde hay brechas en sus datos para las personas que pueden estar desatendidas. Sin embargo, hay una conversación más amplia sobre el falta de datos que representen a personas marginadas – es un problema sistémico que debe abordarse como tal, porque la escasez de datos puede oscurecer tanto si los sistemas son justos como si se satisfacen las necesidades de los grupos subrepresentados.
Para comenzar a analizar esto para su organización, considere el tamaño y la fuente de sus datos para identificar qué sesgos, sesgos o errores están incorporados y cómo se pueden mejorar los datos avanzando.
El problema del sesgo en los conjuntos de datos también se puede abordar mediante amplificar o impulsar entradas de datos interseccionales específicas, como lo define su organización. Hacer esto desde el principio informará la fórmula de entrenamiento de su modelo y ayudará a que su sistema se mantenga lo más objetivo posible; de lo contrario, su fórmula de entrenamiento puede optimizarse involuntariamente para producir resultados irrelevantes.
En The Trevor Project, es posible que necesitemos amplificar las señales de los datos demográficos que sabemos que les resulta desproporcionadamente difícil acceder a los servicios de salud mental, o para los datos demográficos que tienen pequeños tamaños de muestra de datos en comparación con otros grupos. Sin este paso crucial, nuestro modelo podría producir resultados irrelevantes para nuestros usuarios.
Evaluación
La evaluación de modelos es un proceso continuo que ayuda a las organizaciones a responder a entornos en constante cambio. La evaluación de la equidad comenzó con mirar una sola dimensión, como la raza, el género o la etnia. El siguiente paso para la industria de la tecnología es descubrir cómo comparar mejor las agrupaciones interseccionales para evaluar la equidad en todas las identidades.
Para medir la justicia, intente Definir los grupos interseccionales que podrían estar en desventaja y los que pueden tener una ventaja., y luego examinar si ciertas métricas (por ejemplo, tasas de falsos negativos) varían entre ellas. ¿Qué te dicen estas inconsistencias? ¿De qué otra manera puede examinar más a fondo qué grupos están subrepresentados en un sistema y por qué? Estos son los tipos de preguntas que debe hacerse en esta fase de desarrollo.
Desarrollar y monitorear un modelo basado en la demografía que sirve desde el principio es la mejor manera para que las organizaciones logren la equidad y alivien los prejuicios injustos. Con base en el resultado de la evaluación, un próximo paso podría ser sobreservir intencionalmente a los grupos estadísticamente subrepresentados para facilitar la capacitación de un modelo que minimice el sesgo injusto. Dado que los algoritmos pueden carecer de imparcialidad debido a las condiciones sociales, el diseño de la equidad desde el principio ayuda a garantizar la igualdad de trato de todos los grupos de personas.
Comentarios y colaboración
Los equipos también deben tener un grupo diverso de personas involucradas en el desarrollo y revisión de productos de IA – personas que son diversas no solo en identidades, sino también en habilidades, exposición al producto, años de experiencia y más. Consulte a las partes interesadas y a las personas afectadas por el sistema para identificar problemas y sesgos.
Apóyese en los ingenieros a la hora de intercambiar ideas sobre soluciones. Para definir agrupaciones interseccionales, en The Trevor Project, trabajamos con los equipos más cercanos a nuestros programas de intervención en crisis y las personas que los utilizan, como Investigación, Servicios de Crisis y Tecnología. Y comuníquese con las partes interesadas y las personas que interactúan con el sistema para recopilar comentarios sobre el lanzamiento.
En última instancia, no existe un enfoque de “talla única” para la creación de IA interseccional. En The Trevor Project, nuestro equipo ha delineado una metodología basada en lo que hacemos, lo que sabemos hoy y las comunidades específicas a las que servimos. Este no es un enfoque estático y permanecemos abiertos a evolucionar a medida que aprendemos más. Si bien otras organizaciones pueden adoptar un enfoque diferente para construir IA interseccional, todos tenemos la responsabilidad moral de construir sistemas de IA más justos, porque la IA tiene el poder de resaltar, y peor aún, magnificar, los prejuicios injustos que existen en la sociedad.
Dependiendo del caso de uso y la comunidad en la que exista un sistema de IA, la ampliación de ciertos sesgos puede resultar en resultados perjudiciales para grupos de personas que ya pueden enfrentar la marginación. Al mismo tiempo, la IA también tiene la capacidad de mejorar la calidad de vida de todas las personas cuando se desarrolla a través de un marco interseccional. En The Trevor Project, recomendamos encarecidamente a los equipos de tecnología, los expertos en el dominio y los responsables de la toma de decisiones que piensen profundamente en la codificación de un conjunto de principios rectores para iniciar un cambio en toda la industria y para garantizar que los futuros modelos de IA reflejen las comunidades a las que sirven.
Source link