Cuatro pasos para redactar un plan de prácticas éticas de datos

En 2019, la rama de servicios de salud de UnitedHealthcare, Optum, implementó un algoritmo de aprendizaje automático en 50 organizaciones de atención médica. Con la ayuda del software, los médicos y las enfermeras pudieron monitorear a los pacientes con diabetes, enfermedades cardíacas y otras dolencias crónicas, así como ayudarlos a administrar sus recetas y programar visitas al médico. Optum ahora está bajo investigación después de que la investigación revelara que el algoritmo (supuestamente) recomienda prestar más atención a los pacientes blancos que a los pacientes negros más enfermos.

Los líderes de análisis y datos de hoy en día están encargados de crear valor con los datos. Dado su conjunto de habilidades y su alcance, también se encuentran en una posición organizacional única para ser responsables de encabezar las prácticas éticas de datos. La falta de un marco de ética de datos operable, escalable y sostenible aumenta el riesgo de malas prácticas comerciales, violaciones de la confianza de las partes interesadas, daño a la reputación de una marca, investigación regulatoria y demandas.

Aquí hay cuatro prácticas clave que los directores de datos/científicos y los directores de análisis (CDAO) deben emplear al crear su propio marco de datos éticos y prácticas comerciales.

Identifique un organismo de expertos existente dentro de su organización para manejar los riesgos de datos

El CDAO debe identificar y ejecutar la oportunidad económica para el análisis, y con la oportunidad viene el riesgo. Ya sea que el uso de datos sea interno, por ejemplo, para aumentar la retención de clientes o la eficiencia de la cadena de suministro, o integrado en productos y servicios orientados al cliente, estos líderes deben identificar y mitigar explícitamente el riesgo de daño asociado con el uso de datos.

Una excelente manera de comenzar a desarrollar prácticas éticas de datos es buscar grupos existentes, como una junta de gobierno de datos, que ya aborda cuestiones de privacidad, cumplimiento y riesgo cibernético, para construir un marco de ética de datos. La integración de un marco de ética con la infraestructura existente aumenta la probabilidad de una adopción exitosa y eficiente. Alternativamente, si no existe tal organismo, se debe crear un nuevo organismo con expertos relevantes dentro de la organización. El órgano rector de ética de datos debe ser responsable de formalizar los principios de ética de datos y ponerlos en práctica para productos o procesos en desarrollo o ya implementados.

Garantizar que la recopilación y el análisis de datos sean transparentes y protejan la privacidad

Todos los proyectos de análisis e inteligencia artificial requieren una estrategia de recopilación y análisis de datos. La recopilación de datos éticos debe, como mínimo, incluir: asegurar el consentimiento informado al recopilar datos de las personas, garantizar el cumplimiento legal, como adherirse al RGPD, anonimizar la información de identificación personal para que no se pueda realizar ingeniería inversa razonablemente para revelar identidades y proteger la privacidad.

Algunos de estos estándares, como la protección de la privacidad, no tienen necesariamente un nivel estricto y rápido que deba cumplirse. Los CDAO deben evaluar el equilibrio correcto entre lo que es ético y cómo sus elecciones afectan los resultados comerciales. Estos estándares luego deben traducirse a las responsabilidades de los gerentes de producto quienes, a su vez, deben garantizar que los recopiladores de datos de primera línea actúen de acuerdo con esos estándares.

Los CDAO también deben adoptar una postura sobre la ética algorítmica y la transparencia. Por ejemplo, ¿debería una función de búsqueda impulsada por IA o un sistema de recomendación esforzarse por lograr la máxima precisión predictiva, proporcionando una mejor estimación de lo que el usuario realmente quiere? ¿Es ético microsegmentar, limitando los resultados o recomendaciones a lo que otras “personas similares” han hecho clic en el pasado? ¿Y es ético incluir resultados o recomendaciones que no son, de hecho, predictivas, sino maximizadoras de beneficios para algún tercero? ¿Cuánta transparencia algorítmica es apropiada y cuánto les importa a los usuarios? Un plan ético sólido requiere abordar estos problemas de manera sistemática y deliberada, en lugar de imponer estas decisiones a científicos de datos y desarrolladores de tecnología individuales que carecen de la capacitación y la experiencia para tomar estas decisiones.

Anticipar y evitar resultados inequitativos

Los gerentes de división y de producto necesitan orientación sobre cómo anticipar resultados no equitativos y sesgados. Pueden surgir desigualdades y sesgos debido simplemente a desequilibrios en la recopilación de datos; por ejemplo, una herramienta de reconocimiento facial que se ha entrenado en 100 000 rostros masculinos y 5000 rostros femeninos probablemente tendrá una eficacia diferente según el género. Los CDAO deben ayudar a garantizar conjuntos de datos equilibrados y representativos.

Otros sesgos son menos obvios, pero igual de importantes. En 2019, Apple Card y Goldman Sachs fueron acusadas de sesgo de género al extender líneas de crédito más altas a hombres que a mujeres. Aunque Goldman Sachs sostuvo que la solvencia, no el género, era el factor determinante en las decisiones crediticias, el hecho de que históricamente las mujeres hayan tenido menos oportunidades de generar crédito probablemente significaba que el algoritmo favorecía a los hombres.

Para mitigar las desigualdades, los CDAO deben ayudar tanto a los desarrolladores de tecnología como a los gerentes de productos a navegar lo que significa ser justo. Si bien la literatura informática ofrece innumerables métricas y definiciones de equidad, los desarrolladores no pueden elegir una razonablemente en ausencia de colaboraciones con los gerentes comerciales y expertos externos que pueden ofrecer una comprensión contextual profunda de cómo se usarán los datos eventualmente. Una vez que se eligen los estándares de equidad, también deben comunicarse de manera efectiva a los recolectores de datos para garantizar su cumplimiento.

Alinear la estructura organizativa con el proceso de identificación del riesgo ético

Los CDAO a menudo desarrollan la capacidad de análisis de una de dos maneras: a través de un centro de excelencia, al servicio de una organización completa, o un modelo más distribuido, con científicos de datos e inversiones en análisis comprometidos con áreas funcionales específicas, como marketing, finanzas u operaciones. Independientemente de la estructura organizativa, los procesos y las rúbricas para identificar el riesgo ético deben comunicarse claramente y incentivarse adecuadamente.

Los pasos clave incluyen:

Establecer claramente la responsabilidad mediante la creación de vínculos entre el organismo de ética de datos y los departamentos y equipos. Esto se puede hacer haciendo que cada departamento o equipo designe su propio “campeón de ética” para monitorear los problemas de ética. Los defensores deben poder elevar las inquietudes al organismo de ética de datos, que puede asesorar sobre estrategias de mitigación, como aumentar los datos existentes, mejorar la transparencia o crear una nueva función objetivo. Garantizar definiciones y procesos consistentes en todos los equipos a través de la educación y la capacitación en torno a los datos y la ética de la IA. Ampliar las perspectivas de los equipos sobre cómo identificar y remediar problemas éticos facilitando colaboraciones entre equipos internos y compartiendo ejemplos e investigaciones de otros dominios. Crear incentivos (reconocimientos financieros o de otro tipo) para construir una cultura que valore la identificación y mitigación del riesgo ético.

Los CDAO están a cargo del uso estratégico y la implementación de datos para impulsar los ingresos con nuevos productos y crear una mayor consistencia interna. Demasiados líderes empresariales y de datos hoy intentan “ser éticos” simplemente sopesando los pros y los contras de las decisiones a medida que surgen. Esta visión miope genera riesgos innecesarios para la reputación, las finanzas y la organización. Así como un enfoque estratégico de los datos requiere un programa de gobierno de datos, el buen gobierno de datos requiere un programa de ética. En pocas palabras, el buen gobierno de datos es un gobierno de datos ético.