Hay muchos en el mundo de la IA que se preocupan por sus implicaciones. Una de esas personas es Navrina Singh, exgerente de producto de Qualcomm, luego Microsoft, que vio de primera mano en Microsoft cómo un bot de Twitter que se desarrolló en 2016 como un experimento de “comprensión conversacional” era, para citar a The Verge, “enseñado a ser un idiota racista en menos de un día. “
El percance de Microsoft es solo uno de una larga serie de ejemplos de inteligencia artificial que salió mal. En 2019, los investigadores encontraron que un algoritmo vendido por la compañía de servicios de salud Optum para predecir qué pacientes se beneficiarán de una atención médica adicional juzgar mal las necesidades de salud de los pacientes negros más enfermos. En repetidas ocasiones se ha descubierto que los sistemas de inteligencia artificial de calificación crediticia son sexista.
Si bien muchas empresas más grandes han reunido equipos para abordar los problemas éticos que surgen de la enorme cantidad de datos que recopilan y luego los utilizan para entrenar sus modelos de aprendizaje automático, el progreso en este frente ha apenas ha sido suave. Mientras tanto, las empresas más pequeñas impulsadas por la inteligencia artificial que no pueden permitirse equipos de personas lo están haciendo en gran medida.
Entra en la compañía de Singh, Yo creo en la inteligencia artificial, un equipo de SaaS que hoy está quitando los $ 5.5 millones en fondos que recaudó de Decibel, Village Global y AI Fund.
La promesa de la compañía es bastante sencilla como ella lo explica, incluso mientras administra el complejo. Singh y su equipo actual de 15 empleados han desarrollado un marco de riesgo que brinda a las empresas una ventana a su propio gobierno. No es tanto que la tecnología de la startup sea revolucionaria (según entendemos), sino que Credo AI aborda lo que a menudo es una falta de responsabilidad dentro de las organizaciones al brindarles un panel de control con las herramientas para administrar todo tipo de datos que están recopilando, como así como sugerir controles que podrían no estar usando, como los estándares IEEE que pueden integrar para proporcionar barreras de seguridad más sólidas para sus modelos de aprendizaje automático.
“Lo que muchas empresas no se han dado cuenta realmente es que hay una falta de lenguaje común y una alineación sobre lo que es ‘bueno’ en la gobernanza de la IA, por lo que las organizaciones realmente están buscando ayuda con esa estandarización”, dice.
El software de Credo AI no es una oferta única para todos, señala Singh. Las diferentes organizaciones ven diferentes impactos de sus modelos, e incluso dentro de las denominadas verticales de la industria, las empresas individuales a menudo tienen diferentes objetivos. “La equidad no se define dentro de diferentes sectores”, dice Singh, quien señala como ejemplo a los servicios financieros, donde muchas agencias bancarias federales están redefiniendo muchas cosas de manera continua. “¿Qué significa justicia por fraude? ¿Qué es la equidad para la suscripción de crédito? “
En lugar de esperar respuestas, dice Singh, Credo AI trabaja con las empresas para alinearse con sus propios valores, luego les ofrece las herramientas para administrar en consecuencia, lo que incluye agregar métricas adicionales cuando así lo elijan, y diferentes partes interesadas. “Queremos permitir que su equipo de ciencia de datos colabore con su equipo de cumplimiento, que su ejecutivo colabore con la persona que gana máquinas, que su gerente de producto colabore con su gerente de riesgos”, dice Singh.
Credo AI quiere ayudar a las empresas a evitar esos momentos de la palma de la mano, o algo peor.
Ciertamente, es una gran oportunidad de mercado. Según los datos publicados a principios de este año por International Data Corporation (IDC), se esperaba que los ingresos mundiales para el mercado de la inteligencia artificial, incluidos software, hardware y servicios, crecieran un 16,4% interanual en 2021, a 327.500 millones de dólares. Para 2024, dijo IDC, se espera que el mercado supere la marca de los 500.000 millones de dólares.
A medida que las empresas gasten más en IA, es de suponer que necesitarán más ayuda para asegurarse de que funcione de la manera que esperan y no cause daño. De hecho, si Singh se sale con la suya, trabajar con Credo AI algún día servirá como una especie de sello que las empresas utilizarán para publicitar su enfoque en la IA ética.
“Si hacemos bien nuestro trabajo”, dice Singh, “quiero que cualquiera que esté construyendo una buena IA se asocie con Credo AI. Sin duda, esa es nuestra aspiración “.
Source link