Las responsabilidades de los inversores que priorizan la inteligencia artificial

A los inversores en empresas de tecnología de inteligencia artificial que prestan servicios a la industria de defensa, como Palantir, Primer y Anduril, les va bien. Anduril, por ejemplo, alcanzó una valoración de más de $ 4 mil millones en menos de cuatro años. Muchas otras empresas que construyen tecnologías de IA de uso general, como el etiquetado de imágenes, reciben una gran parte (no divulgada) de sus ingresos de la industria de defensa.

Los inversores en empresas de tecnología de inteligencia artificial que ni siquiera están destinadas a servir a la industria de defensa a menudo encuentran que estas empresas eventualmente (y a veces sin darse cuenta) ayudan a otras instituciones poderosas, como fuerzas policiales, agencias municipales y empresas de medios, a ejercer sus funciones.

La mayoría hace un buen trabajo, como DataRobot ayuda a las agencias a comprender la propagación de COVID, Simulaciones de ejecución HASH de distribución de vacunas o Canción rítmica poner las comunicaciones escolares a disposición de los padres inmigrantes en un distrito escolar de EE. UU.

Sin embargo, también hay algunos ejemplos menos positivos: la tecnología hecha por la firma israelí de inteligencia cibernética NSO fue utilizado para hackear 37 teléfonos inteligentes perteneciente a periodistas, activistas de derechos humanos, ejecutivos de empresas y la prometida del periodista saudí asesinado Jamal Khashoggi, según un informe de The Washington Post y 16 socios de medios. El informe afirma que los teléfonos estaban en una lista de más de 50.000 números basados ​​en países que vigilan a sus ciudadanos y se sabe que han contratado los servicios de la empresa israelí.

Es posible que otros fundadores, socios limitados y gobiernos les hagan ahora preguntas desafiantes a los inversores de estas empresas sobre si la tecnología es demasiado poderosa, permite demasiado o se aplica de manera demasiado amplia. Estas son cuestiones de grado, pero a veces ni siquiera se plantean al realizar una inversión.

He tenido el privilegio de hablar con mucha gente con muchas perspectivas: directores ejecutivos de grandes empresas, fundadores de (¡actualmente!) Pequeñas empresas y políticos, desde que publiqué “La primera empresa en IA” e invertir en estas empresas durante la mayor parte de una década. He recibido una pregunta importante una y otra vez: ¿cómo se aseguran los inversores de que las nuevas empresas en las que invierten apliquen la IA de forma responsable?

Seamos francos: es fácil para los inversores de empresas emergentes rechazar una pregunta tan importante diciendo algo como: “Es muy difícil saber cuándo invertimos”. Las startups son formas incipientes de algo por venir. Sin embargo, las empresas emergentes de IA están trabajando con algo poderoso desde el primer día: herramientas que permiten un apalancamiento mucho más allá de nuestro alcance físico, intelectual y temporal.

La IA no solo les da a las personas la capacidad de poner sus manos alrededor de objetos más pesados ​​(robots) o concentrarse en más datos (análisis), sino que también les da la capacidad de doblar sus mentes en torno al tiempo (predicciones). Cuando las personas pueden hacer predicciones y aprender a medida que se desarrollan, pueden aprender rápido. Cuando las personas pueden aprender rápido, pueden actuar con rapidez.

Como cualquier herramienta, se pueden usar estas herramientas para bien o para mal. Puedes usar una piedra para construir una casa o puedes arrojarla a alguien. Puede usar pólvora para hermosos fuegos artificiales o disparar balas.

Se pueden usar modelos de visión por computadora sustancialmente similares, basados ​​en inteligencia artificial, para descubrir los movimientos de un grupo de baile o un grupo terrorista. Los drones impulsados ​​por IA pueden apuntarnos con una cámara mientras realizan saltos de esquí, pero también pueden apuntarnos con un arma.

Este artículo cubre los conceptos básicos, las métricas y la política de la inversión responsable en empresas que priorizan la inteligencia artificial.

Los basicos

Los inversores y los miembros del consejo de administración de las empresas AI-first deben asumir al menos una responsabilidad parcial por las decisiones de las empresas en las que invierten.

Los inversores influyen en los fundadores, tengan la intención o no. Los fundadores preguntan constantemente a los inversores sobre qué productos construir, a qué clientes dirigirse y qué acuerdos ejecutar. Hacen esto para aprender y mejorar sus posibilidades de ganar. También hacen esto, en parte, para mantener a los inversores interesados ​​e informados porque pueden ser una valiosa fuente de capital.

Los inversores pueden pensar que están operando de una manera totalmente socrática, como una caja de resonancia para los fundadores, pero la realidad es que influyen en las decisiones clave incluso con solo hacer preguntas, y mucho menos dar consejos específicos sobre qué construir, cómo venderlo. y cuánto cobrar. Es por eso que los inversores necesitan su propio marco para invertir de manera responsable en IA, para que no influyan en un mal resultado.

Los miembros de la junta tienen su opinión sobre decisiones estratégicas clave, tanto legal como prácticamente. Las reuniones de la junta son donde se toman decisiones clave sobre productos, precios y empaque. Algunas de estas decisiones afectan la forma en que se utiliza la tecnología central, por ejemplo, si se otorgan licencias exclusivas a los gobiernos, se establecen subsidiarias en el extranjero o se obtienen autorizaciones de seguridad personal. Es por eso que los miembros de la junta necesitan su propio marco para invertir de manera responsable en IA.

Las métricas

El primer paso para asumir la responsabilidad es saber qué diablos está sucediendo. Es fácil para los inversores emergentes ignorar la necesidad de saber qué está sucediendo dentro de los modelos basados ​​en IA. Probar el código para ver si funciona antes de enviarlo al sitio de un cliente es suficiente para muchos inversores de software.

Sin embargo, los productos de inteligencia artificial se adaptan, evolucionan y generan nuevos datos constantemente. Algunos consideran que monitorear la IA es tan difícil que es básicamente imposible. Sin embargo, podemos configurar tanto métricas como sistemas de gestión para monitorear los efectos de los productos de inteligencia artificial.

Podemos usar métricas estrictas para averiguar si el sistema basado en inteligencia artificial de una startup está funcionando o si se está saliendo de control. Las métricas correctas a utilizar dependen del tipo de técnica de modelado, los datos utilizados para entrenar el modelo y el efecto previsto de utilizar la predicción. Por ejemplo, cuando el objetivo es alcanzar un objetivo, se pueden medir tasas de verdadero / falso positivo / negativo.

La sensibilidad y la especificidad también pueden ser útiles en aplicaciones de atención médica para obtener algunas pistas sobre la eficacia de un producto de diagnóstico: ¿Detecta suficientes enfermedades el tiempo suficiente para justificar el costo y el dolor del proceso de diagnóstico? El libro tiene una explicación de estas métricas y una lista de métricas que se deben considerar implementar.

También podemos implementar un bucle de gestión de aprendizaje automático que detecta los modelos antes de que se desvíen de la realidad. “Deriva” es cuando el modelo se entrena con datos que son diferentes de los datos observados actualmente y se mide comparando las distribuciones de esos dos conjuntos de datos. Es imperativo medir la deriva del modelo con regularidad, dado que el mundo cambia de forma gradual, repentina y frecuente.

Podemos medir cambios graduales solo si recibimos métricas a lo largo del tiempo, los cambios repentinos solo se pueden medir si obtenemos métricas cercanas al tiempo real, y los cambios regulares solo se pueden medir si acumulamos métricas en los mismos intervalos. El siguiente esquema muestra algunos de los pasos involucrados en un ciclo de administración de aprendizaje automático para que podamos darnos cuenta de que es importante medir constante y consistentemente las mismas cosas en cada paso del proceso de construcción, prueba, implementación y uso de modelos.

El tema del sesgo en la IA es un problema tanto ético como técnico. Nos ocupamos de la parte técnica aquí y resumimos la gestión del sesgo de la máquina tratándola de la misma manera que a menudo gestionamos el sesgo humano: con restricciones estrictas. Establecer restricciones sobre lo que el modelo puede predecir, quién accede a esas predicciones, los límites de los datos de retroalimentación, los usos aceptables de las predicciones y más requiere esfuerzo al diseñar el sistema, pero asegura las alertas adecuadas.

Además, establecer estándares para los datos de entrenamiento puede aumentar la probabilidad de que se consideren una amplia gama de entradas. Hablar con el diseñador del modelo es la mejor manera de comprender los riesgos de cualquier sesgo inherente a su enfoque. Considere acciones automáticas como apagar o alertar después de establecer estas restricciones.

Las políticas

Ayudar a las instituciones poderosas dándoles herramientas poderosas a menudo se interpreta como un apoyo directo a los partidos políticos que las pusieron en el poder. A menudo se asume la alineación, correcta o incorrectamente, y tiene consecuencias. Es posible que los miembros del equipo, los clientes y los posibles inversores alineados con diferentes partidos políticos no quieran trabajar con usted. Los medios pueden dirigirse a usted. Esto es de esperar y, por lo tanto, se expresa internamente como una elección explícita sobre si trabajar con tales instituciones.

Los problemas políticos primarios y más directos surgen para los inversores cuando las empresas trabajan para el ejército. Hemos visto grandes empresas como Google enfrentarse a huelgas de empleados por el mero potencial de aceptar contratos militares.

Los problemas políticos secundarios, como la privacidad personal, son más una cuestión de grado en términos de si catalizan la presión para limitar el uso de la IA. Por ejemplo, cuando los grupos de libertades civiles apuntan a aplicaciones que pueden invadir la privacidad de una persona, los inversores pueden tener que considerar restricciones sobre el uso de esas aplicaciones.

Los problemas políticos terciarios son generalmente industriales, como la forma en que la IA puede afectar la forma en que trabajamos. Estos son difíciles de gestionar para los inversores, porque el impacto en la sociedad a menudo es incognoscible en la línea de tiempo sobre la que pueden operar los políticos, es decir, unos pocos años.

Los inversores responsables considerarán constantemente las tres áreas (militar, privacidad e industria) de interés político y establecerán la agenda interna de formulación de políticas (a corto, mediano y largo plazo) de acuerdo con la proximidad del riesgo político.

Podría decirse que las empresas de inteligencia artificial que quieren lograr la paz en nuestro mundo pueden considerar que eventualmente tendrán que “elegir un bando” para empoderar. Este es un punto de vista sólido a adoptar, pero que está justificado por ciertos puntos de vista (en su mayoría utilitarios) sobre la violencia.

En conclusión

Las responsabilidades de los inversionistas que priorizan la inteligencia artificial son profundas, y rara vez los inversionistas en este campo saben cuán profundo cuando recién están comenzando, a menudo sin apreciar completamente el impacto potencial de su trabajo. Quizás la solución sea desarrollar un marco ético sólido que se aplique de manera coherente en todas las inversiones.

No he profundizado en los marcos éticos porque, bueno, se necesitan tomos para considerarlos adecuadamente, una vida para construir para uno mismo y lo que se siente como una vida para construir para las empresas. Basta decir que creo que los filósofos podrían utilizarse mejor en las empresas que priorizan la inteligencia artificial para desarrollar tales marcos.

Hasta entonces, es de esperar que los inversores que conocen los conceptos básicos, las métricas y la política sean una buena influencia para los creadores de esta tecnología más poderosa.

Descargo de responsabilidad: El autor es inversor en dos empresas mencionadas en este artículo (HASH y Lilt) a través de un fondo (Zetta), donde es socio director.