En la prisa por construir, probar e implementar sistemas de inteligencia artificial, las empresas a menudo carecen de los recursos y el tiempo para validar completamente sus sistemas y asegurarse de que estén libres de errores. en un 2018 reporte, Gartner predijo que el 85 % de los proyectos de IA generarán resultados erróneos debido al sesgo en los datos, los algoritmos o los equipos responsables de administrarlos. Incluso las grandes empresas tecnológicas no son inmunes a las trampas: para un cliente, IBM por último no pudo entregar un sistema de diagnóstico de cáncer impulsado por IA que terminó costando $ 62 millones durante 4 años.
Inspirado por “recompensa por erroresprogramas, Jeong-Suh Choi y Soohyun Bae fundaron Bobidi, una plataforma destinada a ayudar a las empresas a validar sus sistemas de IA exponiéndolos a la comunidad global de ciencia de datos. Con Bobidi, Bae y Choi buscaron crear un producto que permitiera a los clientes conectar los sistemas de inteligencia artificial con la comunidad de cazadores de errores de una manera “segura”, a través de una API.
La idea es permitir que los desarrolladores prueben los sistemas y sesgos de IA, es decir, los casos extremos en los que los sistemas funcionan mal, para reducir el tiempo necesario para la validación, explicó Choi en una entrevista por correo electrónico. Bae fue anteriormente ingeniero senior en Google y dirigió el mapeo de realidad aumentada en Niantic, mientras que Choi fue gerente senior en eBay y dirigió el equipo de “ingeniería de personas” en Facebook. Los dos se conocieron en una función de la industria tecnológica hace unos 10 años.
“Para cuando se revelan sesgos o fallas en el modelo, el daño ya es irreparable”, dijo Choi. “Por ejemplo, algoritmos de procesamiento de lenguaje natural [like OpenAI’s GPT-3] a menudo se encuentran haciendo comentarios problemáticos, o respondiendo mal a esos comentarios, relacionados con el discurso de odio, la discriminación y los insultos. Usando Bobidi, la comunidad puede ‘probar previamente’ el algoritmo y encontrar esas lagunas, lo que en realidad es muy poderoso ya que puede probar el algoritmo con muchas personas bajo ciertas condiciones que representan contextos sociales y políticos que cambian constantemente”.
Para probar modelos, la “comunidad” de desarrolladores de Bobidi crea un conjunto de datos de validación para un sistema determinado. A medida que los desarrolladores intentan encontrar lagunas en el sistema, los clientes obtienen un análisis que incluye patrones de falsos negativos y positivos y los metadatos asociados con ellos (por ejemplo, la cantidad de casos extremos).
Exponer sistemas y modelos sensibles al mundo exterior puede hacer que algunas empresas se detengan, pero Choi afirma que Bobidi “caduca automáticamente” los modelos después de una cierta cantidad de días para que no se les pueda aplicar ingeniería inversa. Los clientes pagan por el servicio en función de la cantidad de intentos “legítimos” realizados por la comunidad, lo que equivale a un dólar ($0.99) por cada 10 intentos.
Choi señala que la cantidad de dinero que los desarrolladores pueden ganar a través de Bobidi (de $10 a $20 por hora) está sustancialmente por encima del salario mínimo en muchas regiones del mundo. Asumiendo que las estimaciones de Choi están basadas en hechos, Bobidi se opone a la tendencia en la industria de la ciencia de datos, que tiende a pagar mal a los validadores y etiquetadores de datos. Según un estudio, los anotadores del conjunto de datos de visión por computadora ImageNet ampliamente utilizado ganaban un salario medio de $2 por hora, y solo el 4 % ganaba más de $7,25 por hora.
Dejando de lado la estructura salarial, la validación impulsada por la multitud no es una idea nueva. En 2017, el Laboratorio de Lingüística Computacional y Procesamiento de la Información de la Universidad de Maryland lanzó una plataforma llamada Break It, Build It que permite a los investigadores enviar modelos a los usuarios con la tarea de encontrar ejemplos para vencerlos. En otros lugares, Meta mantiene una plataforma llamada Dynabench que tiene modelos “engañados” para los usuarios diseñados para analizar sentimientos, responder preguntas, detectar discursos de odio y más.
Pero Bae y Choi creen que el enfoque “gamificado” ayudará a que Bobidi se destaque del resto. Si bien son los primeros días, el proveedor afirma tener clientes en empresas emergentes de realidad aumentada y visión por computadora, incluidas Seerslab, Deepixel y Gunsens.
La tracción fue suficiente para convencer a varios inversores de comprometer dinero para la empresa. Hoy, Bobidi cerró una ronda inicial de $ 5,5 millones con la participación de Y Combinator, We Ventures, Hyundai Motor Group, Scrum Ventures, New Product Experimentation (NPE) en Meta, Lotte Ventures, Atlas Pac Capital y varios inversores ángeles no revelados.
Es de destacar que Bobidi se encuentra entre las primeras inversiones para NPE, que cambió de marcha el año pasado de crear aplicaciones orientadas al consumidor a realizar inversiones iniciales en nuevas empresas centradas en IA. Cuando se contactó para hacer comentarios, la directora de inversiones de NPE, Sunita Parasuraman, dijo por correo electrónico: “Estamos encantados de respaldar a los talentosos fundadores de Bobidi, que están ayudando a las empresas a validar mejor los modelos de IA con una solución innovadora impulsada por personas de todo el mundo”.
“Bobidi es una combinación entre la comunidad y la IA, una combinación única de experiencia que compartimos”, agregó Choi. “Creemos que la era de los grandes datos está llegando a su fin y estamos a punto de entrar en la nueva era de los datos de calidad. Significa que estamos pasando de la era, donde el enfoque era construir el mejor modelo proporcionado con los conjuntos de datos, a la nueva era, donde las personas tienen la tarea de encontrar el mejor conjunto de datos proporcionado con el enfoque opuesto completo del modelo”.
Choi dijo que las ganancias de la ronda inicial se destinarán a la contratación (Bobidi actualmente tiene 12 empleados) y la creación de “experiencias de conocimiento del cliente” y varias “tecnologías centrales de aprendizaje automático”. La compañía espera triplicar el tamaño de su equipo para fin de año a pesar de los obstáculos económicos.
Source link