Hace menos de un año, Anthropic fue fundado por el ex vicepresidente de investigación de OpenAI, Dario Amodei, con la intención de realizar investigaciones de interés público para hacer que la IA sea más confiable y explicable. Su financiación de 124 millones de dólares fue sorprendente en ese momento, pero nada podría habernos preparado para la empresa. recaudando $ 580 millones menos de un año después.
“Con esta recaudación de fondos, vamos a explorar las propiedades de escala predecibles de los sistemas de aprendizaje automático, mientras examinamos de cerca las formas impredecibles en las que las capacidades y los problemas de seguridad pueden surgir a escala”, dijo Amodei en el anuncio.
Su hermana Daniela, con quien cofundó la corporación de beneficio público, dijo que después de construir la empresa, “nos estamos enfocando en garantizar que Anthropic tenga la cultura y el gobierno para continuar explorando y desarrollando de manera responsable sistemas seguros de IA a medida que escalamos. ”
Ahí está esa palabra otra vez: escala. Porque esa es la categoría de problema que Anthropic se formó para examinar: cómo comprender mejor los modelos de IA cada vez más utilizados en todas las industrias a medida que crecen más allá de nuestra capacidad para explicar su lógica y resultados.
La empresa ya ha publicado varios artículos que analizan, por ejemplo, la ingeniería inversa del comportamiento de los modelos de lenguaje para comprender por qué y cómo producen los resultados que producen. Algo como GPT-3, probablemente el modelo de lenguaje más conocido, es sin duda impresionante, pero hay algo preocupante en el hecho de que sus operaciones internas son esencialmente un misterio incluso para sus creadores.
Como lo explica el nuevo anuncio de financiación:
El propósito de esta investigación es desarrollar los componentes técnicos necesarios para construir modelos a gran escala que tengan mejores salvaguardas implícitas y requieran menos intervenciones posteriores al entrenamiento, así como desarrollar las herramientas necesarias para profundizar en estos modelos para estar seguros de que el las salvaguardas realmente funcionan.
Si no comprende cómo funciona un sistema de IA, solo puede reaccionar cuando hace algo mal, por ejemplo, muestra un sesgo en el reconocimiento de rostros o tiende a dibujar o describir hombres cuando se le pregunta sobre médicos y directores ejecutivos. Ese comportamiento está integrado en el modelo, y la solución es filtrar sus resultados en lugar de evitar que tenga esas “nociones” incorrectas en primer lugar.
Es una especie de cambio fundamental en la forma en que se construye y entiende la IA y, como tal, requiere grandes cerebros y grandes computadoras, ninguna de las cuales es particularmente barata. No hay duda de que $ 124 millones fue un buen comienzo, pero aparentemente los primeros resultados fueron lo suficientemente prometedores como para que Sam Bankman-Fried liderara esta enorme ronda nueva, junto con Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn y el Centro de Investigación de Riesgos Emergentes. .
Es interesante ver a ninguno de los inversores de tecnología profunda habituales en ese grupo, pero, por supuesto, Anthropic no tiene como objetivo obtener ganancias, lo que es una especie de factor decisivo para los capitalistas de riesgo.
Puede mantenerse al día con las últimas investigaciones de Anthropic aquí.
Source link