Adherirse, una startup que crea grandes modelos de lenguaje para competir con los de OpenAI, anunció hoy el lanzamiento de un laboratorio de investigación sin fines de lucro: Cohere For AI. Dirigido por la alumna de Google Sara Hooker, Cohere dice que Cohere Labs trabajará para resolver algunos de los desafíos más difíciles de la industria al contribuir con “investigación fundamental” a la comunidad de código abierto.
“Estamos realmente emocionados de liderar un nuevo laboratorio de investigación de IA sin fines de lucro a medida que continuamos ampliando cómo y dónde se realiza la investigación. Hay mucho por descubrir, y nuestro enfoque estará en colaborar abiertamente y contribuir con la investigación fundamental”, dijo Hooker a TechCrunch por correo electrónico. “Al mismo tiempo, un componente clave de nuestro trabajo será expandir la comunidad y ayudar a capacitar a la próxima generación de talentos, creando nuevos puntos de entrada para trabajar en la investigación principal. “
Durante mucho tiempo ha habido una preocupación dentro de la comunidad de IA de que no se están reservando suficientes fondos para la investigación de IA fuera de las corporaciones ricas. Una estudiar encontró que los vínculos con las corporaciones, ya sea financiación o afiliación, en la investigación de IA crecieron significativamente de 2008 a 2019. Otro estudiar mostró que la empresa matriz de Google, Alphabet, así como Amazon y Microsoft, contrataron a la friolera de 52 profesores permanentes de IA entre 2004 y 2018, eliminando a estos aspirantes a maestros del trabajo académico y sin fines de lucro.
Concentrar el poder dentro de las corporaciones tiene varias desventajas obvias, pero una de las más alarmantes es que tiende a subestimar valores como la beneficencia, la justicia y la inclusión en el lado de la investigación. Varios expertos, discurso a Wired para un artículo de 2020, señala que los proyectos corporativos de inteligencia artificial han llevado a una “fijación no científica” en proyectos que solo son posibles para personas con acceso a potentes centros de datos. Independientemente del dominio, el trabajo dentro de las empresas a menudo está muy vigilado y tarda años en ver la luz del día, si es que alguna vez lo hace.
“Nuestra agenda se centra en avanzar en el progreso de las preguntas de aprendizaje automático junto con la investigación centrada en la comunidad”, dijo Hooker. “También queremos tener una agenda de investigación proactiva para que podamos identificar los principales desafíos antes de que se conviertan en problemas que debamos solucionar de forma retroactiva. Estamos enfocados en una variedad de disciplinas diferentes para trabajar en la mitigación de sesgos, por ejemplo, y una pieza central de la investigación rodea la seguridad de la IA y el uso sólido de modelos”.
Otro componente central que Cohere For AI espera desarrollar es el acceso a los recursos informáticos, dijo Hooker, específicamente ayudar a los investigadores a utilizar mejor los modelos “de vanguardia” para ayudar a desarrollar su trabajo. El papel del acceso informático está cambiando, como lo ilustran las tendencias en los modelos de lenguaje (es decir, los sistemas de IA que entienden y generan texto). Hace solo unos años, la creación de un modelo de lenguaje altamente sofisticado requería recursos informáticos masivos. Pero ahora, gracias a los avances académicos y al trabajo de la comunidad de código abierto, las barreras de entrada son mucho más bajas de lo que solían ser.
Camino a la organización sin fines de lucro
Con el respaldo de luminarias de IA, incluido el codirector del laboratorio de IA de UC Berkeley, Pieter Abbeel, Cohere fue fundada en 2019 por un equipo de pedigrí que incluye a Aidan Gomez, Ivan Zhang y Nick Frosst. Gómez es coautor del artículo académico. “La atención es todo lo que necesitas” que presentó al mundo una arquitectura de modelo de IA fundamental llamada Transformer. (Entre otros sistemas de alto perfil, OpenAI’s GPT-3 y Códice se basan en la arquitectura Transformer). Zhang, junto con Gomez, es colaborador en For.ai, un colectivo abierto de investigación de IA que involucra a científicos e ingenieros de datos.
“For.ai fue diseñado para ayudar a los entusiastas de las primeras carreras a relacionarse mejor con investigadores más experimentados”, dijo Hooker. “Muchos de los miembros fundadores obtuvieron doctorados o trabajaron en laboratorios académicos o industriales. En ese momento, For.ai fue uno de los primeros grupos de investigación impulsados por la comunidad en apoyar a investigadores independientes de todo el mundo. Ahora, el equipo de Cohere y sus seguidores están emocionados de reintroducir el concepto original pero con más recursos creados a partir de Cohere”.
Según Hooker, Cohere For AI ofrecerá formas para que los científicos de datos “se reúnan y colaboren” a través de oportunidades de investigación de tutoría, participación en conferencias tradicionales y contribuciones a revistas de investigación. Parte de esto será a través de la promoción de la administración de prácticas científicas de código abierto y la publicación “responsable” de código, así como el apoyo a los esfuerzos que fomentan la “comunicación científica” a través de diferentes medios, como publicaciones de blog.
“Realmente queremos diseñar Cohere For AI como un laboratorio de investigación ambicioso que contribuya a la comunidad de investigación, pero que también priorice cómo involucrar mejor a un conjunto diverso de voces. Queremos ayudar a cambiar dónde, cómo y quién realiza la investigación”, dijo Hooker.
A pesar de sus elevados objetivos, Cohere For AI, que Cohere mismo financiará, es probable que provoque el escepticismo de los investigadores que desconfían de los vínculos corporativos de Cohere. Cohere ha recaudado $170 millones hasta la fecha de firmas institucionales de capital de riesgo, incluidas Tiger Global Management e Index Ventures, y tiene varias asociaciones con Google. El científico jefe de Google Cloud AI, Fei-Fei Li, y el compañero de Google, Geoffrey Hinton, fueron los primeros patrocinadores de Cohere, y Gomez y Frosst trabajaron anteriormente en Google Brain, una de las divisiones de investigación de IA de Google. Cohere también tiene una asociación con Google para entrenar modelos de lenguaje grandes en la infraestructura de hardware dedicada de la empresa.
Google infamemente disuelto una junta asesora de IA en 2019 solo una semana después de formarla. Y en 2020, la empresa encendido Timnit Gebru, destacado investigador de IA, en lo que, según ella, fue una represalia por enviar a sus colegas un correo electrónico en el que se criticaban las prácticas de gestión de Google. Posteriormente, Google despidió a otra especialista en ética, Margaret Mitchell, que había denunciado públicamente el manejo de la situación por parte de la empresa, y a un tercero, Satrajit Chatterjee, después de que fuera coautor de un artículo que cuestionaba el trabajo de Google en sistemas de diseño de chips impulsados por IA.
Empedrado de buenas intenciones
En términos generales, las iniciativas sin fines de lucro para financiar la investigación de IA han sido mixtas.
Entre las historias de éxito se encuentra el Instituto Allen para la IA (AI2), fundado por el difunto cofundador de Microsoft, Paul Allen, que busca lograr avances científicos mediante la construcción de sistemas de IA con capacidades de razonamiento. Si bien no es estrictamente una organización sin fines de lucro, Anthropic, lanzado por exejecutivos de OpenAI, ha recaudado más de 500 millones de dólares investigando sistemas de IA “confiables, interpretables y orientables”.
Pero por cada AI2 y Anthropic, hay un OpenAI, que comenzó como una organización sin fines de lucro antes de hacer la transición a una organización con ganancias limitadas y aceptar una inversión de mil millones de dólares de Microsoft. Mientras tanto, el fondo de $ 125 millones del ex presidente de Google, Eric Schmidt, recientemente anunciado para la investigación de IA, generó una nueva controversia después de Politico reportado que Schmidt ejerce una influencia inusualmente fuerte sobre la Oficina de Política Científica y Tecnológica de la Casa Blanca. (Uno de los primeros destinatarios, el profesor de Berkeley Rediet Abebe, preguntó para que su nombre sea eliminado de la consideración.)
Sin embargo, algunos colectivos más nuevos se han mostrado prometedores, en particular Distributed AI Research de Gebru, una organización mundial sin fines de lucro para la investigación de IA. Proyectos como Hugging Face’s gran ciencia y EleutherAI son otros ejemplos sólidos de lo que se puede lograr en IA más allá de los límites de la influencia corporativa.
“En última instancia, depende de nosotros demostrar que Cohere For AI no se aventurará con el tiempo”, dijo Hooker. “Aunque Cohere For AI dependerá de Cohere para los recursos y la financiación, se ha creado una separación clara entre los dos para preservar su independencia como laboratorio de investigación. Esta separación es crucial para que pueda continuar contribuyendo y sirviendo a la comunidad en general como una entidad independiente. Cohere For AI está estructurado como una organización sin fines de lucro y fue diseñado intencionalmente para colaborar abiertamente con muchas organizaciones diferentes. Su trabajo será de código abierto para permitir un mayor acceso a la comunidad en general”.
Source link