La investigación en el campo del aprendizaje automático y la IA, ahora una tecnología clave en prácticamente todas las industrias y empresas, es demasiado voluminosa para que alguien la lea en su totalidad. Esta columna, Perceptron, tiene como objetivo recopilar algunos de los descubrimientos y documentos recientes más relevantes, particularmente en inteligencia artificial, entre otros, y explicar por qué son importantes.
Este mes, los ingenieros de Meta detallaron dos innovaciones recientes de las profundidades de los laboratorios de investigación de la compañía: un sistema de IA que comprime archivos de audio y un algoritmo que puede acelerar el rendimiento de la IA de plegamiento de proteínas en 60x. Por otra parte, los científicos del MIT revelaron que están utilizando información acústica espacial para ayudar a las máquinas a visualizar mejor sus entornos, simulando cómo un oyente escucharía un sonido desde cualquier punto de una habitación.
El trabajo de compresión de Meta no llega precisamente a territorio inexplorado. El año pasado, Google anunció Lira, un códec de audio neuronal entrenado para comprimir voz de baja tasa de bits. Pero Meta afirma que su sistema es el primero en trabajar con audio estéreo con calidad de CD, lo que lo hace útil para aplicaciones comerciales como llamadas de voz.
Un dibujo arquitectónico del modelo de compresión de audio AI de Meta. Créditos de imagen: Meta
Usando AI, el sistema de compresión de Meta, llamado codificador, puede comprimir y descomprimir audio en tiempo real en un solo núcleo de CPU a velocidades de alrededor de 1,5 kbps a 12 kbps. En comparación con MP3, Encodec puede lograr una tasa de compresión de aproximadamente 10x a 64 kbps sin una pérdida perceptible de calidad.
Los investigadores detrás de Encodec dicen que los evaluadores humanos prefirieron la calidad del audio procesado por Encodec versus el audio procesado por Lyra, lo que sugiere que Encodec eventualmente podría usarse para entregar audio de mejor calidad en situaciones donde el ancho de banda es limitado o es muy alto.
En cuanto al trabajo de plegamiento de proteínas de Meta, tiene menos potencial comercial inmediato. Pero podría sentar las bases para una importante investigación científica en el campo de la biología.
Estructuras de proteínas predichas por el sistema de Meta. Créditos de imagen: Meta
Meta dice que su sistema de IA, ESMFold, predijo las estructuras de alrededor de 600 millones de proteínas de bacterias, virus y otros microbios que aún no se han caracterizado. Eso es más del triple de las 220 millones de estructuras que DeepMind, respaldada por Alphabet, logró predecir a principios de este año, que cubría casi todas las proteínas de organismos conocidos en las bases de datos de ADN.
El sistema de Meta no es tan preciso como el de DeepMind. De los ~600 millones de proteínas que generó, solo un tercio eran de “alta calidad”. Pero es 60 veces más rápido en la predicción de estructuras, lo que le permite escalar la predicción de estructuras a bases de datos de proteínas mucho más grandes.
Para no prestarle demasiada atención a Meta, la división de inteligencia artificial de la compañía también este mes detallado un sistema diseñado para razonar matemáticamente. Los investigadores de la compañía dicen que su “solucionador de problemas neuronales” aprendió de un conjunto de datos de pruebas matemáticas exitosas para generalizar a nuevos y diferentes tipos de problemas.
Meta no es el primero en construir un sistema de este tipo. OpenAI desarrolló el suyo propio, llamado Lean, que Anunciado en febrero. Por separado, DeepMind ha experimentado con sistemas que pueden resolver problemas matemáticos desafiantes en los estudios de simetrías y nudos. Pero Meta afirma que su solucionador de problemas neuronales pudo resolver cinco veces más Olimpiadas Internacionales de Matemáticas que cualquier sistema de IA anterior y superó a otros sistemas en puntos de referencia matemáticos ampliamente utilizados.
Meta señala que la inteligencia artificial para resolver matemáticas podría beneficiar los campos de verificación de software, criptografía e incluso aeroespacial.
Dirigiendo nuestra atención al trabajo del MIT, los científicos investigadores allí desarrollado un modelo de aprendizaje automático que puede capturar cómo los sonidos en una habitación se propagarán a través del espacio. Al modelar la acústica, el sistema puede aprender la geometría de una habitación a partir de grabaciones de sonido, que luego se pueden usar para construir representaciones visuales de una habitación.
Los investigadores dicen que la tecnología podría aplicarse a software o robots de realidad virtual y aumentada que tienen que navegar en entornos complejos. En el futuro, planean mejorar el sistema para que pueda generalizarse a escenarios nuevos y más grandes, como edificios completos o incluso pueblos y ciudades completos.
En el departamento de robótica de Berkeley, dos equipos separados están acelerando el ritmo al que un robot cuadrúpedo puede aprender a caminar y hacer otros trucos. Un equipo buscó combinar el mejor trabajo de su clase de muchos otros avances en el aprendizaje por refuerzo para permitir que un robot pasara de una pizarra en blanco a una caminata robusta en terreno incierto en solo 20 minutos en tiempo real.
“Tal vez sorprendentemente, encontramos que con varias decisiones de diseño cuidadosas en términos de configuración de tareas e implementación de algoritmos, es posible que un robot cuadrúpedo aprenda a caminar desde cero con RL profundo en menos de 20 minutos, en una variedad de entornos diferentes y tipos de superficie. Fundamentalmente, esto no requiere componentes algorítmicos novedosos ni ninguna otra innovación inesperada”, escriben los investigadores.
En cambio, seleccionan y combinan algunos enfoques de última generación y obtienen resultados sorprendentes. Puedes leer el periódico aquí.
Demostración de un perro robot del laboratorio del profesor Pieter Abbeel de EECS en Berkeley, California, en 2022. (Fotografía cortesía de Philipp Wu/Berkeley Engineering)
Otro proyecto de aprendizaje de locomoción, del laboratorio de (el amigo de TechCrunch) Pieter Abbeel, se describió como “entrenar una imaginación”. Configuraron el robot con la capacidad de intentar predicciones de cómo funcionarán sus acciones, y aunque comienza bastante indefenso, rápidamente adquiere más conocimiento sobre el mundo y cómo funciona. Esto conduce a un mejor proceso de predicción, lo que conduce a un mejor conocimiento, y así sucesivamente en la retroalimentación hasta que se camina en menos de una hora. Aprende con la misma rapidez a recuperarse de ser empujado o “perturbado”, como dice la jerga. Su trabajo está documentado. aquí.
Llegó el trabajo con una aplicación potencialmente más inmediata a principios de este mes del Laboratorio Nacional de Los Álamos, donde los investigadores desarrollaron una técnica de aprendizaje automático para predecir la fricción que ocurre durante los terremotos, proporcionando una forma de pronosticar los terremotos. Usando un modelo de lenguaje, el equipo dice que pudieron analizar las características estadísticas de las señales sísmicas emitidas por una falla en una máquina de terremotos de laboratorio para proyectar el momento de un próximo terremoto.
“El modelo no está limitado por la física, pero predice la física, el comportamiento real del sistema”, dijo Chris Johnson. uno de los líderes de investigación del proyecto. “Ahora estamos haciendo una predicción futura a partir de datos pasados, que va más allá de describir el estado instantáneo del sistema”.
Créditos de imagen: Tiempo de sueños
Es un desafío aplicar la técnica en el mundo real, dicen los investigadores, porque no está claro si hay suficientes datos para entrenar el sistema de pronóstico. Pero de todos modos, son optimistas sobre las aplicaciones, que podrían incluir la anticipación de daños a puentes y otras estructuras.
Lo último de esta semana es una nota de precaución de los investigadores del MITquienes advierten que las redes neuronales que se utilizan para simular redes neuronales reales deben examinarse cuidadosamente para detectar sesgos de entrenamiento.
Las redes neuronales, por supuesto, se basan en la forma en que nuestros propios cerebros procesan y señalan la información, reforzando ciertas conexiones y combinaciones de nodos. Pero eso no quiere decir que los sintéticos y los reales funcionen igual. De hecho, el equipo del MIT descubrió que las simulaciones basadas en redes neuronales de las células de la cuadrícula (parte del sistema nervioso) solo producían una actividad similar cuando sus creadores las obligaban cuidadosamente a hacerlo. Si se les permitía gobernarse a sí mismas, como lo hacen las células reales, no producían el comportamiento deseado.
Eso no significa que los modelos de aprendizaje profundo sean inútiles en este dominio; ni mucho menos, son muy valiosos. Pero, como dijo la profesora Ila Fiete en la publicación de noticias de la escuela: “pueden ser una herramienta poderosa, pero uno tiene que ser muy prudente al interpretarlos y determinar si realmente están haciendo predicciones de novo, o incluso arrojando luz sobre lo que es. es que el cerebro se está optimizando”.
Source link