Si bien los sistemas de aprendizaje automático modernos actúan con una apariencia de inteligencia artificial, la verdad es que no “entienden” ninguno de los datos con los que trabajan, lo que a su vez significa que tienden a almacenar incluso elementos triviales para siempre. Los investigadores de Facebook han propuesto olvido estructurado como una forma de que la IA despeje un poco las cubiertas, mejorando su rendimiento y acercándose mucho más a cómo funciona una mente humana.
Los investigadores describen el problema explicando cómo los humanos y los agentes de IA podrían abordar un problema similar.
Digamos que hay 10 puertas de varios colores. Te piden que pases por la amarilla, lo haces y luego, unos minutos después, olvidas los colores de las otras puertas, porque nunca fue importante que dos fueran rojas, una a cuadros, dos nogal, etc., solo que no eran amarillos y que el que elegiste era. Tu cerebro descartó esa información casi de inmediato.
Pero una IA muy bien podría haber guardado los colores y las ubicaciones de las otras nueve puertas en su memoria. Esto se debe a que no comprende el problema o los datos de forma intuitiva, por lo que conserva toda la información que utilizó para tomar su decisión.
Esto no es un problema cuando se habla de cantidades relativamente pequeñas de datos, pero los algoritmos de aprendizaje automático, especialmente durante el entrenamiento, ahora manejan rutinariamente millones de puntos de datos e ingieren terabytes de imágenes o lenguaje. Y debido a que están diseñados para comparar constantemente datos nuevos con su conocimiento acumulado, no olvidar cosas sin importancia significa que están empantanados por referencias constantes a puntos de datos inútiles o obsoletos.
La solución con la que han encontrado los investigadores de Facebook es esencialmente, y ¿no nos gustaría tener esta capacidad a todos?, Decirse a sí mismo cuánto tiempo necesita para recordar un dato cuando lo evalúa para empezar.
Créditos de imagen: Facebook
“Cada memoria individual está asociada con una fecha de vencimiento prevista, y la escala de la memoria depende de la tarea”, explicó Angela Fan, investigadora de inteligencia artificial de Facebook que trabajó en el documento Expire-Span. “La cantidad de tiempo que se guardan las memorias depende de las necesidades de la tarea; puede ser durante unos pocos pasos o hasta que se complete la tarea”.
Entonces, en el caso de las puertas, los colores de las puertas que no son amarillas son muy importantes hasta que encuentre la amarilla. En ese punto, es seguro olvidar el resto, aunque, por supuesto, dependiendo de cuántas otras puertas deban verificarse, la memoria podría mantenerse durante varios períodos de tiempo. (Un ejemplo más realista podría ser olvidar caras que no son las que busca el sistema, una vez que las encuentra).
Al analizar un texto largo, la memoria de ciertas palabras o frases puede ser importante hasta el final de una oración, un párrafo o más; depende de si el agente está tratando de determinar quién está hablando, a qué capítulo pertenece la oración o de qué género. La historia es.
Esto mejora el rendimiento porque al final, simplemente hay menos información para que el modelo clasifique. Debido a que el sistema no sabe si las otras puertas pueden ser importantes, esa información se mantiene a mano, aumentando el tamaño y disminuyendo la velocidad del modelo.
Fan dijo que los modelos entrenados con Expire-Span se desempeñaron mejor y fueron más eficientes, ocupando menos memoria y tiempo de cómputo. Eso es importante durante el entrenamiento y las pruebas, que pueden llevar miles de horas de procesamiento, lo que significa que incluso una pequeña mejora es considerable, pero también a nivel del usuario final, donde la misma tarea requiere menos energía y ocurre más rápido. Realizar de repente una operación en una foto tiene sentido en vivo en lugar de hacerlo después del hecho.
Aunque poder olvidar de alguna manera acerca los procesos de IA a la cognición humana, todavía no se acerca a las formas intuitivas y sutiles en que operan nuestras mentes. Por supuesto, poder elegir qué recordar y cuánto tiempo es una gran ventaja sobre aquellos de nosotros para quienes esos parámetros se eligen aparentemente al azar.
Source link