Los modelos de aprendizaje automático ya han dominado los juegos de Ajedrez, Go, Atari y más, pero para que ascienda al siguiente nivel, los investigadores de Facebook tienen la intención de que la IA asumir un tipo de juego diferente: el NetHack notoriamente difícil e infinitamente complejo.
“Queríamos construir lo que pensamos que es el ‘gran desafío’ más accesible con este juego. No resolverá la IA, pero abrirá caminos hacia una mejor IA ”, dijo Edward Grefenstette, de Facebook AI Research. “Los juegos son un buen dominio para encontrar nuestras suposiciones sobre qué hace que las máquinas sean inteligentes y romperlas”.
Puede que no estés familiarizado con NetHack, pero es uno de los juegos más influyentes de todos los tiempos. Eres un aventurero en un mundo de fantasía y te adentras en las cada vez más peligrosas profundidades de una mazmorra que es diferente cada vez. Debes luchar contra monstruos, sortear trampas y otros peligros y, mientras tanto, mantenerte en buenos términos con tu dios. Es el primer “roguelike” (después de Rogue, su predecesor inmediato y mucho más simple) y podría decirse que sigue siendo el mejor, casi con certeza el más difícil.
(Es gratis, por cierto, y puedes descárgalo y reprodúcelo en casi cualquier plataforma.)
Sus gráficos ASCII simples, usando ag para un duende, una @ para el jugador, líneas y puntos para la arquitectura del nivel, etc., desmienten su increíble complejidad. Porque Nethack, que hizo su debut en 1987, ha estado en desarrollo activo desde entonces, con su cambiante equipo de desarrolladores expandiendo su lista de objetos y criaturas, reglas y las innumerables interacciones entre todos ellos.
Y esto es parte de lo que hace que NetHack sea un desafío tan difícil e interesante para la IA: es tan abierto. No solo el mundo es diferente cada vez, sino que cada objeto y criatura puede interactuar de nuevas formas, la mayoría de ellas codificadas a mano durante décadas para cubrir todas las opciones posibles de los jugadores.
NetHack con una actualización de gráficos basada en mosaicos: toda la información aún está disponible a través de texto.
“Atari, Dota 2, StarCraft 2… las soluciones que hemos tenido para progresar allí son muy interesantes. NetHack simplemente presenta diferentes desafíos. Tienes que confiar en el conocimiento humano para jugar como humano ”, dijo Grefenstette.
En estos otros juegos, hay una estrategia más o menos obvia para ganar. Por supuesto, es más complejo en un juego como Dota 2 que en un juego de Atari 800, pero la idea es la misma: hay piezas que el jugador controla, un tablero de juego del entorno y condiciones de victoria que perseguir. Ese es el caso en NetHack, pero es más extraño que eso. Por un lado, el juego es diferente cada vez, y no solo en los detalles.
“Nueva mazmorra, nuevo mundo, nuevos monstruos y elementos, no tienes un punto de guardado. Si comete un error y muere, no tendrá un segundo disparo. Es un poco como la vida real ”, dijo Grefenstette. “Hay que aprender de los errores y llegar a nuevas situaciones armado con ese conocimiento”.
Beber una poción corrosiva es una mala idea, por supuesto, pero ¿qué hay de tirarla a un monstruo? ¿Cubriendo tu arma con él? ¿Verterlo en la cerradura de un cofre del tesoro? ¿Diluirlo con agua? Tenemos ideas intuitivas sobre estas acciones, pero una IA que juega no piensa como nosotros.
La profundidad y complejidad de los sistemas en NetHack son difíciles de explicar, pero esa diversidad y dificultad hacen que el juego sea un candidato perfecto para una competencia, según Grefenstette. “Tienes que confiar en el conocimiento humano para jugar”, dijo.
La gente ha estado diseñando bots para jugar a NetHack durante muchos años que no se basan en redes neuronales, sino en árboles de decisiones tan complejos como el juego en sí. El equipo de Facebook Research espera generar un nuevo enfoque mediante la construcción de un entorno de capacitación en el que las personas puedan probar los algoritmos de juego basados en el aprendizaje automático.
Pantallas de NetHack con etiquetas que muestran lo que la IA conoce.
los Entorno de aprendizaje NetHack en realidad se armó el año pasado, pero el Desafío NetHack recién está comenzando. El NLE es básicamente una versión del juego incrustada en un entorno informático dedicado que permite que una IA interactúe con él a través de comandos de texto (instrucciones, acciones como atacar o beber).
Es un objetivo tentador para los diseñadores de IA ambiciosos. Si bien juegos como StarCraft 2 pueden disfrutar de un perfil más alto de alguna manera, NetHack es legendario y la idea de construir un modelo en líneas completamente diferentes de las que se usan para dominar otros juegos es un desafío interesante.
También es, como explicó Grefenstette, uno más accesible que muchos en el pasado. Si deseaba construir una IA para StarCraft 2, necesitaba mucha potencia informática disponible para ejecutar motores de reconocimiento visual en las imágenes del juego. Pero en este caso, todo el juego se transmite a través de texto, por lo que es extremadamente eficiente trabajar con él. Se puede reproducir miles de veces más rápido que cualquier ser humano incluso con la configuración informática más básica. Eso deja el desafío abierto a personas y grupos que no tienen acceso al tipo de configuraciones de alta potencia necesarias para impulsar otros métodos de aprendizaje automático.
“Queríamos crear un entorno de investigación que presentara muchos desafíos para la comunidad de IA, pero no restringirlo solo a los grandes laboratorios académicos”, dijo.
Durante los próximos meses, NLE estará disponible para que la gente lo pruebe, y los competidores básicamente pueden construir su bot o IA por cualquier medio que elijan. Pero cuando la competencia comience en serio el 15 de octubre, se limitarán a interactuar con el juego en su entorno controlado a través de comandos estándar: sin acceso especial, sin inspección de RAM, etc.
El objetivo de la competencia será completar el juego, y el equipo de Facebook rastreará cuántas veces el agente “asciende”, como se llama en NetHack, en un período de tiempo determinado. Pero “asumimos que esto será cero para todos”, admitió Grefenstette. Después de todo, este es uno de los juegos más difíciles jamás creados, e incluso los humanos que lo han jugado durante años tienen problemas para ganar incluso una vez en la vida, y mucho menos varias veces seguidas. Habrá otras métricas de puntuación para juzgar a los ganadores en varias categorías.
La esperanza es que este desafío proporcione la semilla de un nuevo enfoque de la IA, uno que se parezca más fundamentalmente al pensamiento humano real. Los atajos, la prueba y error, la piratería de puntajes y el zerging no funcionarán aquí: el agente necesita aprender sistemas de lógica y aplicarlos de manera flexible e inteligente, o morir horriblemente a manos de un centauro o un oso búho enfurecido.
Puede consultar las reglas y otros detalles del Desafío NetHack aquí. Los resultados se anunciarán en la conferencia NeurIPS a finales de este año.
Source link