Conozca la startup que ayudó a Microsoft a construir el mundo de Flight Simulator

El nuevo Flight Simulator de Microsoft es una maravilla tecnológica que establece un nuevo estándar para el género. Pero para recrear un mundo que se siente real y vivo y que contiene miles de millones de edificios, todos en los lugares correctos, Microsoft y Asobo Studios confiaron en el trabajo de múltiples socios.

Una de ellas es la pequeña startup austriaca Blackshark.ai de Graz que, con un equipo de solo unas 50 personas, recreó todas las ciudades y pueblos del mundo con la ayuda de inteligencia artificial y recursos informáticos masivos en la nube.

Antes del lanzamiento del nuevo Flight Simulator, nos sentamos con el cofundador y director ejecutivo de Blackshark, Michael Putz, para hablar sobre el trabajo con Microsoft y la visión más amplia de la compañía.

Blackshark es en realidad un derivado del estudio de juegos Bongfish, el creador de World of Tanks: Frontline, Motocross Madness y la serie de juegos de snowboard Stoked. Como me dijo Putz, en realidad fue Stoked lo que puso a la empresa en el camino hacia lo que se convertiría en Blackshark.

“Uno de los primeros juegos que hicimos en 2007 fue un juego de snowboard llamado Stoked and S Stoked Bigger Edition, que fue uno de los primeros juegos que tuvo una montaña completa de 360 ​​grados donde se podía usar un helicóptero para volar y abandonar, aterrizar en todas partes y bajar ”, explicó. “La montaña en sí fue construida y descrita por procedimientos, y también la colocación de obstáculos de vegetación, de otros practicantes de snowboard y animales pequeños se había realizado de manera procedimental. Luego nos adentramos más en el género de carreras, rodajes y conducción, pero todavía teníamos esta idea de la ubicación posicional y las descripciones en el fondo de nuestras mentes “.

Bongfish volvió a esta idea cuando trabajó en World of Tanks, simplemente por el tiempo que lleva construir un mapa tan grande donde cada roca se coloca a mano.

Sobre la base de esta experiencia, Bongfish comenzó a crear un equipo de inteligencia artificial interno. Ese equipo utilizó una serie de técnicas de aprendizaje automático para construir un sistema que pudiera aprender de cómo los diseñadores construyen mapas y luego, en algún momento, construir sus propios mapas creados por IA. De hecho, el equipo terminó usando esto para algunos de sus proyectos antes de que Microsoft entrara en escena.

“Por casualidad, conocí a alguien de Microsoft que estaba buscando un estudio para ayudarlos en el nuevo Flight Simulator. La idea central del nuevo simulador de Flight Simulator era utilizar Bing Maps como campo de juego, como mapa, como fondo ”, explicó Putz.

Pero los datos de fotogrametría de Bing Maps solo arrojaron réplicas exactas 1: 1 de 400 ciudades; sin embargo, para la gran mayoría del planeta, esos datos no existen. Microsoft y Asobo Studios necesitaban un sistema para construir el resto.

Aquí es donde entra Blackshark. Para Flight Simulator, el estudio reconstruyó 1.500 millones de edificios a partir de imágenes de satélite en 2D.

Ahora, mientras Putz dice que conoció al equipo de Microsoft por casualidad, hay algo más en esto. En el pasado, había un equipo de Bing Maps en Graz, que desarrolló las primeras cámaras y versiones 3D de Bing Maps. Y mientras que Google Maps ganó el mercado, Bing Maps realmente venció a Google con sus mapas en 3D. Luego, Microsoft lanzó un centro de investigación en Graz y cuando se cerró, Amazon y otros entraron para captar el talento local.

“Así que fue fácil para nosotros cubrir puestos como un doctorado en reconstrucción de azoteas”, dijo Putz. “Ni siquiera sabía que esto existía, pero esto era exactamente lo que necesitábamos, y encontramos dos de ellos.

“Es fácil ver por qué sería difícil reconstruir un edificio en 3D a partir de un mapa en 2D. Incluso averiguar el contorno exacto de un edificio no es fácil.

“Lo que hacemos básicamente en Flight Simulator es mirar áreas, áreas 2D y luego encontrar huellas de edificios, lo que en realidad es una tarea de visión por computadora”, dijo Putz. “Pero si un edificio está obstruido por la sombra de un árbol, en realidad necesitamos aprendizaje automático porque entonces ya no está claro qué es parte del edificio y qué no lo es debido a la superposición de la sombra, pero luego el aprendizaje automático completa el resto parte del edificio. Ese es un ejemplo súper simple “.

Si bien Blackshark también pudo confiar en algunos otros datos, incluidas fotos, datos de sensores y datos de mapas existentes, tiene que tomar una determinación sobre la altura del edificio y algunas de sus características basándose en muy poca información.

El siguiente problema obvio es calcular la altura de un edificio. Si hay datos GIS existentes, entonces ese problema es fácil de resolver, pero para la mayoría de las áreas del mundo, esos datos simplemente no existen o no están fácilmente disponibles. Para esas áreas, el equipo toma la imagen 2D y busca pistas en la imagen, como sombras. Sin embargo, para determinar la altura de un edificio en función de una sombra, necesita la hora del día y las imágenes de Bing Maps no tienen marca de tiempo. Para otros casos de uso en los que la empresa está trabajando, Blackshark tiene eso y eso facilita mucho las cosas. Y ahí es donde entra de nuevo el aprendizaje automático.

“El aprendizaje automático toma un camino ligeramente diferente”, señaló Putz. “También mira la sombra, creemos, porque es una caja negra, realmente no sabemos lo que está haciendo. Pero también, si miras una azotea plana, como un rascacielos frente a un centro comercial. Ambos tienen techos en su mayoría planos, pero los muebles del techo son diferentes en un rascacielos que en un centro comercial. Esto ayuda a la IA a aprender cuándo se le asigna el nombre correcto “.

Y luego, si el sistema sabe que la altura promedio de un centro comercial en un área determinada suele ser de tres pisos, puede funcionar con eso.

Una cosa sobre la que Blackshark es muy abierto es que su sistema cometerá errores, y si compra Flight Simulator, verá que hay errores obvios en la ubicación de algunos de los edificios. De hecho, Putz me dijo que cree que uno de los desafíos más difíciles del proyecto era convencer a los socios de desarrollo de la empresa y a Microsoft para que les permitieran utilizar este enfoque.

“Estás hablando de 1.500 millones de edificios. Con estos números, ya no puede hacer preguntas y respuestas tradicionales. Y el tradicional señalar con el dedo como un nivel de Halo o algo en el que dices ‘este píxel no es bueno, arréglalo’ no funciona realmente si desarrollas sobre una base estadística como lo haces con la IA. Por lo tanto, podría ser que el 20% de los edificios estén apagados, y en realidad es el caso, supongo que en Flight Simulator, pero no hay otra forma de abordar este desafío porque la subcontratación para modelar a mano 1.500 millones de edificios es solo una cuestión de logística. nivel y también nivel de presupuesto, no factible “.

Con el tiempo, ese sistema también mejorará, y debido a que Microsoft transmite gran parte de los datos al juego desde Azure, los usuarios seguramente verán cambios con el tiempo.

El etiquetado, sin embargo, sigue siendo algo que el equipo tiene que hacer simplemente para entrenar el modelo, y esa es en realidad un área en la que Blackshark ha progresado mucho, aunque Putz no diría demasiado al respecto porque es parte de la salsa secreta de la compañía. y una de las principales razones por las que puede hacer todo esto con unas 50 personas.

“Las etiquetas de datos no habían sido una prioridad para nuestros socios”, dijo. “Entonces usamos nuestro propio etiquetado en vivo para etiquetar básicamente todo el planeta por dos o tres tipos […] Pone una herramienta y una interfaz de usuario muy poderosas en manos de los analistas de datos. Y básicamente, si el analista de datos quiere detectar un barco, le dice al algoritmo de aprendizaje qué es el barco y luego obtiene una salida inmediata de los barcos detectados en una imagen de muestra “.

A partir de ahí, el analista puede entrenar el algoritmo para mejorar aún más la detección de un objeto específico como un barco, en este ejemplo, o un centro comercial en Flight Simulator. Otras empresas de análisis geoespacial tienden a centrarse en nichos específicos, señaló Putz, mientras que las herramientas de la empresa son independientes del tipo de contenido que se analiza.

Y ahí es donde entra en juego la visión más amplia de Blackshark. Porque si bien la compañía ahora está siendo aclamada por su trabajo con Microsoft, Blackshark también trabaja con otras compañías en la reconstrucción de escenas de la ciudad para simulaciones de conducción autónoma, por ejemplo.

“Nuestra visión más amplia es un gemelo digital de nuestro planeta casi en tiempo real, en particular la superficie del planeta, lo que abre un billón de casos de uso en los que la fotogrametría tradicional como Google Earth o lo que hace Apple Maps no ayuda porque simplemente están simplificados para fotos basadas en estructuras geométricas simples. Para esto tenemos nuestro ciclo donde hemos estado extrayendo inteligencia de datos aéreos, que pueden ser imágenes 2D, pero también pueden ser recuentos de puntos 3D, que ya están haciendo otro proyecto. Y luego estamos visualizando la semántica “.

Esa semántica, que describe el edificio con detalles muy precisos, tiene una gran ventaja sobre la fotogrametría: la información de sombras y luces se integra esencialmente en las imágenes, lo que dificulta volver a iluminar una escena de manera realista. Dado que Blackshark sabe todo sobre el edificio que está construyendo, también puede colocar ventanas y luces en esos edificios, lo que crea escenas nocturnas sorprendentemente realistas en Flight Simulator.

Las nubes de puntos, que no se utilizan en Flight Simulator, son otra área en la que Blackshark se está enfocando en este momento. Las nubes de puntos son muy difíciles de leer para los humanos, especialmente una vez que te acercas mucho. Blackshark usa sus sistemas de inteligencia artificial para analizar nubes de puntos y averiguar cuántos pisos tiene un edificio.

“Toda la empresa se fundó con la idea de que necesitamos tener una gran ventaja en tecnología para llegar allí, y especialmente viniendo de los videojuegos, donde grandes producciones como Assassin’s Creed o GTA ahora están alcanzando los límites de capacidad al tener miles de personas que trabajan en él, que es muy difícil de escalar, muy difícil de administrar en continentes y en un producto entregado a tiempo. Para nosotros, estaba claro que era necesario realizar más pasos automatizados o semiautomatizados para lograrlo “.

Y aunque Blackshark se inició en el campo de los juegos, y aunque está trabajando en esto con Microsoft y Asobo Studios, en realidad no se centra en los juegos, sino en cosas como la conducción autónoma y el análisis geográfico. Putz señaló que otro buen ejemplo de esto es Unreal Engine, que comenzó como un motor de juego y ahora está en todas partes.

“Para mí, habiendo estado en la industria de los juegos durante mucho tiempo, es muy alentador verlo, porque cuando se desarrollan juegos, se sabe lo innovadora que es la tecnología en comparación con otras industrias”, dijo Putz. “Y cuando miras los simuladores, desde simuladores militares o simuladores industriales, siempre se ven como una mierda en comparación con lo que tenemos en los juegos de conducción. Y ha llegado el momento en que las tecnologías del juego se están extendiendo fuera de la pila de juegos y ayudando a todas esas otras industrias. Creo que Blackshark es uno de esos ejemplos para hacer esto posible “.