Conoce a la startup que ayudó a Microsoft a construir el mundo de Flight Simulator

El nuevo Flight Simulator de Microsoft es una maravilla tecnológica que establece un nuevo estándar para el género. Pero para recrear un mundo que se sienta real y vivo y que contenga miles de millones de edificios en los lugares correctos, Microsoft y Asobo Studios confiaron en el trabajo de múltiples socios.

Una de ellas es la pequeña startup austriaca Blackshark.ai de Graz que, con un equipo de solo unas 50 personas, recreó todas las ciudades y pueblos del mundo con la ayuda de IA y recursos informáticos masivos en la nube.

Antes del lanzamiento del nuevo Flight Simulator, nos sentamos con el cofundador y director ejecutivo de Blackshark, Michael Putz, para hablar sobre el trabajo con Microsoft y la visión más amplia de la empresa.

Blackshark es en realidad un spin-off del estudio de juegos pez bongo, el creador de World of Tanks: Frontline, Motocross Madness y la serie de juegos de snowboard Stoked. Como me dijo Putz, en realidad fue Stoked lo que puso a la compañía en el camino hacia lo que se convertiría en Blackshark.

“Uno de los primeros juegos que hicimos en 2007 fue un juego de snowboard llamado Stoked and S Stoked Bigger Edition, que fue uno de los primeros juegos en tener una montaña completa de 360 ​​grados donde podías usar un helicóptero para volar y abandonar, aterrizar. por todas partes y bajar”, ​​explicó. “La montaña en sí fue construida y descrita por procedimientos, y también la colocación de obstáculos de vegetación, de otros practicantes de snowboard y animales pequeños se hizo por procedimientos. Luego nos adentramos más en el género de las carreras, los disparos y la conducción, pero todavía teníamos esta idea de ubicación posicional y descripciones en el fondo de nuestras mentes”.

Bongfish volvió a esta idea cuando trabajó en World of Tanks, simplemente por el tiempo que lleva construir un mapa tan grande donde cada roca se coloca a mano.

Basándose en esta experiencia, Bongfish comenzó a crear un equipo interno de IA. Ese equipo usó una serie de técnicas de aprendizaje automático para construir un sistema que pudiera aprender de cómo los diseñadores construyen mapas y luego, en algún momento, construir sus propios mapas creados por IA. El equipo en realidad terminó usando esto para algunos de sus proyectos antes de que Microsoft entrara en escena.

“Por casualidad, conocí a alguien de Microsoft que estaba buscando un estudio para ayudarlos con el nuevo Flight Simulator. La idea central del nuevo simulador de Flight Simulator era usar Bing Maps como campo de juego, como mapa, como fondo”, explicó Putz.

Pero los datos de fotogrametría de Bing Maps solo arrojaron réplicas exactas 1:1 de 400 ciudades; sin embargo, para la gran mayoría del planeta, esos datos no existen. Microsoft y Asobo Studios necesitaban un sistema para construir el resto.

Aquí es donde entra en juego Blackshark. Para Flight Simulator, el estudio reconstruyó 1500 millones de edificios a partir de imágenes satelitales 2D.

Ahora, aunque Putz dice que conoció al equipo de Microsoft por casualidad, hay algo más en esto. En el pasado, había un equipo de Bing Maps en Graz, que desarrolló las primeras cámaras y versiones 3D de Bing Maps. Y mientras que Google Maps ganó el mercado, Bing Maps realmente venció a Google con sus mapas 3D. Luego, Microsoft lanzó un centro de investigación en Graz y cuando cerró, Amazon y otros entraron para captar el talento local.

“Así que fue fácil para nosotros ocupar puestos como un doctorado en reconstrucción de techos”, dijo Putz. “Ni siquiera sabía que esto existía, pero esto era exactamente lo que necesitábamos, y encontramos dos de ellos.

“Es fácil ver por qué sería difícil reconstruir un edificio en 3D a partir de un mapa en 2D. Incluso averiguar el contorno exacto de un edificio no es fácil.

“Lo que hacemos básicamente en Flight Simulator es mirar áreas, áreas 2D y luego encontrar las huellas de los edificios, que en realidad es una tarea de visión por computadora”, dijo Putz. “Pero si un edificio está obstruido por la sombra de un árbol, en realidad necesitamos aprendizaje automático porque entonces ya no está claro qué es parte del edificio y qué no debido a la superposición de la sombra, pero luego el aprendizaje automático completa el resto. parte del edificio. Ese es un ejemplo súper simple”.

Si bien Blackshark también pudo confiar en algunos otros datos, incluidas fotos, datos de sensores y datos de mapas existentes, tiene que determinar la altura del edificio y algunas de sus características basándose en muy poca información.

El siguiente problema obvio es calcular la altura de un edificio. Si existen datos GIS, entonces ese problema es fácil de resolver, pero para la mayoría de las áreas del mundo, esos datos simplemente no existen o no están fácilmente disponibles. Para esas áreas, el equipo toma la imagen 2D y busca pistas en la imagen, como sombras. Sin embargo, para determinar la altura de un edificio en función de una sombra, necesita la hora del día, y las imágenes de Bing Maps en realidad no tienen marca de tiempo. Para otros casos de uso en los que está trabajando la compañía, Blackshark tiene eso y eso facilita mucho las cosas. Y ahí es donde entra de nuevo el aprendizaje automático.

“El aprendizaje automático toma un camino ligeramente diferente”, señaló Putz. “Creemos que también mira la sombra, porque es una caja negra, realmente no sabemos lo que está haciendo. Pero también, si miras una azotea plana, como un rascacielos versus un centro comercial. Ambos tienen techos en su mayoría planos, pero el mobiliario del techo es diferente en un rascacielos que en un centro comercial. Esto ayuda a la IA a aprender cuando lo etiqueta de la manera correcta”.

Y luego, si el sistema sabe que la altura promedio de un centro comercial en un área determinada suele ser de tres pisos, puede trabajar con eso.

Una cosa sobre la que Blackshark es muy abierto es que su sistema cometerá errores, y si compra Flight Simulator, verá que hay errores obvios en la forma en que se colocan algunos de los edificios. De hecho, Putz me dijo que cree que uno de los desafíos más difíciles del proyecto fue convencer a los socios de desarrollo de la empresa ya Microsoft para que les permitieran usar este enfoque.

“Estás hablando de 1.500 millones de edificios. En estos números, ya no puede hacer preguntas y respuestas tradicionales. Y el señalar con el dedo tradicional como un nivel de Halo o algo en el que dices ‘este píxel no es bueno, arréglalo’ realmente no funciona si desarrollas sobre una base estadística como lo haces con la IA. Así que podría ser que el 20% de los edificios estén apagados, y en realidad es el caso, supongo, en Flight Simulator, pero no hay otra manera de abordar este desafío porque la subcontratación para modelar a mano 1.500 millones de edificios es, solo desde un punto de vista logístico. nivel y también nivel de presupuesto, no factible.”

Con el tiempo, ese sistema también mejorará, y debido a que Microsoft transmite una gran cantidad de datos al juego desde Azure, los usuarios seguramente verán cambios con el tiempo.

Sin embargo, el etiquetado sigue siendo algo que el equipo tiene que hacer simplemente para entrenar el modelo, y esa es realmente un área en la que Blackshark ha progresado mucho, aunque Putz no diría mucho al respecto porque es parte del ingrediente secreto de la compañía. y una de las principales razones por las que puede hacer todo esto con solo unas 50 personas.

“Las etiquetas de datos no habían sido una prioridad para nuestros socios”, dijo. “Entonces usamos nuestro propio etiquetado en vivo para etiquetar básicamente todo el planeta por dos o tres tipos […] Pone una herramienta y una interfaz de usuario muy potentes en manos de los analistas de datos. Y básicamente, si el analista de datos quiere detectar un barco, le dice al algoritmo de aprendizaje cuál es el barco y luego obtiene una salida inmediata de los barcos detectados en una imagen de muestra”.

A partir de ahí, el analista puede entrenar el algoritmo para mejorar aún más la detección de un objeto específico como un barco, en este ejemplo, o un centro comercial en Flight Simulator. Otras empresas de análisis geoespacial tienden a centrarse en nichos específicos, señaló también Putz, mientras que las herramientas de la empresa son independientes del tipo de contenido que se analiza.

Y ahí es donde entra en juego la visión más amplia de Blackshark. Porque si bien la empresa ahora está recibiendo elogios por su trabajo con Microsoft, Blackshark también trabaja con otras empresas en la reconstrucción de escenas de la ciudad para simulaciones de conducción autónoma, por ejemplo.

“Nuestra visión más grande es un gemelo digital casi en tiempo real de nuestro planeta, particularmente de la superficie del planeta, lo que abre un billón de casos de uso donde la fotogrametría tradicional como Google Earth o lo que está haciendo Apple Maps no está ayudando porque simplemente se simplifican. para fotos basadas en estructuras geométricas simples. Para esto tenemos nuestro ciclo donde hemos estado extrayendo inteligencia de datos aéreos, que pueden ser imágenes 2D, pero también pueden ser conteos de puntos 3D, que ya están haciendo otro proyecto. Y luego estamos visualizando la semántica”.

Esa semántica, que describe el edificio con detalles muy precisos, tiene una gran ventaja sobre la fotogrametría: la información de sombras y luces se integra esencialmente en las imágenes, lo que dificulta volver a iluminar una escena de manera realista. Dado que Blackshark sabe todo sobre el edificio que está construyendo, también puede colocar ventanas y luces en esos edificios, lo que crea escenas nocturnas sorprendentemente realistas en Flight Simulator.

Las nubes de puntos, que no se utilizan en Flight Simulator, son otra área en la que Blackshark se está enfocando en este momento. Las nubes de puntos son muy difíciles de leer para los humanos, especialmente una vez que te acercas mucho. Blackshark utiliza sus sistemas de inteligencia artificial para analizar nubes de puntos y averiguar cuántos pisos tiene un edificio.

“Toda la compañía se fundó con la idea de que necesitamos tener una gran ventaja en tecnología para llegar allí, y especialmente viniendo de los videojuegos, donde grandes producciones como Assassin’s Creed o GTA ahora están alcanzando límites de capacidad al tener miles de personas que trabajan en él, que es muy difícil de escalar, muy difícil de administrar en continentes y en un producto entregado a tiempo. Para nosotros, estaba claro que se necesitan más pasos automatizados o semiautomáticos para lograrlo”.

Y aunque Blackshark comenzó en el campo de los juegos, y aunque está trabajando en esto con Microsoft y Asobo Studios, en realidad no se centra en los juegos, sino en cosas como la conducción autónoma y el análisis geográfico. Putz señaló que otro buen ejemplo de esto es Unreal Engine, que comenzó como un motor de juegos y ahora está en todas partes.

“Para mí, haber estado en la industria de los juegos durante mucho tiempo, es muy alentador de ver, porque cuando desarrollas juegos, sabes cuán innovadora es la tecnología en comparación con otras industrias”, dijo Putz. “Y cuando miras los simuladores, desde simuladores militares o simuladores industriales, siempre se ven como una mierda en comparación con lo que tenemos en los juegos de conducción. Y ha llegado el momento de que las tecnologías de los juegos se extiendan fuera de la pila de juegos y ayuden a todas esas otras industrias. Creo que Blackshark es uno de esos ejemplos para hacer esto posible”.