Al comprar en línea, probablemente se haya encontrado con fotos que giran para que pueda ver un producto desde todos los ángulos. Por lo general, esto se hace tomando varias fotos de un producto desde todos los ángulos y luego reproduciéndolas como una animación. Luma , Fundada por ingenieros que dejaron el grupo de visión artificial y AR de Apple, quiere cambiar todo eso. La compañía ha desarrollado una nueva tecnología de renderizado neuronal que permite tomar una pequeña cantidad de fotos para generar, sombrear y renderizar un modelo 3D fotorrealista de un producto. La esperanza es acelerar drásticamente la captura de fotografías de productos para aplicaciones de comercio electrónico de alta gama, pero también mejorar la experiencia del usuario al mirar los productos desde todos los ángulos. Lo mejor de todo es que debido a que la imagen capturada es una interpretación 3D real de la escena, se puede renderizar desde cualquier ángulo, pero también en 3D con dos ventanas gráficas, desde ángulos ligeramente diferentes. En otras palabras: puede ver una imagen en 3D del producto que está considerando en un visor de realidad virtual.
Para cualquiera de nosotros que hemos estado siguiendo este espacio durante un tiempo, hemos visto durante mucho tiempo nuevas empresas que intentan hacer representaciones en 3D utilizando cámaras de consumo y fotogrametría rudimentaria. Alerta de spoiler: nunca se ha visto particularmente bien, pero con las nuevas tecnologías surgen nuevas oportunidades, y ahí es donde entra Luma.
Una demostración de la tecnología de Luma trabajando en un ejemplo de la vida real. Créditos de imagen: Luma
“Lo que es diferente ahora y por qué lo estamos haciendo ahora se debe al surgimiento de estas ideas de representación neuronal. Lo que solía suceder y lo que la gente está haciendo con la fotogrametría es que tomas algunas imágenes y luego ejecutas un largo procesamiento en ellas, obtienes nubes de puntos y luego intentas reconstruir 3D a partir de ellas. Terminas con una malla, pero para obtener una imagen 3D de buena calidad, necesitas poder construir mallas de alta calidad a partir de datos ruidosos del mundo real. Incluso hoy en día, ese problema sigue siendo fundamentalmente un problema sin resolver ”, explica el fundador de Luma AI, Amit Jain, señalando que la“ representación inversa ”, como se la conoce en la industria. La empresa decidió abordar el tema desde otro ángulo.
“Decidimos asumir que no podemos obtener una malla precisa a partir de una nube de puntos y, en cambio, estamos adoptando un enfoque diferente. Si tiene datos perfectos sobre la forma de un objeto, es decir, si tiene la ecuación de renderizado, puede hacer Renderizado basado en física (PBR). Pero el problema es que, debido a que partimos de fotografías, no tenemos suficientes datos para hacer ese tipo de renderizado. Entonces se nos ocurrió una nueva forma de hacer las cosas. Tomábamos 30 fotos de un automóvil y luego mostramos 20 de ellas a la red neuronal ”, explica Jain. Las últimas 10 fotos se utilizan como una “suma de comprobación”, o la respuesta a la ecuación. Si la red neuronal puede usar las 20 imágenes originales para predecir cómo se verían las últimas 10 imágenes, el algoritmo ha creado una representación en 3D bastante buena del elemento que está tratando de capturar.
Es todo material fotográfico muy geek, pero tiene algunas aplicaciones bastante profundas en el mundo real. Si la empresa se sale con la suya, la forma en que navega por los productos físicos en las tiendas de comercio electrónico nunca será la misma. Además de girar sobre su eje, las fotos del producto pueden incluir zoom y movimiento virtual desde todos los ángulos, incluidos los ángulos que no fueron fotografiados.
Las dos imágenes superiores son fotografías, que formaron la base del modelo 3D renderizado por Luma a continuación. Créditos de imagen: Luma
“Todo el mundo quiere mostrar sus productos en 3D, pero el problema es que es necesario involucrar a los artistas 3D para que entren y realicen ajustes en los objetos escaneados. Eso aumenta mucho el costo ”, dice Jain, quien argumenta que esto significa que los renders 3D solo estarán disponibles para productos premium de alta gama. La tecnología de Luma promete cambiar eso, reduciendo el costo de captura y visualización de activos 3D a decenas de dólares por producto, en lugar de cientos o miles de dólares por representación 3D.
Los cofundadores de Luma, Amit Jain (CEO) y Alberto Taiuti (CTO). Créditos de imagen: Luma
La compañía planea construir un reproductor incrustable similar a YouTube para sus productos, para que sea más fácil para los minoristas incrustar las imágenes tridimensionales en las páginas de los productos.
Matrix Partners, South Park Commons, Amplify Partners, Andreas Klinger de RFC, Context Ventures, así como un grupo de inversores ángeles creen en la visión y respaldaron a la compañía por una suma de $ 4,3 millones. Matrix Partners lideró la ronda.
“Todos los que no viven bajo una roca saben que el próximo gran paradigma de la computación estará respaldado por 3D”, dijo Antonio Rodríguez, socio general de Matrix, “pero pocas personas fuera de Luma entienden que las formas intensivas en mano de obra y personalizadas de poblar el Los próximos entornos 3D no se escalarán. ¡Debe ser tan fácil convertir mis cosas en 3D como tomar una foto y presionar enviar! “
La compañía compartió un video con nosotros para mostrarnos lo que puede hacer su tecnología:
Source link