Glass replantea la cámara del smartphone a través de un objetivo de cine de la vieja escuela

Las cámaras de los teléfonos inteligentes se han vuelto bastante buenas, pero cada vez es más difícil mejorarlas porque prácticamente hemos llegado al límite de lo que es posible en el espacio de un centímetro cúbico. Glass es una startup que busca cambiar fundamentalmente el funcionamiento de la cámara, utilizando un sensor mucho más grande y un truco óptico de las profundidades del cine: lentes anamórficos.

Puede que no sea obvio que las cámaras no mejorarán, ya que hemos visto tales avances en las últimas generaciones de teléfonos. Pero hemos usado toda la holgura que quedaba en esta línea, por así decirlo.

Para mejorar la imagen, necesita un sensor más grande, una mejor lente o algún tipo de magia computacional. Desafortunadamente, los sensores no pueden ser mucho más grandes porque necesitarían lentes más grandes para que coincidan. Y las lentes no pueden agrandarse porque simplemente no hay espacio para ellas en el cuerpo del teléfono, incluso cuando “doblas” la cámara. Mientras tanto, la fotografía computacional es excelente, pero no puede hacer mucho: apilar algunas imágenes para obtener un mejor rango dinámico o información de profundidad es bueno, pero llegas a un punto de rendimientos decrecientes con bastante rapidez.

“Las limitaciones solían estar relacionadas con el precio, pero ahora es el tamaño”, explicó el cofundador y director ejecutivo de Glass, Ziv Attar, quien ha trabajado en imágenes móviles durante más de una década, incluso en Apple. El otro cofundador, Tom Bishop, también trabajó en Apple, los dos trabajaron en la creación del Modo Retrato y probablemente se irritaron por las limitaciones del diseño de cámara tradicional.

“Hasta hace 5 años, simplemente hicieron la lente más ancha, luego comenzaron a hacer el sensor más grande”, dijo Attar. “Luego le lanzas algoritmos para reducir el ruido, pero incluso eso está llegando a sus límites; muy pronto será pura alucinación [i.e. AI-generated imagery]. El modo nocturno lleva el apilamiento de exposición a los extremos: se ocupa muy bien de la falta de fotones, pero si haces zoom, comienza a verse muy extraño y falso”.

“La pantalla del teléfono nos engaña”, continuó. “Si dejas que una persona normal compare un iPhone 12 y 13, no notará la diferencia, pero en comparación con una cámara profesional, cualquiera puede notarlo. Y si puedes ver la diferencia, hay mucho trabajo por hacer”.

Entonces, ¿qué es ese trabajo, exactamente? Attar ha decidido que, de estos diversos acertijos, el único que tiene sentido cambiar es la lente. Es cierto que no puede ser más grande, pero solo si está utilizando un conjunto de lentes simétrico normal. Pero ¿por qué deberíamos? Renunciaron a esa restricción hace un siglo en el cine.

evolución anamórfica

Las películas no siempre fueron de pantalla ancha. Originalmente, era más probable que tuvieran aproximadamente la forma de un cuadro de película de 35 mm, por razones obvias. Si unificaba la parte superior e inferior, podía proyectar una imagen de pantalla ancha, que le gustaba a la gente, pero básicamente solo estaba ampliando una parte de la película, que pagó en detalle. Pero una técnica probada por primera vez en los años 20 pronto resolvió el problema.

Las lentes anamórficas comprimen un amplio campo de visión desde los lados para que encaje en el marco de la película y, cuando se proyectan con un proyector anamórfico, el proceso se invierte: la imagen se vuelve a estirar hasta la relación de aspecto deseada. Hay algunos efectos ópticos interesantes introducidos, pero… si los describo, nunca podrá dejar de verlos en el contenido, así que me abstendré.

El sistema de lentes propuesto por Glass no es exactamente el mismo, pero utiliza principios similares y lentes con formas inusuales. Partió de la idea fundamental de cómo agregar un sensor más grande. Simplemente hacer un cuadrado más grande requeriría una lente más grande, lo cual no podemos hacer, pero ¿qué pasa si haces el sensor más largo, como en un rectángulo? Bueno, también necesitarías una lente rectangular más larga. La técnica anamórfica significa que puede capturar y proyectar una imagen más grande pero distorsionada y luego convertirla a la relación de aspecto correcta en el procesador de imágenes. (El proceso no es exactamente análogo a la técnica de la película, pero utiliza los mismos principios).

¿Cuánto más grande es una imagen que puede capturar? Bueno, la cámara principal de un iPhone 13 tiene un sensor de aproximadamente 7 × 5 milímetros, por lo que un total de 35 mm cuadrados. El prototipo de Glass usa un sensor de aproximadamente 24 × 8 mm: aproximadamente 192 mm cuadrados, 5-6 veces más grande, con un aumento proporcional de megapíxeles. Aquí hay una pequeña tabla para referencia casual:

Teniendo en cuenta la fanfarria que generalmente acompaña al aumento del tamaño del sensor de un teléfono en un 15 o 20 por ciento, eso es un salto enorme.

Pero Attar explicó que la forma en que lo miden, es aún más. Si tuviera que expandir la imagen a la relación de aspecto correcta, en realidad sería el doble de alto: 24×16 mm, apenas por debajo del estándar APS-C en las DSLR pero muy por encima de los sensores Micro Four Thirds y 1″ también comunes (y de alto rendimiento). ) en cámaras sin espejo. Eso lleva a la afirmación de la empresa de tener 11 veces el “área de imagen” de un iPhone. La evaluación de estas métricas es un proceso no trivial para el que no estoy preparado, pero, sinceramente, cualquiera de los dos sería una actualización revolucionaria para un teléfono.

Más grande, más brillante y un poco más raro

Hay ventajas y desventajas en este proceso. El más importante es un inmenso aumento en la captación de luz y el poder de resolución. Más luz significa mejores exposiciones en general y mejores tomas en condiciones difíciles: no es necesario un elegante modo nocturno de exposición múltiple impulsado por aprendizaje automático si solo puede… ver cosas. Y hay mucho, mucho más detalle en las imágenes en comparación con las de los teléfonos inteligentes normales.

Tenga en cuenta que el ejemplo limitado anterior es solo eso: es difícil hacer comparaciones de manzanas con manzanas cuando las distancias focales, el procesamiento de imágenes y la resolución de salida son tan diferentes (sin mencionar mi recorte y recodificación), pero al menos puede ver que se agrega una gran cantidad de detalles incluso en esta presentación no óptima. Las imágenes originales a tamaño completo están disponibles aquí: iPhone, Glass.

Debido al sensor más grande y la naturaleza del vidrio, también obtienes un bokeh natural o desenfoque de fondo. El modo retrato es, por supuesto, uno de los favoritos entre los usuarios de teléfonos inteligentes, pero incluso los mejores métodos para simular el bokeh están lejos de ser perfectos. El mismo efecto que Apple logró simulando minuciosamente las lentes se produce naturalmente en el prototipo Glass, tal como lo haría en una cámara digital más grande. Y no hay posibilidad de que se produzca el tipo de error extraño que se ve en las imágenes segmentadas por IA, que a menudo recortan el cabello y otros detalles, o no logran lograr el efecto de profundidad de formas más sutiles.

Si bien no habría zoom óptico, Attar señaló que acercar mediante recorte (es decir, zoom digital) en un sistema Glass le permitiría acercar más que la mayoría de los zooms ópticos, y aún tendría más luz y píxeles que el competencia. Normalmente no soy de los que dejan que las afirmaciones de que “el zoom digital está bien” vivan, pero en este caso el tamaño de la lente y el sensor lo compensan con creces.

Estos beneficios, aunque brevemente mencionados, son más que considerables. La mejora de la luz y los detalles la coloca muy por delante de las mejores cámaras que existen. (Y aunque los detalles más pequeños pueden pasar desapercibidos en una pantalla pequeña, una mala exposición se nota en cualquier tamaño).

Los inconvenientes tienen que ver principalmente con las complejidades de operar una cámara que es totalmente diferente ópticamente de una tradicional. Los mecanismos para el enfoque automático son diferentes (el enfoque anamórfico es notoriamente complejo) y hay muchas distorsiones y aberraciones que deben corregirse: las lentes simétricas de este tamaño también tienen distorsión y degradación, pero de un tipo diferente.

“[Distortions] todos están restringidos durante el diseño, de modo que sabemos de antemano que podemos corregirlos”, dijo Attar. “Es un proceso iterativo, pero iniciamos el desarrollo de una herramienta de software dedicada y personalizada para cooptimizar los parámetros de las lentes y las variables de la red neuronal”. En otras palabras, no diseñaron nada que no pudieran corregir.

Un efecto que encuentro desorientador pero que quizás otros decidan que es trivial es la forma del bokeh. Normalmente, las luces desenfocadas se desdibujan en pequeños discos translúcidos, pero en el sistema Glass se resuelven en un degradado de óvalos y medias lunas regordetas.

Para mi ojo neurótico eso no está bien. Es… antinatural. Pero tampoco puedo dejar de notar el bokeh viñeteado debido a las banderas francesas en el cine y la televisión (no lo busques, esto también está en todas partes y no puedes dejar de verlo). Y de todos modos, las películas filmadas en anamórfico muestran una distorsión de bokeh similar, por lo que en realidad es bastante común, solo que no en imágenes fijas y tomas de teléfonos inteligentes.

Supuse que habría inconvenientes debido a la necesidad de estirar la imagen digitalmente; ese tipo de cosas, si se hacen mal, pueden generar muaré y otros artefactos no deseados. Pero Attar dijo que es notablemente sencillo entrenar un modelo para que lo haga, de modo que nadie pueda notar la diferencia, excepto los observadores de píxeles: “Entrenamos redes para aplicar superresolución 1-D en función de la información de los otros ejes. Después de aplicar nuestro algoritmo, parece que proviene de un sensor APS-C completo, en campo de visión y resolución”.

Todo eso tendrá que ser verificado por revisores y expertos en cámaras cuando haya una versión de producción, pero la teoría parece sólida y los primeros resultados son más que prometedores.

En este momento, la compañía ha pasado de prototipos independientes a un dispositivo de factor de teléfono de tercera generación que muestra cómo la tecnología encajará en prácticamente cualquier chasis del mercado. No tiene nada de exótico aparte de las cualidades ópticas, dijo Attar, por lo que, aunque no será tan barato de fabricar como las unidades de procesamiento de imágenes y cámaras estándar de hoy en día, se puede fabricar con la misma facilidad. Como señaló, el precio ya no es una opción, y si una empresa puede dar un gran salto en la calidad de la cámara, puede capturar una gran parte del mercado.

“Tenemos que convencer a un fabricante de teléfonos para que básicamente abandone la tecnología antigua”, dijo Attar. “Estamos viendo buenos comentarios. El único reto es hacerlo en un tiempo razonable. No digo que no haya riesgo. Pero muchos de nosotros teníamos buenos trabajos en grandes empresas: no dejamos nuestros lujosos salarios en Apple para trabajar en alguna tontería. Teníamos un plan desde el principio”.

Incluso si se llegara a un acuerdo ahora con un gran fabricante de móviles, tardaría un año y medio o dos años en llegar al mercado. “Pero tenemos que empezar por algún lado”, concluyó.

Glass ha recaudado $ 2.2 millones en fondos iniciales, liderados por LDV Capital y una colección de inversores ángeles. Por supuesto, eso no pretende cubrir el costo de fabricación, pero ahora que la empresa deja el laboratorio, necesitará efectivo operativo para comercializar, incluso en caso de que un fabricante importante se comprometa. Greg Gilley, exvicepresidente de cámaras y fotos de Apple, y Ramesh Raskar, del MIT Media lab, se unieron como asesores, completando un equipo en el que los inversores probablemente tengan mucha confianza.

Si el enfoque de Glass se pone de moda, espere escuchar acerca de otras compañías que afirmen haberlo inventado en poco menos de dos años.