Sony ha desarrollado una interesante nueva tecnología híbrida: Un sensor de imagen con sistema de procesamiento de IA integrado en el hardware, convirtiéndolo en un único sistema integrado. Los beneficios y las aplicaciones de esto son potencialmente enormes a medida que las imágenes y el código continúan fusionándose.
La idea es bastante simple en concepto. Toma un sensor de imagen CMOS tradicional como el que encontraría en cualquier teléfono o cámara hoy y lo apila sobre un chip lógico que está diseñado no solo para extraer píxeles del sensor, sino también para operar un modelo de aprendizaje automático que extrae información de esos píxeles. .
El resultado es un ensamblaje electrónico único que puede realizar una gran cantidad de procesamiento interesante en una foto antes de que esa foto se envíe a otro lugar, como una placa lógica principal, GPU o la nube.
Para ser claros, los sensores de imagen ya tienen procesadores complementarios que hacen el trabajo habitual de clasificar píxeles, comprimirlos en un archivo JPEG, etc. Pero están muy enfocados en realizar un puñado de tareas comunes muy rápidamente.
El chip de Sony, como lo explica la compañía, es capaz de procesos y resultados más sofisticados. Por ejemplo, si la exposición es de un perro en un campo, el chip podría analizarlo de inmediato en busca de objetos y, en lugar de enviar la imagen completa, simplemente informar “perro”, “hierba” y cualquier otra cosa que reconozca.
También podría realizar ediciones esencialmente improvisadas, como recortar todo en la foto excepto las partes que reconoce y se le ha dicho que informe, solo las flores, pero nunca los tallos, por ejemplo.
El beneficio de un sistema de este tipo es que puede descartar todo tipo de datos innecesarios o no deseados antes de que esos datos entren en la canalización de almacenamiento o procesamiento del dispositivo principal. Eso significa que se usa menos energía del procesador, por un lado, pero también puede ser más seguro.
Las cámaras en lugares públicos podrían desenfocar preventivamente rostros o placas de automóviles. Los dispositivos domésticos inteligentes podrían reconocer a las personas sin guardar ni enviar ningún dato de imagen. Las exposiciones múltiples podrían fusionarse para formar mapas de calor o frecuencia del campo de visión de la cámara.
Es posible que espere un mayor consumo de energía o latencia de un chip con procesos de IA integrados, pero compañías como Xnor (recientemente adquirida por Apple) han demostrado que tales tareas se pueden realizar muy rápidamente y a un costo extremadamente bajo.
Si bien el procesamiento más complejo seguiría siendo competencia de chips más grandes y potentes, este tipo de primer paso es capaz de producir una gran variedad de datos valiosos y, si se diseña correctamente, podría resultar más resistente contra ataques o abusos.
En este momento, el “Sensor de visión inteligente” de Sony sigue siendo solo un prototipo, disponible para realizar pedidos para pruebas, pero no para producción. Pero como Sony es uno de los principales proveedores de sensores de imagen del mundo, es probable que esto llegue a bastantes dispositivos de una forma u otra.
Source link