Un grupo de investigadores en visión por computadora de ETH Zúrich quieren aportar su granito de arena para mejorar el desarrollo de la inteligencia artificial en los teléfonos inteligentes. A saber: han creado un sistema de referencia para evaluar el rendimiento de varias arquitecturas de redes neuronales importantes utilizadas para tareas comunes de IA.
Esperan que sea útil para otros investigadores de IA, pero también para los fabricantes de chips (ayudándolos a obtener información competitiva); Desarrolladores de Android (para ver qué tan rápido se ejecutarán sus modelos de IA en diferentes dispositivos); y, bueno, a los nerds telefónicos, como al mostrar si un dispositivo en particular contiene o no los controladores necesarios para los aceleradores de IA. (Y, por lo tanto, si deben creer o no en los mensajes de marketing de una empresa).
La aplicación, llamada Benchmark de IA, está disponible para descargar en Google Play y puede ejecutarse en cualquier dispositivo con Android 4.1 o superior, lo que genera una puntuación que los investigadores describen como un “veredicto final” del rendimiento de la IA del dispositivo.
Las tareas de inteligencia artificial evaluadas por su sistema de referencia incluyen clasificación de imágenes, reconocimiento facial, eliminación de imágenes borrosas, superresolución de imágenes, mejora o segmentación de fotografías.
Incluso están probando algunos algoritmos utilizados en sistemas de conducción autónoma, aunque en este momento no hay ningún propósito práctico para hacerlo. No todavía, de todos modos. (Mirando hacia el futuro, los investigadores dicen que no está claro qué plataforma de hardware se usará para la conducción autónoma, y sugieren que es “bastante posible” que los procesadores móviles, en el futuro, sean lo suficientemente rápidos como para usarse en esta tarea. al menos estás preparado para esa posibilidad).
La aplicación también incluye visualizaciones de la salida de los algoritmos para ayudar a los usuarios a evaluar los resultados y tener una idea del estado actual de la técnica en varios campos de la IA.
Los investigadores esperan que su puntaje se convierta en una métrica universalmente aceptada, similar a DxOMark que se usa para evaluar el rendimiento de la cámara, y todos los algoritmos incluidos en el punto de referencia son de código abierto. El ranking actual de diferentes smartphones y procesadores móviles está disponible en el Página web.
El sistema de referencia y la aplicación se desarrollaron alrededor de tres meses, dice el investigador y desarrollador de inteligencia artificial Andrey Ignatov.
Explica que la puntuación que se muestra refleja dos aspectos principales: la velocidad del SoC y la RAM disponible.
“Consideremos dos dispositivos: uno con una puntuación de 6000 y otro con una puntuación de 200. Si algún algoritmo de IA se ejecuta en el primer dispositivo durante 5 segundos, entonces esto significa que en el segundo dispositivo tardará unas 30 veces más, es decir, casi 2,5 minutos. Y si estamos pensando en aplicaciones como el reconocimiento facial, no se trata solo de la velocidad, sino de la aplicabilidad del enfoque: nadie esperará 10 segundos hasta que su teléfono intente reconocerlos.
“Lo mismo ocurre con la memoria: cuanto más grande es la red / imagen de entrada, más RAM se necesita para procesarla. Si el teléfono tiene una pequeña cantidad de RAM que es, por ejemplo, solo suficiente para mejorar la foto de 0.3MP, entonces esta mejora será claramente inútil, pero si puede hacer el mismo trabajo para imágenes Full HD, esto abre posibilidades mucho más amplias. Entonces, básicamente, la puntuación más alta: se pueden usar algoritmos más complejos / se pueden procesar imágenes más grandes / tomará menos tiempo hacer esto “.
Al discutir la idea del punto de referencia, Ignatov dice que el laboratorio está “estrechamente vinculado” tanto a la investigación como a la industria, por lo que “en algún momento sentimos curiosidad acerca de cuáles son las limitaciones de ejecutar los algoritmos de IA recientes en teléfonos inteligentes”.
“Dado que no había información sobre esto (actualmente, todos los algoritmos de IA se ejecutan de forma remota en los servidores, no en su dispositivo, a excepción de algunas aplicaciones integradas en el firmware del teléfono), decidimos desarrollar nuestra propia herramienta que mostrará claramente el rendimiento y las capacidades de cada dispositivo ”, añade.
“Podemos decir que estamos bastante satisfechos con los resultados obtenidos; a pesar de todos los problemas actuales, la industria se está moviendo claramente hacia el uso de IA en teléfonos inteligentes, y también esperamos que nuestros esfuerzos ayuden a acelerar este movimiento y brinden información útil para otros miembros que participan en este desarrollo “.
Después de construir el sistema de evaluación comparativa y recopilar puntajes en varios dispositivos Android, Ignatov resume la situación actual de la IA en los teléfonos inteligentes como “interesante y absurda”.
Por ejemplo, el equipo descubrió que los dispositivos que ejecutaban chips de Qualcomm no eran los claros ganadores que habían imaginado, es decir, según los materiales promocionales de la compañía sobre las capacidades de IA 845 de Snapdragon y la aceleración del rendimiento 8x.
“Resultó que esta aceleración está disponible solo para redes ‘cuantificadas’ que actualmente no se pueden implementar en los teléfonos, por lo que para las redes ‘normales’ no obtendrá ninguna aceleración en absoluto”, dice. “Lo más triste es que en realidad, en teoría, también pueden proporcionar aceleración para las últimas redes, pero aún no han implementado los controladores apropiados, y la única forma posible de obtener esta aceleración ahora es usar el SDK patentado de Snapdragon disponible para ellos. procesadores solamente. Como resultado, si está desarrollando una aplicación que utiliza IA, no obtendrá ninguna aceleración en los SoC de Snapdragon, a menos que la esté desarrollando solo para sus procesadores “.
Mientras que los investigadores encontraron que la CPU 970 de Kirin de Huawei, que técnicamente es incluso más lenta que Snapdragon 636, ofrecía un rendimiento sorprendentemente fuerte.
“Su NPU integrada brinda una aceleración de casi 10 veces para las redes neuronales y, por lo tanto, incluso las CPU y GPU de teléfonos más potentes no pueden competir con ella”, dice Ignatov. “Además, Huawei P20 / P20 Pro son los únicos teléfonos inteligentes en el mercado que ejecutan Android 8.1 que actualmente brindan aceleración de IA, todos los demás teléfonos obtendrán este soporte solo en Android 9 o posterior”.
Sin embargo, no todas son buenas noticias para los propietarios de teléfonos Huawei, ya que Ignatov dice que la NPU no proporciona aceleración para las redes ‘cuantificadas’ (aunque señala que la compañía ha prometido agregar este soporte para fines de este año); y también utiliza su propia RAM, que tiene un tamaño “bastante limitado” y, por lo tanto, “no puede procesar imágenes grandes con ella” …
“Diríamos que si resuelven estos dos problemas, lo más probable es que nadie pueda competir con ellos en los próximos años”, sugiere, aunque también enfatiza que esta evaluación solo se refiere al único SoC, señalando que Los procesadores de Huawei no tienen el módulo NPU.
Para los procesadores Samsung, los investigadores señalan que todos los dispositivos de la compañía aún ejecutan Android 8.0, pero la aceleración de IA solo está disponible a partir de Android 8.1 y superior. Natch.
También descubrieron que el rendimiento de la CPU podía “variar de manera significativa”, hasta un 50% en el mismo dispositivo Samsung, debido a la lógica de aceleración y optimización de energía. Lo que luego tendría un impacto en el rendimiento de la IA.
Para Mediatek, los investigadores encontraron que el fabricante de chips está proporcionando aceleración tanto para redes “cuantificadas” como “normales”, lo que significa que puede alcanzar el rendimiento de las “CPU superiores”.
Pero, por otro lado, Ignatov dice en voz alta el eslogan de la compañía, que es “Liderando la revolución de la tecnología Edge-AI”, llamándolo “nada más que su sueño”, y agrega: “Incluso la última CPU Exynos de Samsung mencionada anteriormente puede superar ligeramente sin utilizar ninguna aceleración, sin mencionar a Huawei con su Kirin 970 NPU “.
“En resumen: Snapdragon – teóricamente puede proporcionar buenos resultados, pero carecen de controladores; Huawei: resultados bastante sobresalientes ahora y probablemente en un futuro próximo; Samsung: ahora no hay soporte de aceleración (lo más probable es que esto cambie pronto ya que ahora están desarrollando su propio chip AI), pero potentes CPU; Mediatek: buenos resultados para dispositivos de gama media, pero definitivamente ningún avance “.
También vale la pena señalar que algunos de los resultados se obtuvieron en muestras de prototipos, en lugar de teléfonos inteligentes enviados, por lo que aún no se han incluido en la tabla de referencia en el sitio web del equipo.
“Esperaremos hasta que los dispositivos con firmware final lleguen al mercado, ya que es posible que aún se introduzcan algunos cambios”, agrega.
Para obtener más información sobre los pros y los contras de las funciones de los teléfonos inteligentes con tecnología de inteligencia artificial, consulte nuestro artículo de principios de este año.
Source link