OpenAI ha presentado al mundo su último y poderoso modelo de IA, GPT-4, y, sorprendentemente, lo primero en lo que se asociaron con sus nuevas capacidades es ayudar a las personas con discapacidades visuales. Be My Eyes, que permite a las personas ciegas y con baja visión pedirles a las personas videntes que describan lo que ve su teléfono, está obteniendo un “voluntario virtual” que ofrece ayuda impulsada por IA en cualquier momento.
hemos escrito sobre se mis ojos muchas veces desde que se inició en 2015 y, por supuesto, el auge de la visión por computadora y otras herramientas ha ocupado un lugar destacado en su historia de ayudar a las personas con discapacidad visual a navegar más fácilmente la vida cotidiana. Pero la aplicación en sí misma no puede hacer mucho, y una característica central siempre fue poder obtener la ayuda de un voluntario, que podía mirar a través de la vista de la cámara de su teléfono y dar descripciones o instrucciones detalladas.
La nueva versión de la aplicación es la primera en integrar la capacidad multimodal de GPT-4, es decir, su capacidad no solo para chatear de manera inteligible, sino también para inspeccionar y comprender las imágenes que se le dan:
Los usuarios pueden enviar imágenes a través de la aplicación a un voluntario virtual impulsado por IA, que responderá cualquier pregunta sobre esa imagen y brindará asistencia visual instantánea para una amplia variedad de tareas.
Por ejemplo, si un usuario envía una foto del interior de su refrigerador, el Voluntario Virtual no solo podrá identificar correctamente lo que contiene, sino también extrapolar y analizar qué se puede preparar con esos ingredientes. La herramienta también puede ofrecer una serie de recetas para esos ingredientes y enviar una guía paso a paso sobre cómo prepararlos.
Pero el video que acompaña a la descripción es más esclarecedor. En él, la usuaria de Be My Eyes, Lucy, muestra que la aplicación la ayuda con un montón de cosas en vivo. Si no está familiarizado con la jerga rápida de un lector de pantalla, es posible que se pierda parte del diálogo, pero lo tiene para describir el aspecto de un vestido, identificar una planta, leer un mapa, traducir una etiqueta, dirigirla a cierta máquina caminadora en el gimnasio y decirle qué botones presionar en una máquina expendedora. (Puedes ver el video a continuación).
Sé mis ojos Voluntario virtual
Es una demostración muy concisa de lo hostil que es gran parte de nuestra infraestructura urbana y comercial para las personas con problemas de visión. Y también muestra cuán útil puede ser el chat multimodal de GPT-4 en las circunstancias adecuadas.
Sin duda, los voluntarios humanos seguirán siendo fundamentales para los usuarios de la aplicación Be My Eyes: no hay forma de reemplazarlos, solo se eleva el nivel cuando se necesitan (y, de hecho, pueden ser convocados de inmediato si la respuesta de la IA no es lo suficientemente buena). ).
Como ejemplo, la IA sugiere útilmente en el gimnasio que “las máquinas disponibles son las que no tienen personas”. ¡Gracias! Como dijo hoy el cofundador de OpenAI, Sam Altman, las capacidades son más impresionantes a primera vista que una vez que lo has estado usando por un tiempo, pero también debemos tener cuidado de mirar este caballo regalado demasiado de cerca.
El equipo de Be My Eyes está trabajando en estrecha colaboración con OpenAI y con su comunidad para definir y guiar sus capacidades a medida que continúa su desarrollo.
En este momento, la función está en versión beta cerrada entre un “pequeño subconjunto” de usuarios de Be My Eyes, que se ampliará en las próximas semanas. “Esperamos que el Voluntario Virtual esté ampliamente disponible en los próximos meses”, escribe el equipo. “Al igual que nuestro servicio voluntario existente, esta herramienta es gratuita para todos los miembros de la comunidad ciegos y con baja visión que usan la aplicación Be My Eyes”.
Teniendo en cuenta la rapidez con la que se cooptó a ChatGPT para proporcionar servicios para plataformas SaaS corporativas y otras aplicaciones bastante prosaicas, es alentador ver que esta nueva se puso a trabajar de inmediato para ayudar a las personas. Puede leer más sobre GPT-4 aquí.
Source link