HoloLens modificado ayuda a enseñar a los niños con discapacidad visual a navegar por el mundo social

HoloLens modificado ayuda a enseñar a los niños con discapacidad visual a navegar por el mundo social

Crecer con ceguera o baja visión puede ser difícil para los niños, no solo porque no pueden leer los mismos libros o jugar los mismos juegos que sus compañeros videntes; La visión también es una gran parte de la interacción social y la conversación. Este Microsoft El proyecto de investigación utiliza la realidad aumentada para ayudar a los niños con discapacidad visual a “ver” a las personas con las que están hablando.

El desafío que enfrentan las personas con discapacidad visual es, por supuesto, que no pueden ver a las otras personas a su alrededor. Esto puede evitar que detecten y usen muchas de las señales no verbales que las personas videntes usan en la conversación, especialmente si esos comportamientos no se aprenden a una edad temprana.

El Proyecto Tokio es un nuevo esfuerzo de Microsoft en el que sus investigadores están investigando cómo las tecnologías como AI y AR pueden ser útiles para todos personas, incluidas las personas con discapacidad. Ese no es siempre el caso, aunque hay que decir que los asistentes virtuales con voz son una bendición para muchos que no pueden usar fácilmente una pantalla táctil o un mouse y teclado.

El equipo, que comenzó como un desafío informal para mejorar la accesibilidad hace unos años, comenzó observando a las personas que viajaban a las Olimpiadas Especiales, luego siguió con talleres que involucraban a la comunidad ciega y de baja visión. Su realización principal fue el contexto sutil que la vista da en casi todas las situaciones.

“Nosotros, como humanos, tenemos este sentido muy, muy matizado y elaborado de la comprensión social de cómo interactuar con las personas: tener una idea de quién está en la habitación, qué están haciendo, cuál es su relación conmigo, cómo puedo entiendo si son relevantes para mí o no “, dijo el investigador de Microsoft Ed Cutrell. “Y para las personas ciegas, muchas de las señales que damos por sentado simplemente desaparecen”.

En los niños esto puede ser especialmente pronunciado, ya que tal vez nunca hayan aprendido las señales y comportamientos relevantes, ellos mismos pueden exhibir tendencias antisociales como descansar la cabeza sobre una mesa mientras conversan o no enfrentar a una persona cuando les habla.

Para ser claros, estos comportamientos no son “problemáticos” en sí mismos, ya que son solo la persona que hace lo que funciona mejor para ellos, pero pueden inhibir las relaciones cotidianas con personas videntes, y es un objetivo que vale la pena considerar cómo pueden ser esas relaciones hecho más fácil y más natural para todos.

La solución experimental que el Proyecto Tokio ha estado buscando implica un HoloLens modificado, menos la lente, por supuesto. El dispositivo también es un dispositivo de imágenes altamente sofisticado que puede identificar objetos y personas si se les proporciona el código correcto.

El usuario usa el dispositivo como una diadema de alta tecnología, y una pila de software personalizada les proporciona un conjunto de claves contextuales:

  • Cuando se detecta a una persona, digamos a cuatro pies de distancia a la derecha, el auricular emitirá un clic que suena como si viniera de esa ubicación.
  • Si se conoce la cara de la persona, se emite un segundo sonido de “golpe” y se anuncia el nombre de la persona (nuevamente, audible solo para el usuario).
  • Si no se conoce la cara o no se puede ver bien, se reproduce un sonido de “estiramiento” que se modula a medida que el usuario dirige su cabeza hacia la otra persona, terminando en un clic cuando la cara está centrada en la cámara (lo que también significa el usuario los enfrenta directamente).
  • Para los que están cerca, una tira de LED muestra una luz blanca en la dirección de una persona que ha sido detectada, y una luz verde si ha sido identificada.

Se están evaluando otras herramientas, pero este conjunto es un comienzo, y basado en un estudio de caso con un juego de 12 años llamado Theo, podrían ser extremadamente útiles.

Vale la pena leer la publicación de Microsoft que describe el sistema y el trabajo del equipo con Theo y otros para conocer los detalles, pero esencialmente Theo comenzó a aprender los entresijos del sistema y, a su vez, comenzó a manejar situaciones sociales utilizando señales utilizadas principalmente por personas videntes. Por ejemplo, aprendió que puede dirigir deliberadamente su atención hacia alguien girando su cabeza hacia ellos, y desarrolló su propio método de escanear la habitación para controlar a los que están cerca, ninguno de los dos posibles cuando la cabeza está sobre la mesa.

Ese tipo de empoderamiento es un buen comienzo, pero definitivamente es un trabajo en progreso. El hardware voluminoso y costoso no es exactamente algo que quiera usar todo el día, y naturalmente los diferentes usuarios tendrán diferentes necesidades. ¿Qué pasa con las expresiones y los gestos? ¿Qué pasa con los letreros y menús? Finalmente, el futuro del Proyecto Tokio estará determinado, como antes, por las necesidades de las comunidades a las que rara vez se consulta cuando se trata de construir sistemas de IA y otras comodidades modernas.


Source link