Imagínese si pudiera resolver / reavivar las discusiones domésticas preguntando a su altavoz inteligente cuándo se limpió la habitación por última vez o si ya se sacaron los contenedores.
O, para un caso de uso completamente más saludable, ¿qué pasaría si pudieras pedirle a tu orador que contara las repeticiones mientras haces sentadillas y press de banca? O cambie al modo completo de ‘entrenador personal’: ladrando órdenes para pedalear más rápido mientras gira en bicicleta en una vieja y polvorienta bicicleta estática (¡quién necesita un Peloton!).
¿Y si el hablante fuera lo suficientemente inteligente como para sólo sé ¿Estás cenando y te encargaste de ponerte un poco de música ambiental?
Ahora imagínese si toda esa inteligencia de seguimiento de actividad estuviera disponible sin ninguna cámara conectada enchufada dentro de su hogar.
AOtro poco de investigación fascinante de investigadores de la Universidad Carnegie Mellon Grupo de interfaces del futuro abre este tipo de posibilidades, demostrando un enfoque novedoso para el seguimiento de la actividad que no depende de las cámaras como herramienta de detección.
La instalación de cámaras conectadas dentro de su hogar es, por supuesto, un riesgo de privacidad terrible. Es por eso que los investigadores de CMU se propusieron investigar el potencial del uso del radar Doppler de onda milimétrica (mmWave) como medio para detectar diferentes tipos de actividad humana.
El desafío que tenían que superar es que, si bien mmWave ofrece una “riqueza de señal que se acerca a la de los micrófonos y las cámaras”, como dicen, los conjuntos de datos para entrenar modelos de IA para reconocer diferentes actividades humanas como ruido de RF no están fácilmente disponibles (como visual Los datos para entrenar otros tipos de modelos de IA son).
Para no desanimarse, se propusieron sintetizar los datos Doppler para alimentar un modelo de seguimiento de la actividad humana, ideando una tubería de software para entrenar modelos de IA de seguimiento de la actividad que preservan la privacidad.
Los resultados se pueden ver en este video, donde se muestra el modelo identificando correctamente una serie de actividades diferentes, que incluyen ciclismo, aplausos, saludos y sentadillas. Simplemente por su capacidad para interpretar la señal mmWave que generan los movimientos, y simplemente por haber sido entrenados con datos de video públicos.
“Mostramos cómo esta traducción entre dominios puede tener éxito a través de una serie de resultados experimentales”, escriben. “En general, creemos que nuestro enfoque es un paso importante hacia la reducción significativa de la carga del entrenamiento, como los sistemas de detección humana, y podría ayudar a los usos de bootstrap en la interacción persona-computadora”.
El investigador Chris Harrison confirma la La detección basada en radar Doppler mmWave no funciona para “cosas muy sutiles” (como detectar diferentes expresiones faciales). Pero dice que es lo suficientemente sensible como para detectar una actividad menos vigorosa, como comer o leer un libro.
La capacidad de detección de movimiento del radar Doppler también está limitada por la necesidad de una línea de visión entre el sujeto y el hardware de detección. (Aka: “Todavía no puede llegar a la vuelta de las esquinas”. Lo cual, para aquellos preocupados por los poderes de detección humana de los futuros robots, seguramente sonará un poco tranquilizador).
La detección requiere hardware de detección especial, por supuesto. Pero las cosas ya se están moviendo en ese frente: Google ya ha estado metiendo su dedo del pie, a través del proyecto Soli – agregando un sensor de radar al Pixel 4, por ejemplo.
De Google Nest Hub también integra el mismo sensor de radar para rastrear la calidad del sueño.
“Una de las razones por las que no hemos visto una mayor adopción de sensores de radar en los teléfonos es la falta de casos de uso convincentes (una especie de problema del huevo y la gallina)”, le dice Harris a TechCrunch. “Nuestra investigación sobre la detección de actividad basada en radar ayuda a abrir más aplicaciones (por ejemplo, Siris más inteligente, que sabe cuándo está comiendo, preparando la cena, limpiando o haciendo ejercicio, etc.)”.
Cuando se le preguntó si ve un mayor potencial en las aplicaciones móviles o fijas, Harris reconoce que hay casos de uso interesantes para ambos.
“Veo casos de uso tanto en dispositivos móviles como no móviles”, dice. “Volviendo al Nest Hub… el sensor ya está en la habitación, así que ¿por qué no usarlo para iniciar una funcionalidad más avanzada en un altavoz inteligente de Google (como el recuento de repeticiones de tus ejercicios)?
“Hay un montón de sensores de radar que ya se utilizan en los edificios para detectar la ocupación (pero ahora pueden detectar la última vez que se limpió la habitación, por ejemplo)”.
“En general, el costo de estos sensores bajará a unos pocos dólares muy pronto (algunos en eBay ya cuestan alrededor de $ 1), por lo que puede incluirlos en todo”, agrega. “Y como Google está mostrando con un producto que se coloca en su dormitorio, la amenaza de una ‘sociedad de vigilancia’ es mucho menos preocupante que con los sensores de cámara”.
Las empresas emergentes como VergeSense ya están utilizando hardware de sensores y tecnología de visión por computadora para impulsar el análisis en tiempo real del espacio interior y la actividad para el mercado b2b (como medir la ocupación de oficinas).
Pero incluso con el procesamiento local de datos de imágenes de baja resolución, aún podría existir una percepción de riesgo de privacidad en torno al uso de sensores de visión, ciertamente en entornos de consumidores.
El radar ofrece una alternativa a dicha vigilancia visual que podría adaptarse mejor a los dispositivos conectados por el consumidor que ponen en riesgo la privacidad, como los “espejos inteligentes”.
“Si se procesa localmente, ¿pondría una cámara en su habitación? ¿Baño? Quizás soy mojigata, pero personalmente no lo haría ”, dice Harris.
También señala investigaciones anteriores que, según él, subraya el valor de incorporar más tipos de hardware de detección: “Cuantos más sensores, mayor cantidad de aplicaciones interesantes puede admitir. Las cámaras no pueden capturar todo, ni funcionan en la oscuridad “.
“Las cámaras son bastante baratas en estos días, por lo que es difícil competir allí, incluso si el radar es un poco más barato. Creo que la mayor ventaja es la preservación de la privacidad ”, agrega.
Por supuesto, tener cualquier hardware de detección, visual o de otro tipo, plantea posibles problemas de privacidad.
Un sensor que te avisa cuando la habitación de un niño está ocupada puede ser bueno o malo dependiendo de quién tenga acceso a los datos, por ejemplo. Y todo tipo de actividad humana puede generar información sensible, dependiendo de lo que esté sucediendo. (Quiero decir, ¿realmente quieres que tu altavoz inteligente sepa cuándo estás teniendo sexo?)
Por lo tanto, si bien el seguimiento basado en radar puede ser menos invasivo que otros tipos de sensores, no significa que no haya ningún problema de privacidad potencial.
Como siempre, depende de dónde y cómo se utilice el hardware de detección. Sin embargo, es difícil argumentar que los datos que genera el radar probablemente sean menos sensibles que los datos visuales equivalentes si estuvieran expuestos a través de una brecha.
“Cualquier sensor naturalmente debería plantear la cuestión de la privacidad: es un espectro en lugar de una pregunta de sí / no”, coincide Harris. “Los sensores de radar suelen ser ricos en detalles, pero muy anónimos, a diferencia de las cámaras. Si los datos de su radar Doppler se filtraran en línea, sería difícil avergonzarse por ello. Nadie te reconocería. Si las cámaras del interior de su casa se filtraron en línea, bueno … “
¿Qué pasa con los costos de cálculo de sintetizar los datos de entrenamiento, dada la falta de datos de señales Doppler disponibles de inmediato?
“No es llave en mano, pero hay muchos grandes grupos de videos de los que extraer (incluidas cosas como Youtube-8M)”, dice. “Es mucho más rápido descargar datos de video y crear datos de radar sintéticos que tener que reclutar personas para que entren en su laboratorio para capturar datos de movimiento.
“Uno es inherentemente 1 hora invertida en 1 hora de datos de calidad. Mientras que puede descargar cientos de horas de metraje con bastante facilidad desde muchas bases de datos de video excelentemente seleccionadas en estos días. Por cada hora de video, nos toma aproximadamente 2 horas procesarlo, pero eso es solo en una máquina de escritorio que tenemos aquí en el laboratorio. La clave es que puede paralelizar esto, utilizando Amazon AWS o equivalente, y procesar 100 videos a la vez, por lo que el rendimiento puede ser extremadamente alto “.
Y aunque la señal de RF se refleja, y lo hace en diferentes grados en diferentes superficies (también conocida como “interferencia de múltiples rutas”), Harris dice que la señal reflejada por el usuario “es, con mucho, la señal dominante”. Lo que significa que no necesitaban modelar otras reflexiones para que su modelo de demostración funcionara. (Aunque señala que se podría hacer para perfeccionar aún más las capacidades “extrayendo grandes superficies como paredes / techo / piso / muebles con visión por computadora y agregando eso a la etapa de síntesis”).
“La [doppler] La señal es en realidad de muy alto nivel y abstracta, por lo que no es particularmente difícil de procesar en tiempo real (mucho menos ‘píxeles’ que una cámara) “. él añade. “Los procesadores integrados en los automóviles usan datos de radar para cosas como romper colisiones y monitorear el punto ciego, y esas son CPU de gama baja (sin aprendizaje profundo ni nada parecido)”.
La investigación se presenta en la conferencia ACM CHI, junto con otro proyecto del grupo, llamado Pose-on-the-Go, que utiliza sensores de teléfonos inteligentes para aproximarse a la pose de cuerpo completo del usuario sin la necesidad de sensores portátiles.
Los investigadores de CMU del Grupo también demostraron previamente un método para la detección de ‘hogares inteligentes’ en interiores a bajo costo (también sin la necesidad de cámaras), y también, el año pasado, mostraron cómo las cámaras de los teléfonos inteligentes podrían usarse para proporcionar un dispositivo en el dispositivo. Asistente de inteligencia artificial más inteligente contextual.
En los últimos años, también han investigado el uso de vibrometría láser y ruido electromagnético para brindar a los dispositivos inteligentes una mejor conciencia ambiental y funcionalidad contextual. Otra investigación interesante del Grupo incluye el uso de pintura en aerosol conductora para convertir cualquier cosa en una pantalla táctil. Y varios métodos para ampliar el potencial interactivo de los dispositivos portátiles, como el uso de láseres para proyectar botones virtuales en el brazo del usuario de un dispositivo o la incorporación de otro dispositivo portátil (un anillo) a la mezcla.
El futuro de la interacción entre humanos y computadoras parece ser mucho más inteligente en cuanto al contexto, incluso si los dispositivos ‘inteligentes’ de la generación actual aún pueden tropezar con lo básico y parecer un poco tontos.
Source link