En esta noticia
Investigadores de la Universidad de Cornell y el KAIST de Corea del Sur han desarrollado WatchHand, un sistema revolucionario que transforma smartwatches comunes en rastreadores de gestos manuales precisos, eliminando la necesidad de hardware extra.
Este avance usa solo el altavoz y micrófono del reloj para crear un “micro-sonar” impulsado por IA.
Cómo funciona WatchHand
WatchHand emite ondas sonoras inaudibles (ondas continuas moduladas en frecuencia) desde el altavoz del smartwatch, que rebotan en la mano y regresan al micrófono, formando un “perfil de eco”. Un modelo de deep learning procesa estas señales localmente en el dispositivo para estimar poses 3D de 20 articulaciones de los dedos en tiempo real, con un error medio por articulación de solo 7.87 mm en pruebas cross-session.
A diferencia de sistemas previos que requieren cámaras o sensores externos voluminosos, WatchHand opera en smartwatches comerciales Android sin modificaciones físicas, priorizando privacidad al procesar datos en el borde sin nube. Esto lo hace accesible para millones de dispositivos existentes con una simple actualización de software.
Pruebas y rendimiento del reemplazo del mouse
El equipo evaluó WatchHand con 40 participantes en cuatro estudios (36 horas de datos), probándolo en múltiples modelos de smartwatches, manos izquierda/derecha, posturas corporales variadas, ruido ambiental y protocolos de gestos diversos. Rastrea movimientos de dedos y rotaciones de muñeca de forma confiable, incluso en entornos ruidosos, aunque falla en escenarios dinámicos como caminar.
Co-líderes Jiwan Kim (KAIST) y Chi-Jung Lee (Cornell) destacan su adaptabilidad: una sintonía fina ligera mejora el rendimiento para usuarios o gestos nuevos. Dirigido por Cheng Zhang del SciFi Lab de Cornell, el proyecto financiado por NSF y el Ministerio coreano de Ciencia enfatiza la eficiencia energética del nuevo sistema de “sensing acústico”.
Adiós al mouse: qué implica para el futuro
Con comandos como pellizcar pulgar e índice para avanzar canciones, o navegar el escritorio del PC con gestos discretos, WatchHand convierte la mano en un dispositivo de entrada natural, despidiendo al mouse y teclado tradicionales. Sus posibles aplicaciones incluyen controles por gestos en VR/AR, asistentes para personas con movilidad reducida y tracking de escritura en smartwatch.
“WatchHand baja barreras al tracking de mano; cualquier dispositivo con altavoz y micrófono lo soporta”, afirma Kim. Aunque limitado a Android por ahora, resuelve problemas de latencia y privacidad de soluciones visuales, allanando camino a interacciones siempre disponibles. De esta manera, esta innovación tecnológica podría redefinir la computación wearable en 2026 y más allá.