Depuis la Wii et sa Wiimote commercialisée par Nintendo en 2006, puis la Kinect de Microsoft sortie en 2010 qui se dispense de tout contrôleur, nous avons appris à prendre le contrôle de consoles de jeux avec nos mains et nos corps. Demain, les interfaces gestuelles vont continuer à se répandre dans d’autres domaines que le jeu, estime Tom Simonite pour la Technology Review.

Maizels Aviad, fondateur de PrimeSense, la compagnie israélienne qui fournit le matériel de détection de gestes du Kinect, travaille à développer la technologie pour le contrôle des interfaces du salon et notamment de la télévision. Jusqu’à présent, l’intégration d’ordinateurs dans la télé s’est avérée compliqué, du fait de la nécessité de disposer de commandes voire d’un clavier. PrimeSense a annoncé un partenariat avec Asus, le fabricant chinois d’ordinateurs, pour proposer un modèle de PC (baptisé Wavi Xtion) contrôlé par un dispositif similaire à la Kinect pour servir des contenus multimédias sur un téléviseur.

Simpkins Daniel, fondateur de Hillcrest Labs, qui développe une technologie de détection de mouvements utilisée par LG et Logitech, a travaillé à un nouveau type de télécommande : la LG Magic Motion, qui enrichit l’interaction des boutons de la télécommande par des gestes. Car le problème pour contrôler la télévision demeure de savoir qui dirige le mouvement. Quelle personne le dispositif optique doit-il surveiller quand toute une famille est devant l’écran ?

L’entreprise belge SoftKinetic utilise la détection de mouvement associée à des caméras détectant la profondeur pour créer des publicités interactives de vitrines. Quant à la société israélienne Eyesight, elle développe des applications qui apportent la reconnaissance gestuelle aux smartphones et aux tablettes disposant de caméras de face (vidéo), permettant de refuser un appel non désiré d’un simple geste de la main.

Aviad Maizels estime que ce type de technologies pourrait également trouver place dans nos voitures, pour traiter les appels téléphoniques entrants ou les dispositifs de divertissement. Mais l’essentiel des travaux se concentre pourtant sur les logiciels de détection des gestes, notamment pour les rendre plus précis, plus réactif et plus intuitif au langage du corps.

Les détournements des caméras de la Kinect sont devenus si nombreux, que des blogs dédiés sont nés pour les recenser, notamment sur Kinecthacks ou Kinect Dashhacks. PrimeSense a d’ailleurs lancé en 2010 OpenNI, un ensemble de drivers et de kit en open source pour permettre à la communauté des développeurs de détourner et d’inventer les usages de sa caméra et Microsoft un kit de développement pour utiliser sa Kinect sous Windows.

Parmi les détournements les plus spectaculaires ou intéressants, notons par exemple cette utilisation pour jouer de la guitare sans guitare (vidéo), pour permettre à un robot de s’orienter et d’obéir aux gestes humains (vidéo), voir pour qu’il répète les gestes d’un humain (vidéo), pour interpréter le langage des signes (vidéo), simuler une interface holographique (video) ou pour en faire des tables de réalité augmentée (vidéo)… pour le transformer en détecteur de présence et l’utiliser pour automatiser l’éclairage chez soi (vidéo). Et bien sûr, pourquoi pas, de prendre le contrôle de son ordinateur (sous Windows of course) (vidéo) voir même de la caméra de son PC depuis n’importe quel navigateur (vidéo)…

Parmi les hacks récents cette vidéo montre qu’il est possible d’utiliser le système pour détecter de micro-mouvements de la tête ou des lèvres, permettant d’envisager des interactions plus naturelles ou accessibles avec nos écrans d’ordinateurs placés face à nos visages notamment. Plusieurs expérimentations détournent également la Kinect pour en faire un scanneur 3D d’objets réels (vidéo et vidéo).

Air Guitar prototype with Kinect from Chris O'Shea on Vimeo.

Augmented Urban Model from Katja Knecht on Vimeo.

Kinect and Fabric Engine from Fabric Engine on Vimeo.

Des détournements si stimulants que Microsoft les a d’ailleurs intégré à sa campagne promotionnelle de la Kinect (vidéo).

Des chercheurs de Microsoft et de l’université Carnegie Mellon ont récemment présenté un dispositif mobile OmniTouch (vidéo), rapporte encore la Technology Review, combinant un capteur Kinect et un picoprojecteur pour étendre a à peu près n’importe quoi les possibilités d’écrans interactifs : un mur comme la paume de sa main.

Image : le dispositif OmniTouch.

OmniTouch est un système qui se porte sur l’épaule, explique Chris Harrisson, son co-inventeur, étudiant à l’Institut d’interaction homme-machine de l’université Carnegie Mellon, qui surveille l’environnement de l’utilisateur pour optimiser les surfaces disponibles et optimiser l’angle ou l’orientation selon la position de la surface. Il surveille les mouvements des mains et des doigts qu’il sait reconnaitre et n’a plus besoin de marqueurs spécifiques, comme le proposait le projet 6e sens de Pranav Mistry, qui travaille également depuis avec des caméras de ce type. Parmi les exemples d’applications que les chercheurs ont mis en place, la plus spectaculaire permet à un utilisateur d’annoter un document physique.

Certes, la configuration montée sur l’épaule demeure encore assez irréaliste, admet Hrvoje Benko chercheur au Groupe sur l’interaction naturelle de Microsoft Research, mais l’équipe travaille désormais à réduire le dispositif pour qu’il tienne dans des lunettes ou un pendentif. En attendant, la force de l’application semble reposer sur sa précision : l’équipe a démontré qu’il était possible d’activer des boutons de 16 mm de taille, c’est-à-dire presque de la même taille que ceux d’un écran tactile classique.