Comment imaginer l’après smartphone ? Comment pilotera-t-on un ordinateur dans vingt ans ? Comment créer une interface pratique et intuitive pour des lunettes à réalité augmentée ? Des questions complexes, passionnantes, sur lesquelles planchent la plupart des grands noms de la Silicon Valley, dont Facebook.
Dans un rare exercice de communication, le Facebook Reality Labs (FRL) -son labo de R&D en AR/VR – a détaillé l’état de ses recherches en la matière à la presse en début de semaine. Un moyen pour la firme, souvent décriée pour son opacité, de montrer qu’elle veut développer ces nouvelles technologies en toute transparence. C’est une bonne chose, car la proposition de Facebook pour les interfaces homme-machine de demain est aussi ambitieuse que radicale. Et elle ne manquera pas de faire débat.
Contrôler une interface à la force du poignet
A première vue, ce gros bracelet n’a rien de bien spectaculaire. Il n’a pourtant pas grand-chose à voir avec les wearables actuellement sur le marché.
Car il sert en réalité à intercepter les signaux électriques envoyés par votre cerveau aux muscles de vos mains par le système nerveux lorsque vous pensez à un mouvement. C’est une application de la technique médicale de l’électromyogramme.
Il peut ainsi les interpréter avec précision et les transformer immédiatement en commandes numériques, compréhensibles par un ordinateur. Associée à des lunettes de réalité augmentée, cette interface au poignet vous permettrait de contrôler des éléments virtuels intuitivement, par de simples mouvements de doigts ou de main :
Elle pourrait également simuler un clavier :
Ou encore parfaitement reproduire les mouvements d’une main, ce qui offre d’autres scénarios d’usage, par exemple pour aider des personnes amputées :
« Ce que nous essayons de faire avec les interfaces neurales, c’est de vous laisser prendre le contrôle d’une machine directement, en utilisant les informations du système nerveux périphérique, plus spécifiquement les nerfs hors de votre cerveau qui animent vos mains et les muscles de vos doigts » a expliqué Thomas Reardon, directeur de recherche sur les interfaces neuromotrices du FRL.
Cette technologie bluffante n’est pas tout à fait nouvelle. Elle est avant tout l’œuvre de CTRL-Labs, une start-up justement fondée par Reardon, qui en avait fait la démonstration avant d’être rachetée par Facebook en 2019.
Le prototype a depuis évolué, mais le travail nécessaire pour obtenir un produit commercialisable est encore très long, et Facebook se garde bien de fournir une éventuelle date de commercialisation de cette technologie. D’autant que le chantier ne se résume pas, loin de là, à la seule captation des impulsions nerveuses.
Le retour Haptique, indispensable pour l’AR ?
Une autre équipe du FRL travaille ainsi depuis quatre ans a un deuxième point crucial : l’haptique, soit le retour tactile que devra fournir le bracelet pour fournir un feedback à l’utilisateur.
« Nos recherches ont montré que les retours haptiques sont essentiels pour la réalité augmentée. Demain, je pense que les gens considèreront le retour haptique en AR comme aussi important que l’image ou le son » a expliqué Nicholas Colonnese, chercheur au FRL, durant la conférence.
Par exemple, lui et son équipe travaillent à un système de légère pression sur le poignet pour simuler un « clic ». Ou encore à un système de navigation qui s’appuierait sur des retours haptiques localisés à gauche ou à droite du poignet pour guider un individu dans une ville inconnue, sans qu’il ait besoin de sortir son smartphone.
Un exemple d’utilisation de bracelets à retour haptique : plus on bande l’arc, plus les bracelets serrent les poignets
L’équipe a déjà conçu une douzaine de prototypes de bracelets à retour de force, mais deux se distinguent du lot. Le premier fonctionne avec de l’air comprimé, et semble très prometteur du point de vue des sensations. Seul problème : il nécessite un gros compresseur, ce qui interdit son utilisation en tant que wearable.
Le second, baptisé Tasby, consiste en six moteurs de vibrations situés tout autour du poignet, complétés par un système capable de le « presser » délicatement (voir image ci-dessus).
« Nous avons essayé Tasby dans divers scénarios pour savoir si la combinaison de vibration et de pression autour du poignet pouvait vous faire imaginer que vous interagissez vraiment avec les objets virtuels. Et étonnamment, grâce au principe de la substitution sensorielle, la réponse est oui » a commenté Nicholas Colonnese.
Une IA qui prédit vos actions, le plus grand chantier
Autre travail titanesque : repenser l’interface graphique et les principes d’interaction entre l’homme et la machine. Les chercheurs du FRL imaginent pour cela une IA capable de « prédire » vos intentions.
« Une interface en réalité augmentée doit être très différente de celles que nous utilisons aujourd’hui. Elle doit être consciente de votre environnement et de votre contexte, et y être sensible. Présenter l’information au bon moment, et la cacher quand vous n’en n’avez pas besoin », a expliqué Hrvoje Benko, directeur de recherche au FRL.
Facebook imagine bien un futur ou la machine devinera ce que nous voulons faire. Un exemple concret ? Alors que vous êtes en train de cuisiner, vos lunettes sur le nez, l’IA comprend que vous allez déposer un plat dans le four. Surgit alors une proposition : « voulez-vous démarrer un timer ? ». Il vous suffit d’un mouvement de doigt, intercepté par le bracelet pour le valider.
Evidemment, tout cela réclame des progrès majeurs en matière d’intelligence artificielle, et cette IA prédictive est encore loin de voir le jour… Il n’empêche que la promesse impressionne.
En attendant ces interfaces futuristes, Facebook dévoilera dès cette année une paire de lunettes connectées, sans bracelet ni réalité augmentée. La toute première étape d’un plan à très long terme.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
