Facebook veut doter ses lunettes de réalité augmentée de super-pouvoirs audio

Et si les prochains progrès de la réalité augmentée ne reposaient pas sur le rendu visuel mais sur un son plus immersif ? C’est le pari de Facebook et de son équipe Facebook Reality Lab Research dirigée par Michael Abrash, qui est notamment chargée de développer des lunettes de réalité augmentée. Il a fait part à la presse américaine de ses progrès en matière d’audio, tout en publiant une note de blog.

Sa mission est double : « créer des sons virtuels indiscernables de la réalité et redéfinir l’audition humaine ». Rien que ça. L’équipe se concentre sur deux axes. Le premier est la présence audio. Lors d’une discussion vidéo en ligne, par exemple, le son de la voix de votre interlocuteur pourrait atteindre une qualité telle que vous auriez l’impression qu’il se trouve à côté de vous.

Une AI capable de trier les sons

Le deuxième et le plus ambitieux se focalise sur ce que Facebook appelle les « super-pouvoirs perceptuels ». Ce sera la capacité du système à réduire les bruits de fond parasites, tout en amplifiant le volume de la source audio que l’on veut entendre. Ce qui suppose une intelligence artificielle capable de sélectionner uniquement la parole d’une personne au milieu du brouhaha d’une cantine. On peut avoir une idée de ce que cela donnerait avec l’enregistrement ci-dessous :

Cette technologie fonctionne grâce à plusieurs micros incorporés dans les lunettes. Elle utilise aussi le schéma des mouvements de la tête et des yeux pour déterminer le son cible. Un processus totalement transparent pour l’utilisateur et qui devance ainsi ses désirs. Dans un restaurant, les lunettes seraient capables de repérer et d’identifier le bruit de la climatisation, celui de la vaisselle ou encore les gens qui discutent. Le système ferait ensuite le tri, en supprimant certains, et en mettant en valeur ceux qui vous intéressent.

Pour le moment, cette technologie est embarquée dans un prototype fort peut seyant. Mais elle pourrait à terme être incorporée aux casques de réalité virtuelle d’Oculus. Le but ultime restant bien sûr d’aboutir aux fameuses lunettes de réalité augmentée de Facebook.