Les chercheurs de Meta ont publié sur YouTube une vidéo qui montre les possibilités du casque de réalité virtuelle Quest 2 pour détecter les mouvements du corps sans utiliser de capteurs supplémentaires :
La vidéo montre un homme en train de faire des mouvements et la transmission à sa réplique virtuelle. La position de la tête et des mains se détermine grâce aux capteurs du casque et des manettes, mais celles du reste du corps (coudes, torse, jambes) nécessitent normalement des capteurs supplémentaires. Par exemple, HTC propose les Vive Tracker, des petits boîtiers que l’on peut fixer au bras ou aux jambes. Mais il faut alors débourser au moins 3 fois 139 euros pour disposer d’une détection de tout le corps.
La prouesse de Meta est de se passer de ces capteurs additionnels et d’arriver à estimer la position du corps en utilisant un réseau neuronal. Comme l’expliquent les chercheurs dans leur publication :
« Nous montrons que la simulation utilisant la physique compense les informations manquantes du capteur en synthétisant les poses de dimensionnement d’une manière physiquement plausible. »
Ainsi, le réseau neuronal tente de trouver une position du corps plausible en fonction des données dont il dispose. Sur la vidéo, nous constatons que les positions du personnage virtuel ne sont pas absurdes et se révèlent assez proches de celles du personnage réel. Selon les chercheurs, les résultats obtenus sont supérieurs à ce que peut offrir des boîtiers de type IMU (Inertial Measurement Unit), comportant un gyroscope et un accéléromètre.
Une approche approximative
Si la position du corps de l’avatar calculée par le réseau neuronal est plausible, elle n’est pas tout à fait exacte, comme on peut le voir dans la capture ci-dessous (position de la main droite) :
En outre, la technologie actuelle a une latence plutôt élevée : 160 ms, soit l’équivalent de plus de 11 images à 72 Hz. Mais dans le futur, cela pourrait permettre d’ajouter des jambes aux avatars troncs de Meta :
Mais il reste encore du travail, comme l’expliquent les chercheurs à la fin de leur publication. Par exemple, l’avatar simulé peut encore paraître raide et non naturel. En outre, les différents utilisateurs n’ont pas la même corpulence, alors que les calculs actuels mettent à l’échelle linéairement tous les éléments d’un squelette de manière égale :
« A l’avenir, nous voulons fournir à notre système des informations plus détaillées sur le squelette et la forme du corps. »
Enfin, les chercheurs veulent augmenter la diversité des mouvements que les avatars peuvent imiter, afin de les rendre encore plus réalistes.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source : Upload VR
Il y a des gens réellement intéressés par le Metaverse de Facebook ? C’est une blague j’espère.
Comment pourrait-on accepter que le soit disant futur d’Internet, soit détenu par une seule et unique société privée comme Facebook dont on connait les us et coutumes ?
“L’Oasis” est la seule voie viable et souhaitable s’il doit y avoir un Metaverse, ou il ne sera pas.