Apple : son futur casque de réalité mis à nu par une fuite extrêmement détaillée

En 2023, plus encore que le Mac Pro, qui devrait clore la grande transition des Mac vers les puces Apple Silicon, c’est le casque de réalité mixte d’Apple qui est au cœur de toutes les attentes. Jamais officialisé, il semble avoir pourtant déjà été repoussé bien plus d’une fois. C’est qu’Apple joue gros avec ce produit. Non seulement il inaugure une nouvelle gamme et un nouveau marché pour la société de Cupertino, mais il donnera aussi le « la »  pour la prochaine révolution en cours de construction – littéralement sous vos yeux – celle de la réalité augmentée.

S’abonner à 01net sur YouTube

Les fuites et rumeurs concernant ce casque, dont le nom pourrait être Reality Pro, sont nombreuses et ont émaillé l’actualité au cours des deux ou trois dernières années. Une part de fantasme, une part d’informations réelles mais contradictoires, qui peuvent être vues comme la preuve du long chemin à parcourir par Apple, avec ses avancées, retards et retours en arrière. Alors que Mark Gurman, de Bloomberg, annonçait il y a encore peu que le casque de réalité mixte d’Apple pourrait être annoncé dès ce mois de janvier, The Information se penche sur ce produit au fil d’un long article, riche en révélations. Une véritable plongée au cœur du travail, des succès et des doutes du Technology Development Group, comme est appelée l’équipe en charge du projet.

Une ergonomie et un design, soignés… et fermés à la Apple

Au début est toujours la forme. Le site américain rappelle – et c’est l’occasion pour nous de le faire aussi – que ce produit devrait ressembler à un masque de ski. Un masque de ski composé d’aluminium et de verre, ainsi que de fibre de carbone pour le rendre plus léger. Bien qu’il soit donné pour embarquer une grande quantité de caméras et de capteurs, ceux-ci seraient pour la plupart cachés – Apple ne se refait pas…

Ce masque de ski serait taillé pour offrir des expériences de réalité virtuelle et augmentée, d’où son appellation de casque de réalité mixte. Le passage de l’une à l’autre de ces approches se fera grâce à une mollette physique. Il sera ainsi possible de se trouver plongé dans la réalité virtuelle, totalement coupé du monde, et de revenir à son environnement rapidement d’un simple geste.

Pour la plupart des interactions, toutefois, les équipes de Tim Cook vont compter, semble-t-il, sur le suivi des mouvements de nos mains et sur notre voix. Siri sera de la partie, sans grande surprise. Toutefois, Apple aurait également testé une sorte de baguette et de dé à coudre magique pour contrôler l’interface de l’appareil. The Information indique ne pas avoir réussi à savoir quelle méthode a été finalement retenue.

Comme on l’imagine volontiers pour un produit Apple, le casque est également bourré de trouvailles qu’on est impatient de voir à l’œuvre, mais affiche également quelques choix plus difficiles à comprendre.

Ainsi, du côté des fonctions bluffantes, on trouve un moteur qui ajuste automatiquement l’écartement des lentilles en fonction des pupilles de l’utilisateur afin de lui garantir la meilleure expérience possible. Et du côté moins bluffant de la force, on apprend que le premier casque de MR d’Apple recourt a priori à une batterie extérieure, à attacher à la ceinture. Il semblerait qu’au fil des prototypes, la batterie soit passée de la ceinture au bandeau qui ceint la tête du porteur du casque, avant de redescendre à la ceinture. Sans doute une question de poids et de confort, quand on connaît le dégoût d’Apple pour les câbles apparents en règle générale.

Pour ce qui est du bandeau, Apple en aurait finalement développé deux versions, qui ne seraient plus facilement interchangeables. L’une pour des développeurs, et l’autre pour les consommateurs finaux qui intégrerait des haut-parleurs et serait dans une sorte de gomme synthétique, proche de celle utilisée pour certains bracelets d’Apple Watch.
Pour ceux qui veulent s’isoler du monde, notamment quand ils passent des appels « virtuels », il sera possible de connecter des AirPods Pro de seconde génération, mais pas des casques Bluetooth classique. Pourquoi ? Parce que la latence serait trop importante, à en croire The Information. Pour résoudre le problème, Apple compterait sur la puce H2, intégrée dans le casque et présente également dans les derniers AirPods Pro.

Pas deux, mais trois écrans pour un seul casque

Mais au-delà du design, trois questions essentielles sous-tendent le succès ou l’échec d’un casque : la qualité de son affichage, la quantité et les performances des capteurs utilisés et, enfin, sa puissance de calcul.

Concernant l’affichage et les lentilles, Apple miserait sur deux écrans 4K, un pour chaque œil, pour une définition 8K, donc. C’est Sony qui est à la manœuvre, comme l’a révélé par le passé Mark Gurman, notamment. Une information que le site américain a confirmé par ailleurs. Apple étant Apple, ce sont des dalles micro OLED qui seront utilisées.

Cette technologie peu répandue permet à l’affichage d’être construit directement sur le substrat en silicium, et non sur du verre, ce qui permet à l’ensemble d’être beaucoup plus fin et d’afficher une haute densité de pixels. Le casque offre également un champ de vision de 120 degrés, supérieur à ce que propose le Quest Pro, de Meta, avec ses 106°. Pour les porteurs de lunettes, il sera même possible d’aimanter des lentilles de vue…

Mais ce ne sont pas les seuls écrans qu’Apple embarque dans son casque. Une troisième dalle serait intégrée sur la face extérieure de l’appareil. Son objectif sera notamment d’afficher les expressions du visage du porteur du casque, ainsi que d’autres types d’informations. Apple entend ainsi éviter que l’utilisateur soit coupé de son entourage. L’écran externe bénéficiera toutefois d’un taux de rafraîchissement plus faible, afin de moins consommer d’énergie, à la manière d’un écran toujours allumé d’iPhone 14 Pro, ou de Watch.

Une douzaine de caméras et une avalanche de capteurs

Pour afficher le monde extérieur sur ses écrans 4K, le casque d’Apple devra évidemment pouvoir le filmer grâce à des caméras. The Information confirme qu’il en embarquera une douzaine. Mais toutes ne seront pas tournées vers l’extérieur. Chaque œil sera filmé par au moins une caméra afin de pouvoir suivre ses mouvements avec précision. Cela permettra notamment au moins trois usages. Le premier est de permettre au casque d’Apple de concentrer ses ressources de calcul sur l’endroit de l’image où l’utilisateur regarde, grâce à la technologie du rendu fovéal. Le deuxième usage fera également en sorte que les avatars virtuels, Memojis ou autres, auront un regard le plus fidèle possible à celui de l’utilisateur. Apparemment d’autres caméras ont été, un temps, intégrées pour filmer les sourcils et les mâchoires de l’utilisateur – toujours dans l’optique d’affiner le rendu des réactions de l’utilisateur sur son avatar. Elles auraient été supprimées par la suite, les ingénieurs d’Apple ayant trouvé une autre solution pour atteindre le même résultat.

Enfin, le troisième usage permettra de se connecter à un compte ou à valider des achats en ligne grâce à la reconnaissance de l’iris de l’utilisateur.

Mais les caméras ne seront pas seules, Apple a également intégré des lidars à courte et longue portée, des capteurs de lumière et de profondeur de champ, afin d’établir une carte en 3D de l’environnement autour de l’utilisateur. Cela devrait vous éviter de vous cogner le petit doigt de pied dans une table basse, en embuscade. Rien de pire pour briser l’immersion dans un monde virtuel !

Et puisqu’on parle de pied, il est temps de lâcher une petite bombe. Là, où les casques de Meta vont être obligés de recourir à l’IA pour estimer et simuler là où sont vos jambes dans la réalité virtuelle, le casque d’Apple sera capable de les repérer, et donc de les reproduire (fidèlement ?) dans la réalité virtuelle. Bien entendu, avec les jambes viendront également tous les mouvements corporels possibles et imaginables.

Deux cerveaux pour un casque

Passons maintenant au cœur du casque, aux puces qui lui donnent vie. Le pluriel ici s’impose semble-t-il, confirmant des rumeurs et fuites plus anciennes. Deux puces principales gouvernent le casque. Un ISP, chargé du traitement des images, nom de code Bora, et un SoC, nom de code Staten. Gravés en 5 nm, les deux puces se répartissent une lourde charge. Bora va traiter les images reçues par la douzaine de caméras placées à l’extérieur du casque, au niveau des yeux de l’utilisateur notamment. Déformées, ces images vont être transformées pour produire une vidéo réaliste de l’environnement de l’utilisateur. Tout cela devant évidemment être extrêmement rapide pour éviter les latences entre le monde réel et sa retranscription en vidéo. Pour réussir ce tour de force, Apple aurait travaillé avec SK Hynix, géant de la mémoire, pour développer des puces mémoire dotées d’une bande passante particulièrement élevée.

De son côté, Staten est chargé de faire tourner l’OS et de tout coordonner. A en croire, The Information, on connaît déjà cette puce puisqu’on l’a rencontrée sous un autre nom en juin dernier. Il s’agirait du M2. Le site américain rappelle également que la communication entre le SoC et l’ISP avait rencontré un problème lors du développement. Apple s’est vu obligé de concevoir une puce dédiée pour accélérer les communications entre elles. Avec succès, semble-t-il.

L’autonomie, une autre question épineuse

Néanmoins, cette prouesse, qui s’accompagne d’une avalanche de puissance, pourrait avoir un effet néfaste sur l’autonomie – on comprend peut-être mieux pourquoi la batterie sera indépendante et portée à la ceinture.

Car, c’est apparemment ce design qu’Apple aurait validé, en définitive. Même si The Information précise que ce choix était fortement encouragé par Jonathan Ive, ancien grand manitou du design pour Apple, qui a cessé son travail de consulting l’année dernière. Il est possible que les équipes du géant américain ait changé leur fusil d’épaule depuis. En tout cas, il est certain que ce choix permettrait d’abaisser le poids total de ce casque. Par ailleurs, cette batterie assurerait deux heures d’autonomie, au plus. C’est à peu de choses près ce que propose la concurrence équivalente.

Une fois encore, Apple aurait pensé aux petits détails. Le casque serait relié à cette batterie externe grâce à une câble MagSafe, afin qu’un faux mouvement un peu violent n’envoie pas voler le casque, la batterie et votre short avec à l’autre bout de la pièce.

Un système d’exploitation, et quels contenus ?

Enfin, vient la question de l’OS et des usages. Apple ne semble pas vraiment miser sur le jeu, au moins pour commencer – mais sans doute sera-ce aux développeurs d’en faire un périphérique de gaming, si cela doit être le cas. Le géant de Cupertino pense davantage que la killer app de son casque sera la visioconférence, d’où l’importance des avatars et de leur fidélité à leur modèle original.

Mais, évidemment, Apple va utiliser tout le poids de l’intégration à son environnement existant, toute la force de sa Continuité. Des essais auraient ainsi été réalisés pour qu’un utilisateur puisse saisir un plan sur l’écran d’un Mac pour l’appliquer sur une surface plane réelle, comme une table, où le plan d’une ville, par exemple, apparaîtra alors en 3D. La pédagogie sera également un des axes forts sur lequel l’entreprise voudrait miser. On retrouve là les premiers efforts réalisés en réalité augmentée avec les applications pour iOS : divertissement, éducation, aménagement, etc. Le sport pourrait être une nouveauté appréciée, notamment pendant les évènements live importants. Après tout, Apple a notamment acquis les droits pour la ligue de soccer américaine. Mais, d’autres contenus dédiés pourraient également être disponibles. Apple travaille ainsi avec de grands noms d’Hollywood pour produire des documentaires et expériences virtuelles.

Tout tournera évidemment grâce à un tout nouveau système d’exploitation, dont on a déjà eu l’occasion de parler, avec plus ou moins de détails par le passé. Cet OS serait également capable de faire tourner des applications iOS – à vous les parties de Fruit Ninja en agitant les bras comme un.e désespéré.e. Dans un premier temps, le système ne serait toutefois pas très ouvert. Quelle surprise ! Le seul moyen de développer des applications pour le casque serait de passer par le RealityKit engine d’Apple. Mais Unity, moteur universel et omniprésent, pourrait poindre rapidement le bout de son nez. Un partenariat pourrait être conclu.

Bientôt ?

Après des atermoiements sans fin, et alors qu’en 2019 le produit était prévu pour un lancement en 2022 – on sait tous aujourd’hui que ce rendez-vous a été raté, The Information confirme qu’Apple semble approcher de la fin d’une longue route. En début d’année dernière, Pegatron, partenaire d’Apple, notamment dans la fabrication d’iPhone, a assemblé les premiers modèles dans ses usines à proximité de Shanghai. Après plusieurs étapes de prototypage, le casque en est arrivé à la phase de test de validation technique, au cours de laquelle des milliers de casques sont produits pour voir si la conception du produit et les chaînes sont prêtes pour la production de masse.

Apple semble désormais prêt. Mais son casque, qui pourrait être vendu aux alentours de 3 000 dollars, ou plus, en fonction des configurations, aura fort à faire. Le marché de la VR a enregistré une mauvaise année, en 2022. Meta, avec son Quest Pro, n’a pas rencontré le succès attendu. Apple joue gros, tous les yeux sont tournés vers son casque. Va-t-il réussir à mettre ce marché hoquetant sur les rails ? L’avenir, réel ou virtuel, nous le dira…

🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.

Source : The Information