Nouvelles

May 18, 2023

Casque AR/VR : tout ce que nous savons jusqu'à présent

Abonnez-vous pour recevoir régulièrement des nouvelles de MacRumors et de futures informations sur les casques AR / VR. Apple a

Abonnez-vous pour les nouvelles régulières et l'avenir de MacRumorsCasque AR/VRInfo.

Apple expérimente les technologies de réalité virtuelle et de réalité augmentée depuis près de 20 ans sur la base de dépôts de brevets, mais avec la popularité croissante de la réalité virtuelle et augmentée avec le lancement d'ARKit, l'ambition d'Apple devient de plus en plus sérieuse et devrait conduire au premier appareil portable Appareil Apple AR/VR en 2023.

Il y a une recherche chez Apple avec des centaines d'employés travaillant sur AR et VR et explorant les façons dont les technologies émergentes pourraient être utilisées dans les futurs produits Apple. L'embauche d'AR/VR s'est accélérée au cours des dernières années et Apple a acquis plusieurs sociétés AR/VR alors qu'elle poursuit son travail dans l'espace AR/VR.

Apple développe au moinsdeux Appareils AR / VR qui incluent un casque de réalité mixte qui sortira en 2023 suivi d'une version plus abordable à venir à une date ultérieure. Le casque d'Apple a fait face à de nombreux retards, et bien que la société ait initialement voulu le lancer en 2022, cela n'a pas été possible. Un lancement en 2023 est prévu, Apple prévoyant de présenter le portable à la WWDC. La version la moins chère pourrait arriver en 2024 ou 2025, et plusieurs modèles de deuxième génération pourraient être disponibles.

Le casque AR/VR sera un appareil autonome avec des puces en silicium Apple qui mettront les performances à égalité avec les Mac d'Apple. Il aura deux puces à l'intérieur qui lui permettront d'effectuer des tâches complexes et de gérer les capacités de réalité virtuelle, en plus il pourra fonctionner indépendamment d'un iPhone ou d'un Mac. L'appairage sera possible pour utiliser l'iPhone comme clavier et pour transférer des données, mais il ne sera pas obligatoire.

Du point de vue de la conception, le casque ressemblera à d'autres casques sur le marché comme le Facebook Oculus Quest, mais il présentera un look plus élégant et une construction légère pour assurer le confort. Apple réduira le poids du casque en utilisant une batterie externe qui se porte à la taille plutôt qu'une batterie intégrée intégrée à l'appareil.

Deux écrans micro OLED 4K haute résolution avec jusqu'à 3 000 pixels par pouce offriront une expérience visuelle immersive. Apple intègre plus d'une douzaine de caméras dans le casque pour suivre les mouvements et les gestes des mains, ce qui constituera une méthode de contrôle avec le suivi des yeux. Les utilisateurs pourront regarder un élément sur l'écran pour le sélectionner, en utilisant des gestes de la main pour ensuite interagir avec l'élément.

Plusieurs modules de détection 3D seront inclus pour détecter les gestes de la main et les objets qui se trouvent autour du porteur, et ils prendront en charge le contrôle vocal, la détection de peau, la détection spatiale et la détection d'expression. Des haut-parleurs intégrés seront inclus, mais un meilleur son spatial nécessitera des AirPod couplés.

Apple est en train de concevoir un App Store pour le casque, et le contenu se concentrera sur les jeux, la vidéo en streaming et la visioconférence. Il exécutera "xrOS", un nouveau système d'exploitation conçu spécifiquement pour le casque. Une expérience FaceTime utilisera les caméras pour projeter le visage et le corps entiers d'une personne dans un environnement virtuel pour des appels individuels, et il y aura également d'autres applications comme Calendrier, Mail, Safari, et plus encore.

Le casque aura une interface de type iOS qui sera immédiatement familière aux utilisateurs d'iPhone et d'iPad, avec un écran d'accueil dédié qui abrite une gamme d'applications et de widgets. Il pourra également être utilisé comme écran pour un Mac connecté, avec la souris et le clavier du Mac utilisés comme périphériques d'entrée.

Comme le casque AR/VR est une toute nouvelle catégorie de produits adoptant une technologie de pointe, il ne sera pas bon marché. Les rumeurs suggèrent qu'il pourrait coûter environ 3 000 $.

Le casque se concentrera sur la réalité virtuelle, mais il aura également des capacités de réalité augmentée. Les utilisateurs pourront passer de la réalité virtuelle à la réalité augmentée grâce à un mécanisme de contrôle de type couronne numérique, les fonctionnalités de réalité augmentée utilisant des caméras externes pour afficher l'environnement de l'utilisateur à l'intérieur du casque.

Remarque : Vous voyez une erreur dans ce tour d'horizon ou vous souhaitez faire part de vos commentaires ? Envoyez-nous un e-mail ici.

Le premier casque d'Apple prendra en charge les capacités AR et VR, une technologie généralement appelée "réalité mixte". La réalité augmentée (AR) et la réalité virtuelle (VR) sont des technologies similaires, mais leurs applications potentielles varient considérablement.

La réalité virtuelle fait référence à une expérience immersive complète dans un monde virtuel, tandis que la réalité augmentée fait référence à une vision modifiée du monde réel. Avec une expérience VR, le monde réel est largement exclu pour se concentrer sur une expérience entièrement virtuelle, mais la réalité augmentée superpose des éléments virtuels sur votre vision du monde réel.

Google Glass, un produit Google aujourd'hui largement disparu, est un exemple d'appareil de réalité augmentée porté sur la tête, tandis que l'Oculus et la PlayStation VR sont des exemples d'appareils de réalité virtuelle portés sur la tête. Apple travaille sur ces deux technologies, mais le produit initial sera plus similaire à l'Oculus qu'aux Google Glass.

La réalité virtuelle est particulièrement axée sur la consommation de contenu immersif, car elle donne au porteur l'impression de vivre réellement ce qui se passe dans le monde simulé grâce à un retour visuel, tactile et audio. La réalité virtuelle est actuellement liée au jeu, mais elle a également le potentiel de recréer des expériences du monde réel à des fins éducatives ou de formation.

La réalité augmentée ne repose pas sur un contenu immersif et bien que moins excitante car elle augmente la réalité au lieu de la remplacer, elle a un plus large éventail d'applications potentielles et c'est la technologie qui semble finalement intéresser le plus Apple. Le casque d'Apple prendra en charge les deux AR et VR, ce qu'on appelle la réalité mixte, et c'est quelque chose que nous avons vu dans des produits comme HoloLens de Microsoft. Les utilisateurs pourront basculer entre la réalité virtuelle et la réalité augmentée à l'aide d'une couronne numérique sur le côté de l'appareil.

La réalité mixte fusionne le contenu du monde réel et le contenu virtuel pour produire de nouveaux environnements où les objets physiques et numériques peuvent être visualisés et interagir ensemble. En pratique, nous ne savons pas encore exactement quel type d'expérience offrira le casque d'Apple, mais nous pouvons compter sur des jeux immersifs, des expériences FaceTime et de chat plus interactives et de nouveaux outils d'apprentissage.

Les dépôts de marques ont suggéré qu'Apple pourrait appeler le casque de réalité mixte qui est en préparation le "Reality Pro" ou le "Reality One". Apple a déposé ces noms en plus de "Reality Processor", il semble donc que nous pourrions obtenir une dénomination sur le thème de la réalité.

Apple a déposé ces noms aux États-Unis, au Royaume-Uni, au Canada, en Australie, en Nouvelle-Zélande, en Arabie saoudite, au Costa Rica et en Uruguay en utilisant des sociétés écrans.

Apple semble avoir déposé des marques pour xrOS, xrProOS, realityproOS et realOS ces dernières semaines. Apple devrait utiliser xrOS pour le nom du système d'exploitation du casque AR/VR, mais les autres pourraient être des espaces réservés au cas où.

Le casque AR/VR d'Apple ressemblera à certains autres casques VR sur le marché, avec un design qui n'est pas trop éloigné du casque de réalité virtuelle Facebook Oculus Quest. Plusieurs détails de conception ont été révélés dans des rumeurs, et The Information a même vu un prototype, nous avons donc une bonne idée de ce à quoi nous attendre.

Le casque utilisera de l'aluminium, du verre et de la fibre de carbone pour maintenir le poids et le profil bas. Il a été décrit comme ayant une "visière élégante et incurvée attachée au visage par un matériau en maille". Les rendus ci-dessous du designer Ian Zelbo sont basés sur ces descriptions de casque.

Une bande à l'arrière faite d'un matériau similaire à une bande Apple Watch maintiendra le casque sur la tête du porteur, et une maille douce rendra l'ajustement confortable contre l'avant du visage. Les premières rumeurs suggéraient que les bandeaux seraient échangeables, mais de nouvelles informations indiquent que ce n'est plus le cas. Le bandeau a été décrit comme étant fait d'un matériau souple avec deux points au niveau des tempes qui comportent les haut-parleurs gauche et droit. Il y a une housse souple et amovible qui se fixe à l'arrière du casque pour le rendre plus confortable à porter.

Apple travaillait prétendument sur un bandeau avec une technologie audio spatiale comme les AirPods Pro pour une expérience de son surround et une autre pour une autonomie supplémentaire de la batterie lors de vos déplacements, mais ces idées ont peut-être été abandonnées. Les rumeurs suggèrent maintenant qu'Apple crée différents bandeaux, un conçu pour les consommateurs à partir de matériaux comme le bracelet Apple Watch avec haut-parleurs intégrés, et un second destiné aux développeurs.

La conception du casque est destinée à bloquer la vision périphérique pour empêcher la lumière de pénétrer dans le champ de vision du porteur, et il y aura un écran orienté vers l'extérieur pour montrer des graphiques aux autres.

Les prototypes de mars 2022 pesaient environ 200 à 300 grammes, mais Apple vise à réduire le poids final à 100 à 200 grammes si des problèmes techniques peuvent être résolus, ce qui rendrait le casque plus léger que les appareils VR existants.

Pour basculer entre la réalité virtuelle et le monde physique, Apple inclut un petit cadran de type Digital Crown sur le côté droit du casque. Il n'inclura pas de retour haptique, mais il pourra être tourné pour faire la transition entre les modes.

Le premier composant de casque AR / VR qui a fui a fui en mars, nous donnant un aperçu des composants internes de l'appareil. Le câble ruban est censé être conçu pour le casque et il ne semble pas être similaire à un câble utilisé dans un produit Apple antérieur.

Le câble semble contourner les yeux de l'utilisateur et pourrait être utilisé pour connecter des composants d'affichage à une carte.

Les rumeurs suggèrent que le casque AR/VR aura deux à trois écrans. Il y aura deux écrans micro OLED 4K haute résolution avec jusqu'à 3 000 pixels par pouce, pour une résolution totale de 8K. Sony devrait fournir les modules d'affichage qu'Apple utilisera, bien qu'Apple puisse également utiliser certains écrans OLED de Samsung.

Les écrans micro OLED sont construits directement sur des plaquettes de puce plutôt que sur un substrat en verre, ce qui se traduit par des écrans plus fins, plus petits et plus économes en énergie. Ils permettent des tailles de pixels de l'ordre de quatre à 20 micromètres, contre 40 à 300 micromètres avec les panneaux OLED standard, et ils ont un temps de réponse plus rapide en microsecondes, ce qui les rend idéaux pour les applications de réalité augmentée (AR) et de réalité virtuelle (VR). .

Selon l'analyste d'affichage Ross Young, les écrans du casque AR/VR mesureront 1,41 pouce de diagonale, avec une luminosité de 5 000 nits et 4 000 pixels par pouce. Avec une luminosité de 5 000 nits, le casque AR/VR offrira une prise en charge du contenu HDR, et il dépassera de loin les capacités des autres casques du marché.

Le casque AR/VR comprendra également un écran externe externe qui sera un écran OLED standard fourni par LG Display. L'écran OLED standard sera un simple affichage extérieur qui ne nécessite pas la technologie micro-OLED de qualité supérieure utilisée pour l'affichage du dîner.

L'écran orienté vers l'extérieur sera censé montrer les expressions faciales du porteur du casque aux personnes qui l'entourent, afin de réduire le sentiment d'isolement ressenti lors de l'utilisation de l'appareil. L'écran aura un taux de rafraîchissement ultra-faible et une consommation d'énergie réduite pour l'empêcher de vider la batterie.

Apple utilise des objectifs "Pancake" qui permettront un design fin et léger. Les lentilles Pancake sont plus chères que la technologie de lentille Fresnel utilisée pour les autres casques VR, mais donneront un appareil beaucoup plus fin.

En raison de l'ajustement serré du casque sur le visage, les utilisateurs ne pourront pas porter de lunettes, il y aura donc la possibilité d'insérer des lentilles de prescription sur les écrans. Les lentilles de prescription pourront se fixer au casque à l'aide d'aimants.

Le casque AR/VR comportera un champ de vision de 120 degrés, un peu comme le Valve Index, et il sera plus large que le champ de vision de 106 degrés du Meta Quest Pro.

De plus, Apple utilisera de petits moteurs pour ajuster les lentilles internes en fonction de la distance interpupillaire du porteur, offrant ainsi le plus grand champ de vision possible pour chaque individu.

Selon les rumeurs, Apple prévoit d'utiliser une batterie autonome pour le casque AR/VR, ce qui lui permettrait de réduire le poids. Les informations suggèrent que la batterie serait portée à la taille et connectée au casque via un câble d'alimentation de type MagSafe au bandeau.

La batterie a approximativement la taille de deux modèles d'iPhone 14 Pro Max empilés l'un sur l'autre et alimentera le casque pendant environ deux heures. Une batterie externe permettra aux utilisateurs d'échanger une batterie et d'en charger une autre pour utiliser l'appareil plus longtemps.

Pour connecter la batterie au casque, Apple prévoit d'utiliser un câble de charge propriétaire avec une pointe ronde qui tourne pour se verrouiller dans le casque afin que le câble ne sorte pas pendant l'utilisation. Le câble lui-même se connectera à la batterie et il ne sera pas amovible.

Le câble qui relie le casque à la batterie ressemblera à une rondelle de chargement Apple Watch, et il se fixera à la tempe gauche du casque. Le casque comprendra également un câble USB-C à des fins de transfert de données.

Apple adopterait un adaptateur secteur de 96 W pour charger la batterie.

Le casque comportera plus d'une douzaine de caméras optiques pour suivre les mouvements des mains, cartographier l'environnement, capturer les traits du visage et les mouvements du corps et projeter des expériences visuelles. On dit que l'une des caractéristiques principales du casque est des avatars réalistes qui ont des traits faciaux précis capturés par les caméras incluses.

Chaque œil sera suivi par au moins une caméra, permettant au casque de montrer avec précision le regard de l'utilisateur sur un avatar. Avec un suivi oculaire précis, le casque pourra effectuer un rendu fovéal pour économiser de l'énergie en ne rendant que les images en pleine résolution directement là où l'utilisateur regarde.

Le suivi des yeux et des mains sera la principale méthode de contrôle du casque AR/VR, Apple utilisant des caméras pour surveiller les yeux et les mains. Le porteur pourra contrôler le casque en regardant un élément à l'écran pour le sélectionner, par exemple, puis en utilisant un geste de la main comme un pincement pour activer l'élément à l'écran.

Huit modules de caméra seraient utilisés pour des expériences de réalité augmentée transparentes pour l'utilisateur, tandis que six autres modules seraient utilisés pour la "biométrie innovante". Une caméra sera également disponible pour la détection environnementale. Les rumeurs suggèrent que le casque sera capable de cartographier les surfaces, les bords et les dimensions des pièces avec précision, en utilisant des scanners LiDAR à courte et longue portée pour le faire.

Pour la confidentialité et la sécurité, le casque AR/VR intégrera un scanner d'iris qui peut lire le motif de l'œil de l'utilisateur, permettant d'utiliser un scan de l'iris à la place d'un mot de passe et pour l'authentification du paiement.

Le balayage de l'iris sur le casque AR/VR s'apparentera à Face ID et Touch ID sur iPhone, iPad et Mac. Cela pourrait permettre à deux personnes d'utiliser le même casque, et c'est une fonctionnalité qui n'est pas disponible sur les casques concurrents comme le nouveau Quest Pro de Meta.

Il n'y aura pas de dispositif de contrôle portable pour le casque AR/VR, Apple s'appuyant plutôt sur les gestes de la main qui sont détectés par la myriade de caméras sur l'appareil.

La dactylographie, par exemple, se fera en utilisant une méthode "dans l'air" par des mouvements oculaires et des gestes de la main. Les utilisateurs pourront également coupler un iPhone pour utiliser le clavier de l'iPhone avec l'appareil, de la même manière qu'un iPhone peut être utilisé avec une Apple TV.

Deux processeurs M2 de niveau Mac seront inclus dans le casque AR/VR pour une puissance de calcul sans précédent dans un appareil portable, Apple utilisant les mêmes puces qui ont fait leurs débuts dans le MacBook Air. Les puces comprendront un SoC principal avec CPU, GPU, mémoire et processeur de signal d'image dédié.

Les puces sont fabriquées selon le processus de 5 nanomètres et ne seront pas fabriquées avec le processus de 3 nm qu'Apple prévoit d'utiliser pour les appareils qui arriveront plus tard en 2023. Le casque ne dépendra pas d'un iPhone ou d'un Mac pour la puissance de traitement, et il comportera une alimentation et un stockage indépendants.

En raison d'une latence inacceptable, Apple a créé son propre codec de streaming personnalisé pour permettre aux puces de communiquer, et le FAI dédié est capable de traduire les images déformées capturées par les caméras externes en une représentation vidéo fidèle de l'environnement de l'utilisateur avec une faible latence. Le casque comprendra également une puce H2 pour permettre au casque de former une connexion à latence ultra-faible avec les AirPods Pro de deuxième génération et les futurs modèles AirPods. Apple envisage même de rendre les AirPod obligatoires pour le casque pour la meilleure expérience audio, car les écouteurs tiers ne fonctionnent pas bien en raison de problèmes de latence. Il n'y a pas de prise casque 3,5 mm sur l'appareil.

Apple a terminé les travaux sur les SoC pour le casque AR/VR et optimisera la transmission de données sans fil, la compression et la décompression vidéo et l'efficacité énergétique pour une durée de vie maximale de la batterie, bien qu'ils n'aient pas de moteur neuronal comme certaines des autres puces d'Apple.

Apple appellera le logiciel qui s'exécute sur son casque AR/VR "xrOS", qui signifie "réalité étendue". La réalité étendue représente à la fois les fonctions de réalité augmentée et virtuelle que le casque prendra en charge.

Le nom a été confirmé par des sources internes d'Apple et Apple a déposé le xrOS par le biais d'une société écran cachée. Un dépôt de marque Apple pour "xrOS" a été trouvé en Nouvelle-Zélande, laissant entendre qu'Apple utilisera en effet le nom xrOS pour le système d'exploitation qui s'exécute sur le casque.

Apple a appelé en interne le logiciel du casque "Reality OS" ou "rOS" lorsqu'il était en développement, mais à l'approche du lancement, a décidé de mettre à jour le nom public vers le nom moins générique "xrOS".

Apple travaille sur une gamme d'applications pour le casque AR/VR et se concentrera sur le sport, le streaming de contenu vidéo, les jeux, le fitness, le bien-être et la collaboration. Apple crée un App Store pour le casque.

xrOS inclura des applications iOS telles que Safari, Photos, Messages, Maps, Apple TV+, Apple Music, Podcasts et Calendrier, ainsi qu'une application FaceTime personnalisée pour le casque.

Apple a récemment annoncé les applications Final Cut Pro et Logic Pro pour l'iPad, et ces applications pourraient également arriver sur le casque pour permettre aux créateurs de contenu audio et vidéo d'éditer directement sur le casque.

Apple prévoit d'adapter les applications iPad pour le casque, et les utilisateurs pourront accéder au contenu existant de l'App Store via l'interface 3D de l'appareil. Les applications conçues par Apple telles que Safari, Calendrier, Contacts, Accueil, Fichiers, Messages, Notes, Photos, Musique, Rappels et autres applications intégrées seront optimisées pour l'appareil. Plusieurs applications pourront être exécutées en même temps, et il y aura un aspect de géolocalisation pour permuter entre les applications lorsque l'utilisateur se trouve dans différentes pièces.

Une application Fitness + permettra aux utilisateurs de faire de l'exercice tout en regardant l'instructeur Fitness + dans un environnement de réalité virtuelle, et il y aura une application Santé pour guider les utilisateurs à travers des méditations avec des graphiques, des sons et des voix off.

Avec la poussée plus profonde d'Apple dans le sport, l'accent sera mis sur les expériences de visionnement immersives pour le contenu MLB et MLS, et il y aura une application TV dédiée pour regarder des vidéos dans des environnements de réalité virtuelle.

Apple s'associe à des sociétés comme Disney et Dolby pour le contenu vidéo, et met à jour les émissions et les films Apple TV + pour qu'ils fonctionnent avec l'appareil. On dit qu'Apple veut offrir aux utilisateurs l'expérience de regarder un écran géant dans un environnement unique comme le désert ou l'espace.

Il existe une expérience FaceTime dédiée qui permettra des discussions en tête-à-tête à l'aide d'avatars réalistes qui présentent le visage et le corps réels d'un utilisateur. Cette fonctionnalité est gourmande en processeur, c'est pourquoi elle est limitée aux discussions de personne à personne, les discussions à plusieurs personnes utilisant à la place des icônes moins détaillées comme Memoji.

Une application Camera pourra prendre des images des caméras du casque, et une version de Freeform sera adaptée à une interface 3D pour travailler sur des projets collaboratifs avec d'autres.

Apple a travaillé avec un certain nombre de développeurs de jeux pour les aider à mettre à jour leur contenu existant pour la réalité mixte, et Apple disposera également d'un ensemble d'outils robustes pour créer des expériences AR/VR.

Siri pourra être utilisé pour la saisie de texte, tout comme un clavier iPhone, iPad ou Mac. Apple travaille sur une fonction de frappe en l'air qui devrait être un peu rudimentaire au lancement, Apple devant apporter des améliorations notables au fil du temps.

Apple développe des outils logiciels qui permettront aux développeurs et aux clients de créer des applications de réalité augmentée pour le casque AR/VR.

Les clients peuvent être en mesure de créer et de publier des applications et des expériences AR à l'aide des commandes vocales Siri, même sans expérience de codage. Un rapport sur la fonctionnalité la compare à Minecraft ou Roblox, des jeux qui disposent d'outils permettant aux joueurs de créer leurs propres expériences.

Le casque AR/VR d'Apple n'aura pas besoin d'un iPhone pour fonctionner et il pourra être utilisé seul. Aucun iPhone n'est requis pour la configuration et les données peuvent être téléchargées via iCloud, mais il y aura une option pour coupler un iPhone lors de la configuration à des fins de transfert de données.

Un iPhone pourra également être connecté pour servir de clavier pour le casque si nécessaire, bien qu'un système de saisie basé sur les gestes soit inclus.

Le prochain casque de réalité mixte d'Apple offrira la prise en charge du WiFi 6E, qui est la dernière spécification WiFi. Apple prévoit de mettre en œuvre le WiFi 6E pour offrir une expérience immersive haut de gamme avec une connectivité sans fil solide. Le WiFi 6E présente tous les avantages du WiFi 6 mais ajoute un spectre de 6 GHz en plus des bandes 2,4 GHz et 5 GHz pour une bande passante accrue et moins d'interférences entre les appareils.

Le casque AR/VR d'Apple pourrait être confronté à un autre retard, car Apple est confronté à des problèmes de développement qui doivent être surmontés. Selon Bloomberg, Apple a repoussé à plusieurs reprises les plans de sortie du casque. Apple avait initialement prévu de lancer le casque en 2021 et de l'expédier en 2022, puis de le retarder jusqu'à la WWDC de 2022, puis de retarder encore l'appareil jusqu'en 2023.

Au moins une des puces conçues pour le casque est à égalité avec le M1 Pro des derniers modèles de MacBook Pro, et les exigences thermiques de la puce posent des problèmes de dissipation thermique. Avec le retard, Apple prévoit de se concentrer sur le casque lors de la conférence mondiale des développeurs 2023. Apple encouragera les développeurs à commencer à créer des applications de réalité augmentée et virtuelle pour l'App Store "rOS".

Apple travaille depuis longtemps sur les technologies de réalité augmentée et virtuelle, et l'entreprise dispose d'une énorme équipe d'employés qui développent des produits AR/VR avec port de tête. On pense qu'à l'avenir, les appareils AR/VR remplaceront l'iPhone, ce qui pourrait arriver dans 10 ans.

L'iPhone est le produit le plus rentable et le plus important d'Apple, de sorte que la technologie des casques AR/VR remplacera l'iPhone nous donne une idée de la clé de l'avenir d'Apple.

Les rumeurs suggèrent que la conception originale du casque comprenait un ventilateur et des processeurs puissants, mais l'appareil était trop lourd. Les premières conceptions auraient également nécessité que le casque utilise la puissance de traitement d'un iPhone ou d'un Mac connecté, mais Apple a modifié la conception et ajouté des puces haut de gamme au casque lui-même.

Les premiers prototypes ont été décrits comme ayant un écran 8K pour chaque œil, et il y avait une rumeur selon laquelle le casque se connecterait à un "boîtier dédié" en utilisant une technologie sans fil à courte portée à haute vitesse appelée 60GHz WiGig. La boîte serait alimentée par un processeur Apple personnalisé de 5 nanomètres qui est "plus puissant que tout ce qui est actuellement disponible". La boîte ressemble apparemment à une tour de PC, mais ce "ne sera pas un véritable ordinateur Mac".

Des désaccords internes ont façonné et modifié les objectifs d'Apple pour son casque AR au fil du temps, et des rumeurs suggèrent qu'Apple n'a pas opté pour la conception de la "boîte" parce que l'ancien designer Apple Jony Ive ne voulait pas vendre un appareil qui nécessiterait un ajout séparé et stationnaire pour fonctionnalité complète.

Je voulais un casque avec une technologie moins puissante qui pourrait être intégrée directement dans l'appareil, mais le chef de l'équipe AR/VR, Mike Rockwell, voulait l'appareil le plus puissant. C'était une impasse qui a duré des mois, et Tim Cook s'est finalement rangé du côté d'Ive, changeant la direction de la conception du casque d'Apple.

Certains employés d'Apple seraient préoccupés par l'utilité du casque AR/VR et son prix élevé. On craint qu'il ne s'agisse d'une "solution à la recherche d'un problème" avec certains employés quittant les projets en raison de doutes sur son potentiel.

Selon un leaker, un testeur au sein d'Apple qui a utilisé le casque a déclaré qu'Apple avait fait un énorme bond en avant dans le développement ces derniers mois et qu'il avait été "époustouflé" par les capacités du casque. "Le pas qu'ils ont fait depuis [la fin de l'année dernière] est géant", a déclaré la source. "J'étais tellement sceptique; maintenant je suis époustouflé par une sorte de 'prenez mon argent'."

Au sujet de la réalité augmentée/réalité virtuelle, Tim Cook a récemment déclaré que cela pourrait "améliorer considérablement la communication des gens et pourrait" donner aux gens les moyens de réaliser des choses qu'ils ne pouvaient pas réaliser auparavant. " Il a également suggéré que ce serait bien pour collaborer et proposer d'idées et que cela pourrait accélérer la créativité.

Cook a déclaré qu'il y avait eu "beaucoup de sceptiques" avec tout ce qu'Apple avait fait, et il a laissé entendre qu'Apple "contrôlerait la technologie principale" à l'avenir avec le casque AR/VR.

Apple devrait présenter le casque lors de la conférence mondiale des développeurs, le proposant à la vente plus tard dans l'année. L'événement principal de la WWDC 2023 de cette année devrait avoir lieu le lundi 5 juin.

Nous ne nous attendons pas à ce que le casque soit disponible à la vente avant la fin de 2023. Les rumeurs suggèrent qu'Apple commencera la production de masse de l'appareil en octobre, les unités devant être disponibles à temps pour les vacances de décembre.

Le prix du casque pourrait commencer aux alentours de 3 000 $, ce qui le rendra beaucoup plus cher qu'un iPhone. Pour commencer, il ne s'adressera pas aux consommateurs en général, mais se positionnera plutôt comme un appareil pour les développeurs, les créateurs de contenu et les professionnels.

Le casque AR / VR d'Apple coûterait environ 1 500 $ à fabriquer seul, et les coûts des composants se traduiront par un prix de l'appareil plus élevé. Les écrans microOLED sont le composant le plus cher à l'intérieur du casque AR/VR à environ 280 $ à 320 $. Les modules de caméra coûtent environ 160 $, et le processeur principal et le processeur de signal d'image coûtent environ 120 $ à 140 $.

Apple prévoit de vendre un seul casque par jour et par magasin de détail, et il a déclaré à ses fournisseurs qu'il s'attend à des ventes de sept à 10 millions d'unités au cours de la première année de disponibilité.

Apple travaille déjà sur une version du casque AR/VR dont le prix sera plus abordable. Le premier casque AR/VR coûtera environ 3 000 dollars, mais Apple souhaite développer un modèle dont le prix est plus proche de celui de l'iPhone.

Les ingénieurs d'Apple prévoient d'utiliser des composants plus abordables pour faire baisser le prix, mais le casque moins cher aura la même fonctionnalité générale de "réalité mixte" AR/VR que le lancement du casque en 2023. Les puces de l'appareil seront à égalité avec l'iPhone plutôt que les puces de niveau Mac utilisées dans le premier casque AR/VR, et Apple peut également utiliser des écrans internes de résolution inférieure et des matériaux moins chers.

À l'heure actuelle, le développement du casque plus abordable en est à ses débuts et Apple n'a pas créé de prototype fonctionnel. Un tel casque pourrait être lancé en 2025, et Foxconn y travaille déjà.

Selon l'analyste Apple Ming-Chi Kuo, le casque AR/VR de deuxième génération sera disponible dans les modèles haut de gamme et bas de gamme, similaires à l'iPhone. Apple devrait proposer un modèle plus abordable et un modèle qui fait suite au modèle de première génération haut de gamme et plus cher.

Le travail d'Apple sur la réalité virtuelle et augmentée remonte à plusieurs années, mais les rumeurs ont repris à partir de mars 2015 lorsque la nouvelle a annoncé qu'Apple avait une petite équipe de personnes travaillant sur la réalité augmentée. En 2015 et au début de 2016, l'équipe d'Apple s'est agrandie au fur et à mesure que l'entreprise embauchait des employés experts en technologie AR/VR et réalisait de multiples acquisitions connexes.

L'équipe AR/VR d'Apple comprend plusieurs centaines d'ingénieurs d'Apple, qui ont tous une expertise en réalité virtuelle et augmentée. L'équipe travaille dans des parcs de bureaux à Cupertino et à Sunnyvale, et Apple explore plusieurs projets matériels et logiciels sous le nom de code "T288".

L'équipe de réalité augmentée d'Apple combine "les forces de ses vétérans du matériel et des logiciels" et est dirigée par Mike Rockwell, qui venait de Dolby. D'anciens employés d'entreprises comme Oculus, Amazon (de l'équipe VR), Lytro, Microsoft, la société d'animation 3D Weta Digital et Lucasfilm travaillent sur la réalité augmentée chez Apple.

L'ancien chef de l'ingénierie matérielle d'Apple, Dan Riccio, est passé en janvier 2021 à un nouveau rôle où il supervise le travail d'Apple sur un casque AR/VR. Le projet a fait face à des défis de développement, et les dirigeants d'Apple pensent que la concentration de Riccio peut aider.

La responsable des logiciels Apple, Kim Vorrath, fait également partie de l'équipe de réalité augmentée, et elle a été décrite comme une "force puissante" s'assurant que les employés respectent les délais tout en détectant les bogues.

Apple a embauché un certain nombre d'experts notables en AR / VR et en IA, notamment le professeur d'informatique Doug Bowman, l'ancien ingénieur de Magic Leap Zeyu Li, l'ancien chercheur Oculus Yury Petrov, l'expert AR et ancien employé de la NASA Jeff Norris, l'expert en applications VR Sterling Crispin, et le fabricant de caméras VR Arthur van Hoff.

De nombreux membres de l'équipe AR/VR d'Apple ont peut-être rejoint l'entreprise par le biais d'acquisitions. Depuis 2015, Apple a acheté plusieurs sociétés qui ont créé des produits liés à l'AR/VR, et certaines de ses acquisitions AR/VR remontent même à plusieurs années.

Holographie d'Akonia

Apple a racheté en août 2018 Akonia Holographics, une startup qui fabrique des verres pour lunettes de réalité augmentée. Akonia Holographics annonce les "premières optiques holographiques réfléchissantes et guides d'ondes en volume disponibles dans le commerce pour les éléments d'affichage transparents dans les lunettes intelligentes".

On dit que les écrans qu'il fabrique utilisent la technologie HoloMirror de la société pour "des performances ultra-claires et pleines de couleurs" afin de permettre "les écrans portés sur la tête les plus fins et les plus légers au monde".

Vrvâna

En novembre 2017, Apple a acheté Vrvana, une société qui a développé un casque de réalité mixte appelé Totem. Totem, qui n'a jamais été rendu public, a été conçu pour combiner les technologies de réalité augmentée et virtuelle dans un seul casque, fusionnant des capacités VR complètes avec des caméras pass-through pour activer les fonctionnalités de réalité augmentée sur écran.

Totem a essentiellement utilisé un ensemble de caméras pour projeter des images du monde réel sur son écran OLED 1440p intégré, une approche quelque peu unique qui le distingue des produits concurrents comme HoloLens de Microsoft, qui utilise un écran transparent pour combiner la réalité virtuelle et augmentée. Apple pourrait envisager d'utiliser une partie de la technologie de Totem dans un futur produit.

PrimeSense

Apple a acheté la société de détection corporelle 3D basée en Israël PrimeSense en 2013, suscitant des spéculations selon lesquelles des capacités basées sur le mouvement seraient implémentées dans l'Apple TV. La technologie de profondeur 3D et les capacités de détection de mouvement de PrimeSense ont été utilisées dans la plate-forme Kinect initiale de Microsoft.

PrimeSense a utilisé la lumière infrarouge proche pour projeter une lumière invisible dans une pièce ou une scène, qui est ensuite lue par un capteur d'image CMOS pour créer une image virtuelle d'un objet ou d'une personne. Cela permet des commandes basées sur le mouvement pour les interfaces logicielles, mais il est également capable de faire des choses comme mesurer des objets virtuels et fournir des distances ou des tailles relatives, utiles pour les applications de réalité augmentée comme les jeux interactifs, la cartographie intérieure, etc. La technologie PrimeSense peut également créer des scans à 360 degrés très précis de personnes et d'objets, potentiellement utiles pour les applications de réalité virtuelle.

Metaio

Apple a acquis la startup de réalité augmentée Metaio en mai 2015. Metaio a créé un produit appelé Metaio Creator, qui pourrait être utilisé pour créer des scénarios de réalité augmentée en quelques minutes seulement. Avant d'être acheté par Apple, le logiciel de Metaio était utilisé par des entreprises comme Ferrari, qui a créé une salle d'exposition en réalité augmentée.

La technologie Metaio a également été utilisée à Berlin pour permettre aux personnes visitant le site du mur de Berlin d'utiliser un smartphone ou une tablette pour voir à quoi ressemblait la zone lorsque le mur de Berlin était encore debout. La technologie de Metaio est une technologie qui pourrait potentiellement être utilisée pour implémenter des capacités de réalité augmentée dans des applications Apple telles que Maps.

Changement de visage

Apple a acquis Faceshift en août 2015, marquant son deuxième achat de réalité augmentée en 2015. Avant d'être acquis par Apple, Faceshift a travaillé avec des studios de jeux et d'animation sur une technologie conçue pour capturer rapidement et avec précision les expressions faciales à l'aide de capteurs 3D, les transformant en visages animés dans temps réel. Faceshift travaillait également sur un produit orienté consommateur qui permettrait aux gens de transformer leurs visages en visages de dessins animés ou de monstres en temps réel dans Skype.

La technologie de Faceshift a un large éventail de cas d'utilisation possibles, et Apple semble utiliser la fonctionnalité pour alimenter Animoji dans les iPhones équipés du système de caméra TrueDepth orienté vers l'avant.

émotionnel

Emotient, une société qui a créé des outils d'analyse de l'expression faciale, a été acquise par Apple en janvier 2016. La technologie d'Emotient utilise l'intelligence artificielle et l'apprentissage automatique pour lire l'émotion humaine, des fonctionnalités qui ont été utilisées dans le monde réel par les annonceurs pour déterminer les réactions émotionnelles à annonces.

Il y a des dizaines de choses qu'Apple pourrait faire avec Emotient, allant d'une meilleure détection faciale dans l'application Photos à l'analyse des sentiments des clients dans les magasins de détail Apple au déverrouillage des appareils iOS, mais il a également des utilisations potentielles AR/VR. Comme Faceshift, la technologie d'Emotient pourrait être utilisée pour analyser et transformer les expressions faciales pour la création d'avatars virtuels, utiles à des fins de médias sociaux et de jeux. La technologie émotive a probablement été utilisée pour Animoji.

Survol des médias

Rachetée début 2016, Flyby Media est une autre société qui a travaillé sur la réalité augmentée. Flyby a créé une application qui fonctionnait avec le smartphone "Project Tango" équipé d'un capteur 3D de Google, permettant aux messages d'être attachés à des objets du monde réel et visualisés par d'autres avec l'un des appareils de Google.

Par exemple, une personne pourrait "scanner" un point de repère comme le Golden Gate Bridge de San Francisco et y écrire un message. Une personne visitant le pont plus tard pourrait alors scanner le pont avec l'application Flyby pour voir le message. L'application Flyby a probablement attiré l'attention d'Apple car elle était capable de reconnaître et de comprendre différents objets scannés, une technologie qui pourrait être utilisée par Apple de plusieurs façons dans des applications comme Photos et Maps.

Vrai visage

En février 2017, Apple a acheté RealFace, une société de cybersécurité et d'apprentissage automatique spécialisée dans la technologie de reconnaissance faciale, qui pourrait potentiellement être utilisée pour les futures fonctionnalités de réalité augmentée.

RealFace a développé une technologie de reconnaissance faciale intégrant l'intelligence artificielle pour une reconnaissance faciale sans friction. La technologie RealFace a probablement été utilisée dans l'iPhone X, le premier smartphone d'Apple doté de capacités de reconnaissance faciale sous la forme de Face ID.

SuivantVR

En mai 2020, Apple a acquis NextVR, une société basée en Californie qui combinait la réalité virtuelle avec le sport, la musique et le divertissement, offrant des expériences VR pour regarder des événements en direct sur des casques VR de PlayStation, HTC, Oculus, Google, Microsoft et d'autres fabricants.

Les espaces

En août 2020, Apple a acheté la startup VR Spaces, une entreprise qui a conçu des expériences de réalité virtuelle que les gens pourraient vivre dans des centres commerciaux et d'autres endroits, comme "Terminator Salvation : Fight for the Future". Spaces a également créé des expériences de réalité virtuelle pour des applications de communication vidéo comme Zoom, ce qu'Apple pourrait potentiellement intégrer dans un futur produit AR/VR.

Soupape

Selon le site taïwanais DigiTimes, Apple s'associe au développeur de jeux Valve pour son prétendu casque AR. Valve a sorti son premier casque VR, Valve Index, en avril 2019.

Valve a précédemment travaillé avec Apple pour apporter la prise en charge native des casques VR à macOS High Sierra, en tirant parti de la prise en charge eGPU avec une version Mac du logiciel SteamVR.

Apple a déposé plusieurs brevets qui concernent directement un casque de réalité virtuelle, tous datant de plusieurs années. Bien que la technologie ait probablement progressé quelque peu au-delà de ces derniers, ils offrent un aperçu intéressant des idées qu'Apple a explorées dans le passé.

Une demande de brevet de 2008 couvrait un "système d'affichage personnel" assez basique conçu pour imiter l'expérience d'être dans une salle de cinéma lorsque vous regardez une vidéo.

Un deuxième brevet décrivait un "système d'affichage monté sur la tête" avec un "moteur laser" qui projetait des images sur un écran en verre transparent porté sur les yeux, semblable à des lunettes. Dans cette configuration, le casque est connecté à un lecteur vidéo portable tel qu'un iPod pour fournir une puissance de traitement.

Un troisième brevet initialement déposé en 2008 était de conception similaire, couvrant un casque vidéo semblable à des lunettes conçu pour permettre aux utilisateurs de regarder des films et d'autres contenus. Il décrivait deux modules optiques réglables alignés avec l'œil de l'utilisateur, qui pourraient fournir une correction de la vision et permettre la visualisation de contenu 3D. Apple a décrit cela comme offrant une expérience de visionnage multimédia personnelle.

Un quatrième brevet de 2008 couvrait un cadre de casque vidéo similaire aux Google Glass, qui permettrait à un utilisateur de glisser son iPhone ou son iPod dans le casque pour fournir de la vidéo. Le casque a été décrit comme un produit de réalité augmentée qui permettrait aux utilisateurs de faire des choses comme regarder une vidéo ou consulter leurs e-mails tout en gardant un œil sur leur environnement.

Au-delà des brevets liés aux casques, Apple a également déposé des brevets décrivant d'autres façons dont les fonctionnalités de réalité virtuelle et augmentée pourraient être implémentées dans ses appareils. Une demande de brevet de 2009, par exemple, couvrait des écrans 3D équipés d'une caméra qui changeraient de perspective en fonction de la position relative de l'utilisateur.

Un tel affichage détecterait le mouvement de la tête, permettant à un utilisateur de déplacer sa tête pour regarder une image 3D sous différents angles tout en incorporant des éléments de l'environnement de l'utilisateur.

Les brevets de 2010 et 2012 décrivaient l'utilisation de capteurs de mouvement pour créer une interface 3D pour les appareils iOS utilisant des techniques de réalité augmentée. Apple a décrit l'interface comme une "salle virtuelle" naviguée en manipulant l'orientation de l'appareil via des capteurs intégrés ou via des gestes.

En 2011, Apple a déposé un brevet pour une fonctionnalité de réalité augmentée dans l'application Maps liée à la cartographie de la distance aux points de repère notables. Avec la caméra, un utilisateur peut regarder la zone qui l'entoure et obtenir des estimations en temps réel de la distance entre deux points ainsi que des superpositions d'informations pertinentes.

Un brevet déposé en 2014 et accordé en 2017 couvre un système de réalité augmentée mobile capable de détecter des objets dans l'environnement et de les superposer avec des informations virtuelles grâce à l'utilisation de caméras, d'un écran et d'une interface utilisateur. Apple décrit le système comme idéal pour un visiocasque, mais il montre également qu'il est utilisé dans les smartphones.

Apple travaille sur une technologie de réalité virtuelle qui pourrait être utilisée dans les véhicules autonomes. Plusieurs brevets Apple décrivent un système qui comprend un système de réalité virtuelle embarqué avec un casque VR porté pour fournir des divertissements et atténuer le mal des transports dû à des tâches telles que lire et travailler pendant qu'un véhicule est en mouvement.

Une demande de brevet de juillet 2020 couvre les méthodes de saisie possibles avec les lunettes Apple, décrivant un système dans lequel les lunettes utilisent la détection de chaleur infrarouge pour détecter quand quelqu'un touche un objet du monde réel, permettant aux lunettes de projeter ensuite des commandes sur une surface du monde réel.

Avec cette méthode, les lunettes Apple pourraient projeter dans l'interface de contrôle AR sur n'importe quel objet réel dans le monde réel pour un effet de superposition de réalité mixte.

Apple a déposé en février 2021 un certain nombre de brevets liés à son travail sur un casque de réalité mixte supposé, les brevets couvrant les éléments de conception, le réglage de l'objectif, la technologie de suivi oculaire et les logiciels.

Apple a développé plusieurs méthodes pour rendre un casque plus confortable à porter tout en le maintenant en sécurité et en bloquant la lumière. De plus, il existe un système de réglage détaillé des lentilles qui utilise un fluide pour déplacer les lentilles de manière transparente afin de personnaliser l'ajustement pour chaque utilisateur.

Apple détaille également un système de suivi oculaire qui utilise la lumière infrarouge pour détecter la position, et il existe également un brevet sur la façon dont les documents pourraient être édités dans un espace 3D virtuel à l'aide du casque et de la détection des gestes.

Apple a breveté des systèmes d'enregistrement vidéo à partir d'un casque, où des capteurs de suivi du regard intégrés pourraient fournir une indication de l'endroit où une personne regarde actuellement, ce qui pourrait diriger une caméra intégrée pour enregistrer la scène où les yeux de l'utilisateur sont positionnés, au lieu de simplement enregistrer ce qui se trouve devant l'utilisateur.

Une autre demande de brevet déposée en février 2021 a montré qu'Apple recherchait un appareil monté sur le doigt avec un ensemble de capteurs et un retour haptique à utiliser comme dispositif de contrôle pour un casque à réalité mixte.

Le dispositif de commande a une forme qui permet aux utilisateurs de sentir naturellement les objets dans leur environnement et peut déterminer avec précision la manière dont l'utilisateur déplace son doigt et interagit avec les surfaces. On dit que le système est si précis qu'il peut détecter la force avec laquelle un utilisateur appuie sur une surface et la direction exacte de cette force, fournissant un retour haptique en réponse.

Couplé à un casque AR ou VR, Apple affirme que cet appareil monté sur le doigt pourrait "fournir à un utilisateur la sensation d'interagir sur un clavier physique lorsque l'utilisateur tape du doigt sur une surface de table" ou "permettre à un utilisateur de fournir un joystick -type input" pour les jeux utilisant uniquement le mouvement du bout des doigts de l'utilisateur.

L'analyste d'Apple Ming-Chi Kuo pense qu'Apple pourrait planifier des "lentilles de contact" de réalité augmentée qui pourraient être lancées dans les années 2030. Selon Kuo, les lentilles feront passer l'électronique de l'ère de "l'informatique visible" à "l'informatique invisible". Il n'y a "aucune visibilité" pour les lentilles de contact à l'heure actuelle, et ce n'est pas un produit garanti qu'Apple développera.

Apple développait également des "lunettes Apple" de réalité augmentée qui devaient être lancées environ un an après le casque, mais le projet a été suspendu afin que l'entreprise puisse se concentrer sur une version moins chère du casque AR/VR. Les lunettes Apple devraient être lancées en 2027 au plus tôt.

Une future version du casque AR / VR pourrait avoir des paramètres d'accessibilité conçus pour aider les personnes souffrant de maladies oculaires et de problèmes visuels.