Partenariat entre Meta et BMW pour la création d’une expérience en réalité virtuelle à l’intérieur d’un véhicule

Le propriétaire de Facebook et d’Instagram, Meta, et le géant automobile allemand BMW ont révélé la progression de leur projet d’exploration conjointe de la façon dont la technologie de réalité augmentée et virtuelle peut fonctionner à l’intérieur d’un véhicule en mouvement rapide.

Meta continue de suivre sa voie dans le métaverse, selon le communiqué de BMW.

Le BMW Group Technology Office USA et Meta’s Reality Labs Research ont démontré, “pour la première fois, la capacité d’afficher avec précision du contenu stable de réalité virtuelle (VR) et de réalité mixte (MR) aux passagers d’une voiture en mouvement rapide, même lors de virages, de franchissement de dos d’âne et d’accélération.”

L’objectif de cette recherche conjointe, annoncée en 2021, est d’explorer la manière dont la réalité augmentée et la réalité virtuelle pourraient être intégrées dans les véhicules intelligents à l’avenir afin d’améliorer “l’expérience des passagers”, indique le communiqué de Meta.

Et ce projet n’est pas seulement destiné aux voitures familiales. Selon Meta,

“Si nous nous y prenons correctement, cette technologie pourrait révolutionner les voyages en voiture, en train, en avion et au-delà, débloquant de nouvelles formes de communication mains libres, de divertissement et d’utilité – nous donnant bien plus de valeur que les écrans et les instruments que nous avons l’habitude de voir dans les véhicules d’aujourd’hui.”

Claus Dorrer, responsable du BMW Group Technology Office USA à Mountain View, a qualifié la recherche de « prometteuse » et a déclaré :

“Il est trop tôt pour dire exactement comment ou quand cette technologie arrivera entre les mains des clients, mais nous envisageons un certain nombre de cas d’utilisation potentiels pour les appareils XR dans les véhicules – de l’aide au conducteur à localiser sa voiture dans un parking bondé à la possibilité de l’alerter sur les dangers de la route ou à l’affichage d’informations importantes sur l’état du véhicule.”

Le problème se situe au niveau du mouvement

Le problème auquel les entreprises étaient confrontées était que les capteurs, les capteurs de mouvement inertiel (IMU) et les caméras à l’intérieur des casques VR tentent d’estimer l’emplacement et le mouvement du casque, et donc de son utilisateur.

Cependant, dans un véhicule en mouvement, ces capteurs sont confrontés à une interférence. Les capteurs de mouvement du casque pensent qu’il bouge, mais ses caméras pensent qu’il est immobile lorsqu’ils regardent l’intérieur de la voiture.

Mais les deux sociétés ont réalisé un “énorme exploit”, expliquant que,

“Pour résoudre ce problème, nous avons [incorporé] les données IMU du réseau de capteurs d’une voiture BMW en temps réel dans le système de suivi de nos lunettes de recherche du Projet Aria. Ces informations supplémentaires permettent au système de calculer l’emplacement des lunettes par rapport à la voiture.”

Le transfert du système de suivi sur un casque Meta Quest Pro a permis à l’équipe d’ancrer avec précision des objets virtuels sur une voiture en mouvement à l’aide d’un jumeau numérique de cette voiture.

De cette façon, l’équipe a déclaré qu’elle était en mesure de “faire la démonstration d’expériences passagers fascinantes en réalité virtuelle et mixte”.

La prochaine étape, ont déclaré les deux sociétés, consistera à ajouter l’emplacement de la voiture par rapport à l’environnement réel.

“L’accès au système de positionnement précis 6DOF de la voiture pourrait nous permettre de rendre du contenu virtuel verrouillé dans l’environnement extérieur du véhicule, comme l’identification de points de repère et d’autres points d’intérêt.”

Meta a noté qu’il continuera à travailler avec BMW et a ajouté que cette fonctionnalité en cours de développement serait “inestimable” pour les lunettes AR et les assistants d’IA personnalisés  à venir.