Le fonctionnement de la réalité augmentée expliqué

Le fonctionnement de la réalité augmentée expliqué

Depuis quelques années, la réalité augmentée émerge vraiment et prend une part de plus en plus importante dans notre quotidien. Grâce à l’énorme succès de Pokémon Go en 2016, elle s’est fait connaître du grand public. Il est désormais difficile d’y passer à côté. Elle s’est tellement démocratisée qu’on peut la retrouver partout. Que cela soit pour nous aider à monter un meuble ou alors pour guider les malvoyants.

Le fonctionnement de la réalité augmentée expliqué

Cependant, si nous vous disions que la réalité augmentée a été créée dans les années 60 et qu’elle existait bien avant Pokémon G. Est-ce que vous nous croiriez ? Non, mais c’est pourtant le cas ! Avant de revenir sur les différentes étapes historiques et sur les utilisations de l’AR aujourd’hui. Retour dans un premier temps sur le fonctionnement de la réalité augmentée.

Qu’est ce que la réalité augmentée ?

La réalité augmentée est une technologie visant à inclure des informations en temps réel, informations superposées à la réalité. On parle de réalité « augmentée » car la réalité se trouve enrichie d’informations virtuelles (objets, images, texte…) et ce, de façon interactive. Elle est à distinguer de la réalité virtuelle, qui immerge l’utilisateur dans un monde virtuel avec lequel il peut interagir. La réalité virtuelle est une technologie de simulation qui s’appuie sur le virtuel, alors que la réalité augmentée s’appuie elle sur le réel.

Il y a bien une interactivité avec cette technologie car l’utilisateur peut accéder à plus de détails s’il active les informations qui s’affichent devant lui. De plus, s’il vient à bouger, le logiciel va le comprendre et va afficher l’information associée à sa nouvelle position. Il est également possible de communiquer avec la réalité augmentée via des dispositifs comme des gants haptiques, ce qui renforce l’immersion de l’utilisateur. Le but final de la réalité augmentée est de stimuler nos 5 sens, pas seulement la vue ou l’ouïe.

réalité augmentée

Comment cela fonctionne ?

Pour que la réalité augmentée puisse fonctionner, elle nécessite trois éléments : une caméra de capture (le plus souvent un appareil photo), un système d’exploitation et un écran pour diffuser les informations. De plus, le système peut utiliser un système de géolocalisation. Pour afficher des données supplémentaires en fonction de la position de l’utilisateur.

L’affichage des éléments en AR se fait grâce à un dispositif spécialement conçu pour l’occasion (par exemple un casque comme le Hololens de Microsoft, les Google Glass ou un affichage tête haute sur les pare-brise de certaines voitures). Ou bien à l’aide d’une application pour smartphone.

Les caméras situées sur les lunettes ou le casque vont d’abord capturer l’environnement où se trouve l’utilisateur. Ensuite, le logiciel contenu dans les lunettes va analyser cet environnement et afficher l’information adéquate sur l’écran des lunettes. Toute l’opération se fait très rapidement, et en temps réel.

Pour l’application smartphone, le procédé est le même, à la différence que l’œil ne voit pas directement l’environnement amélioré. L’œil de l’utilisateur voit la scène directement sur l’écran du smartphone ou de la tablette. L’image réelle et les informations virtuelles sont superposées de manière simultanée sur l’écran. Pour le pare-brise du véhicule, c’est un petit projecteur qui va afficher les informations sur un miroir semi-transparent et ainsi permettra au conducteur de surveiller plus facilement des informations comme la vitesse ou la direction à prendre tout en gardant un oeil sur la route.

réalité augmentée

Un exemple d’affichage tête-haute dans une voiture

Comment créer une application pour la réalité augmentée ?

Première étape, filmer la scène, l’endroit où l’on veut incruster nos éléments en réalité augmentée. Une fois que les images sont dans la boîte. Il faut les traiter à l’aide d’un logiciel spécialisé dans la réalité augmentée. Le développeur va découper la zone de travail pour définir avec précision l’endroit où les objets virtuels vont s’afficher. Dans le cadre de la réalité augmentée, le logiciel va analyser les images et calculer en temps réel la position de la caméra par rapport à un objet en 3 dimensions.

On doit aussi délimiter les contours pour éviter que l’objet n’apparaisse ailleurs. Ainsi que la distance entre la zone de travail et la caméra. Une fois que l’on a déterminé l’angle et la perspective, on intègre les éléments virtuels interagissant avec l’environnement réel.

Placer les marqueurs

Pour intégrer les éléments virtuels dans un environnement réel, il est nécessaire d’utiliser des marqueurs. Les marqueurs sont des éléments qui fonctionnent à la manière d’un QR Code : quand on passe notre smartphone devant un QR Code, il nous affiche un élément en particulier suivant ce que le développeur lui a demandé d’afficher.

Le procédé est le même avec les marqueurs : le développeur va ordonner aux lunettes ou au smartphone d’afficher une information (qui peut être une image, un texte…) quand la caméra de l’utilisateur passera dans une zone précise ou des coordonnées GPS définies au préalable (si l’application utilise la géolocalisation). Il faut donc pour cela définir cette zone dans le logiciel et faire correspondre le symbole qui va déclencher l’apparition de l’objet ou de l’information en fonction de la position et de l’orientation de l’utilisateur.

On utilise les marqueurs car les logiciels de réalité augmentée les analysent plus rapidement qu’une image : il y a plus d’éléments à analyser sur une image que sur un marqueur. Cependant, avec la démocratisation de kits de développement comme l’ARKit d’Apple ou l’ARCore de Google, les marqueurs sont voués à disparaître. En effet, ces kits comprendront des capteurs très complets permettant de simuler une pièce virtuelle en intégralité et de se déplacer à l’intérieur. Il sera désormais plus facile de créer son application AR avec ces outils.

réalité augmentée

Pokémon Go dans un supermarché

Le rendu final

Une fois que tout est en place, il ne reste plus qu’à doter l’utilisateur d’un dispositif permettant de lire la réalité augmentée. Toutefois, un problème peut subsister : la localisation de l’élément et l’alignement de la caméra quand la tête ou le smartphone bouge. C’est pour cela que les casques et les différents smartphones embarquent des capteurs pour calculer la position exacte et afficher l’information malgré la rotation comme :

  • un gyromètre, qui mesure des changements dans l’orientation (mouvement angulaires) ou des changements de vitesse de rotation
  • un magnétomètre, mesurant les champs magnétiques et agissant comme une boussole
  • un accéléromètre, un capteur mesurant les accélérations, les changements de vitesse et de position (permet de savoir quand l’appareil se déplace)

Si la réalité augmentée a pris un tel essor dernièrement, c’est grâce à la démocratisation des smartphones qui embarquent toutes les caractéristiques requises pour faire fonctionner l’AR, à savoir une caméra, un système d’exploitation et un écran pour projeter la réalité augmentée. De plus, le développement des applications n’a jamais été aussi facile, ce qui implique un coût relativement faible.

Depuis quand la réalité augmentée existe-t-elle ?

La réalité augmentée, cela ne date pas d’hier. Pour retrouver la première trace de l’AR dans l’histoire, il faut remonter jusqu’en 1968 et les travaux de l’ingénieur du MIT Ivan Sutherland, qui avaient débouché sur le casque « Épée de Damoclès ». Dans le casque, deux lentilles, reliées à un ordinateur par un bras articulé. Le père de la réalité augmentée avait conçu avec son équipe un dispositif qui affichait un cube en 3D à travers des lentilles. L’ordinateur adaptait la vue en fonction des mouvements de tête de l’utilisateur.

Les premiers affichages tête haute datent des années 1980. Et ont été développés principalement pour le secteur de la Défense. A noter qu’au tout début, l’AR servait à but expérimental et professionnel. La NASA a développé un casque, qui fut le précurseur de l’Hololens de chez Microsoft ou du Meta de chez Metavision. Ce casque permettait aux opérateurs d’ajouter une surcouche d’informations sur des éléments réels.

Pour voir apparaître pour la première fois le terme « réalité augmentée ». Il a fallu attendre les années 1990. Deux salariés de Boeing, Tom Caudell et David Mizell, ont développé un logiciel pour les employés travaillant sur les chaînes de montage. Le premier « vrai » dispositif d’AR est sorti en 1994 sous la houlette de Rekimoto et Takashi, deux scientifiques chez Sony. Son nom ? NaviCam, un logiciel capable de reconnaître des marqueurs. Le premier dispositif de réalité augmentée portable est quant à lui sorti en 1997 avec la touring machine conçue par Steve Feiner.

réalité augmentée

Le premier casque de réalité augmentée : l’Épée de Damoclès

Quelles sont les différentes applications de réalité augmentée ?

Aujourd’hui, on peut faire la différence entre 3 catégories d’applications de la réalité augmentée. Tout d’abord, les applications de visualisation 3D en réalité augmentée. Elles servent à placer des modèles ou des éléments en 3D à l’échelle pour se rendre compte du résultat final dans un environnement.

Les secteurs de la vente ou encore de l’architecture utilisent principalement ces applications. Notamment pour casser le frein à l’achat dû à l’absence de projection. On peut citer comme exemple l’application IKEA qui permet de placer des meubles virtuels dans son environnement pour se rendre compte du rendu final avant de passer commande.

Deuxièmement, les applications qui diffusent des informations à l’aide de votre caméra. Contrairement au cas précédent qui affiche des éléments en 3D, ces applications vont enrichir le flux de la caméra en diffusant des informations contextuelles, en superposition de ce que l’utilisateur voit.

On peut retrouver ces applications dans le secteur du tourisme pour afficher des informations supplémentaires sur les monuments. Ou encore dans le secteur de la construction et de l’industrie, avec le casque de Daqri. Par exemple pour afficher des détails techniques d’un bâtiment pour les architectes ou les ouvriers comme les distances, les matériaux utilisés, l’avancement du chantier etc… On peut aussi les retrouver dans le domaine de la navigation. Comme l’application Métro Paris, qui permet de géolocaliser l’utilisateur et le guider vers la station de métro la proche.

Enfin, on peut citer les jeux en réalité augmentée, qui visent à créer une expérience encore plus immersive. Contrairement à la réalité virtuelle, ces jeux auront un lien avec la réalité. On peut citer par exemple des jeux comme Pokémon Go, Ingress ou AR Defender 2, qui utilisent l’environnement de l’utilisateur pour fonctionner et afficher du contenu personnalisé en fonction de sa position.

réalité augmentée

Et vous, quelles applications de réalité augmentée utilisez vous ? Avez vous acheté un casque AR comme le Microsoft Hololens ?

Source : 360natives

Le spectacle Eminem AR, chez Coachella hier soir !

Le spectacle Eminem AR, chez Coachella hier soir !

Chargement de la vidéo

 

Plutôt que de lutter contre les phénomènes de téléphonie mobile, qui a des fans de regarder des ensembles à travers la lueur réfléchie de l’enregistrement en direct d’un téléphone portable. Le mégastar multiplatum a décidé de se perdre dans le moment … et le posséder.

 » Nous avons pensé, si les téléphones doivent être là et que les gens vont les mettre en l’air et les regarder de toute façon. Pourquoi ne fournissons-nous pas un moyen de changer la façon dont ils percevront le spectacle , » dit le directeur général de Def Jam (et le manager d’Eminem), Paul Rosenberg.

Développé par le studio de production multimédia Drive Studios. Le set live d’Eminem chez Coachella a présenté aux fans des visuels qui accompagneront des dates de tournées aux Etats-Unis. Et en Europe alors que le Duke of Detroit de Rap prend son show sur la route. 

L’expérience de concert est une expérience exclusive marquée par le temps géographique. Qui n’est visible qu’à quelques centaines de mètres d’un spectacle en direct. Selon le directeur créatif de Drive Studios, Rich Lee. 

« Les artistes et les groupes ont été terrifiés à propos des fans ayant cette expérience passive avec leurs téléphones », a déclaré une personne ayant une connaissance de la pensée des artistes. « Nous voulions expérimenter avec … si vous ne pouvez pas les battre, rejoignez-les. Pourquoi ne pas embrasser la technologie. Et amener les gens plus profondément dans l’expérience et plus engagés dans l’expérience si elles vont le faire de toute façon.  »

L’application, qui a été lancée jeudi, contenait des avantages pour les festivalier. Qui voulaient toujours voir le prince clown du rap. Abandonner le trou et y jeter un tas de boulettes de viande. Et de spaghetti – ou voir un portail sur le monde sauvage d’Eminem.

Chargement de la vidéo

« Il y avait des éléments de contenu auxiliaires que nous voulions mettre dans l’application », explique l’initié. « S’amuser … Blague et avoir cette expérience avec ses fans, qui se superpose très bien au spaghetti de la maman. »

L’interface spaghetti de la maman a pris une simple fonction de reconnaissance d’image du conteneur alimentaire universel utilisé dans les stands de nourriture à travers le lieu du festival. Et a superposé les graphiques de lancer de spaghetti d’Em dessus.

Pour Lee, qui a d’abord travaillé avec Eminem sur la vidéo « Not Afraid » en 2010. L’application de réalité augmentée est un premier pas vers ce qui pourrait devenir un portail plus large pour se connecter avec les fans.

« Nous avons commencé à parler de VR et d’AR pendant un moment », dit Lee. « Ce n’est que récemment que cette technologie est arrivée au point où nous pensons que nous pourrions retirer ces choses. »

L’équipe créative à l’origine des événements d’Eminem n’ira pas dans le débat sur la réalité virtuelle et la réalité augmentée. Au contraire, disent-ils, l’application qui convient le mieux à l’emploi est celle qui l’emportera. Lorsque la réalité virtuelle peut devenir une expérience plus commune, elle aura plus d’attrait pour le spectacle Marshall Mathers.

La réalité augmentée rend les routes plus sûres !

La réalité augmentée rend les routes plus sûres !

On estime que le marché mondial de la réalité virtuelle et augmentée affichera un taux de croissance moyen exponentiel de 92,50% entre 2016 et 2024. Ce qui portera son offre globale à 547,20 milliards de dollars américains d’ici la fin de 2024.

Nous avons tous été sur la route, arrété à un feu rouge, où nous en avons profiter pour « scanner » nos appareils mobiles.

Imaginez un monde où les conducteurs regardent en l’air, ne tendant plus le cou en regardant les minuscules écrans et en essayant de lire des courriels, des messages texte ou des messages instantanés.

La réalité augmentée donne lieu à des applications puissantes. Qui changeront non seulement comment les conducteurs de voitures et de motocyclettes resteront concentrés sur la route. Et resteront conscients de leur environnement. Mais rendra également les routes plus sûres pour les cyclistes et piétons.

Au fur et à mesure que les lunettes AR deviennent plus utilisables et pratiques. L’avenir de la sécurité routière nous rend optimistes. Grâce à ces avancées, il est possible d’étendre l’interaction humaine, l’interconnectivité et une toute nouvelle interface pour l’interaction humaine avec la technologie. La technologie AR permettra aux conducteurs de rester concentrés, de rester connectés et, surtout, de rester en sécurité. Nous resterons connectés et augmenterons notre perception de la réalité tout en maintenant la conscience de la situation.

La transition vers des véhicules autonomes contribuera à faire de l’AR une nouvelle interface qui aide les conducteurs à se transformer aujourd’hui dans le futur … l’avenir est tout proche. Non, la réalité augmentée n’est plus réservée au monde des jeux vidéos.

Sources : 360natives