Black Friday : -50 % dès le 27 novembreBlack Friday : -50 % maintenant

Sketchar
Un bureau en bois clair avec une feuille blanche et un crayon

Long format Sketchar · 10 minutes · tout se touche

L'histoire de la réalité augmentée

D'un prisme au-dessus d'une feuille de papier en 1806 au téléphone que vous tenez en main. Faites défiler, changez de calque, dessinez.

Commencer par la réponse courte

Déplacez le téléphone au-dessus de la feuille : c'est ainsi que Sketchar affiche le croquis

La réponse courte

Qu'est-ce que la réalité augmentée ?

D'abord la définition, puis deux siècles d'histoire à toucher du doigt.

La réalité augmentée (AR) est une technologie qui ajoute des images créées par ordinateur à votre vision du monde réel, en direct et fixées à leur place, si bien que la couche virtuelle semble faire partie de la scène.

Trois signes de l'AR

Ce test en trois points vient de l'étude publiée par Ronald Azuma en 1997 et reste la définition de référence. La réalité virtuelle remplace le monde ; la réalité augmentée le garde et le complète. En tant que technologie opérationnelle, l'AR remonte à 1968, quand le visiocasque d'Ivan Sutherland a pour la première fois dessiné des images de synthèse sur une pièce réelle. Le nom est plus récent : Tom Caudell a forgé l'expression « réalité augmentée » chez Boeing en 1990.

  1. Réel et virtuel ensembleVous continuez à voir le monde réel. La couche virtuelle s'y superpose.
  2. Interactive en temps réelL'image réagit à vos mouvements, sans délai perceptible.
  3. Ancrée en 3DLes objets virtuels restent fixés à des lieux, des surfaces et des objets réels.
Le bureau d'un artiste vu depuis sa chaise : une nature morte au loin, le prisme à monture de laiton d'une chambre claire suspendu juste au-dessus d'une feuille blanche Devant l'artiste Dans le prisme : la scène sur le papier Sur le papier : seulement votre dessin

1806Londres

La première superposition était en verre

Bien avant les ordinateurs, les artistes voulaient ce que l'AR nous offre aujourd'hui : une image posée sur le monde réel.

Regardez dans le prisme : la nature morte s'y pose sur le papier, et la main qu'on y voit reproduit la vôtre. Suivez les contours. Sur la feuille elle-même, il n'y a que ce que vous dessinez. Illustrations réalisées pour cette page.

En 1806, le savant anglais William Hyde Wollaston fait breveter la chambre claire : un petit prisme à quatre faces monté sur une tige. En regardant vers le bas par son arête, on voit deux choses à la fois, la scène devant soi et la feuille de papier sous sa main. Il ne reste plus qu'à suivre les contours.

Rien n'est projeté. L'image n'existe que dans l'œil de l'artiste : c'est pourquoi l'instrument n'a pas besoin de pièce obscure et tient dans une poche. L'astronome John Herschel s'en servait pour croquer des paysages. Henry Fox Talbot, si mécontent de ses propres dessins à la chambre claire, chercha un moyen pour que la nature se dessine elle-même, et finit par inventer la photographie.

Une scène de théâtre victorien avec une pâle silhouette réfléchie debout parmi les meubles

1862Londres

Un fantôme marche sur une vraie scène

Une plaque de verre, un acteur caché et une lampe : la première scène augmentée montrée à un public payant.

Lampe 70 %
Montez et baissez la lampe : le fantôme n'est que le reflet d'un acteur éclairé. Illustration réalisée pour cette page.

Le 24 décembre 1862, la Royal Polytechnic Institution de Londres joue une scène de « L'Homme hanté » de Charles Dickens. Une pâle silhouette apparaît parmi les acteurs vivants, traverse les meubles et s'évanouit. L'effet prend le nom de fantôme de Pepper.

L'idée vient de l'ingénieur Henry Dircks ; le conférencier John Henry Pepper la fait fonctionner sur scène et lui donne son nom. Une grande plaque de verre inclinée sépare les acteurs du public. Un comédien caché sous la scène est éclairé par une lampe puissante, et le verre renvoie sa silhouette dans le décor. Baissez la lampe, et le fantôme disparaît.

1900Dublin

Un repère qui flotte sur la cible

La superposition suivante est venue de l'optique de visée : un repère lumineux qui reste sur la cible quand on bouge la tête.

La vue depuis le cockpit d'un chasseur : ciel bleu, nuages en contrebas et un avion devant, vus à travers la vitre d'un viseur
Le réticule reste sur la cible
Déplacez le pointeur ou faites glisser pour bouger la tête. Un repère peint sur la vitre glisse hors de l'avion ; le repère réfléchi reste dessus. Illustration réalisée pour cette page.

En 1900, le fabricant de télescopes dublinois Howard Grubb fait breveter le viseur réflecteur. Un réticule lumineux se reflète dans une lame de verre inclinée et il est mis au point à l'infini : il semble ainsi suspendu au loin, au-dessus de ce que l'on vise.

À la Seconde Guerre mondiale, les viseurs réflecteurs équipent couramment les avions de chasse. Les ingénieurs ajoutent ensuite sur la même vitre la vitesse, l'altitude et l'horizon, et le viseur devient l'affichage tête haute. Le Blackburn Buccaneer britannique, qui vole pour la première fois en 1958, est l'un des premiers avions à en être équipé. C'était de l'information dessinée sur le monde réel, des décennies avant que quiconque parle d'AR.

Un laboratoire informatique des années 1960 avec un bras mécanique suspendu au plafond

1968Cambridge, Massachusetts

Le premier casque dessine un cube dans la pièce

C'est le moment que la plupart des historiens désignent comme l'invention de la réalité augmentée.

Déplacez le pointeur ou faites glisser : le cube reste fixe dans la pièce pendant que votre regard tourne. Le modèle filaire est dessiné en direct, comme en 1968. Illustration de fond réalisée pour cette page.

En 1968, Ivan Sutherland et son étudiant Bob Sproull présentent à Harvard un visiocasque. Deux petits tubes cathodiques sont placés près des tempes de l'utilisateur, et des miroirs semi-réfléchissants superposent leur image au laboratoire réel : un cube filaire flottant dans l'air.

La clé, c'était le suivi. Un bras mécanique suspendu au plafond mesurait la direction de la tête et redessinait le cube en conséquence, si bien qu'il restait en place quand l'utilisateur regardait autour de lui. Ce bras, suspendu au-dessus de sa tête, lui a valu le surnom d'épée de Damoclès. Trois ans plus tôt, Sutherland avait décrit l'objectif dans un essai intitulé « The Ultimate Display ».

1990Seattle

L'idée reçoit son nom

Pendant vingt ans, la technologie n'a pas eu de nom commun. Une usine d'avions lui en a donné un.

Une planche d'assemblage en contreplaqué sur un établi
Appuyez sur le bouton : le casque montre où passe le fil suivant. Schéma sur une illustration réalisée pour cette page.

En 1990, Tom Caudell, chercheur chez Boeing, travaille avec David Mizell à une meilleure façon d'assembler les faisceaux de câbles du 777. Les ouvriers posaient chaque fil sur de grandes planches en suivant des schémas papier. Caudell propose un casque transparent qui dessinerait le trajet du fil suivant directement sur la planche, et il appelle cette approche réalité augmentée. Le terme apparaît pour la première fois à l'écrit dans leur article de 1992.

La décennie suivante transforme ce nom en discipline. En 1992, Louis Rosenberg construit Virtual Fixtures, un des premiers systèmes AR interactifs, dans un laboratoire de l'US Air Force. En 1993, une équipe de l'université Columbia présente KARMA, un casque qui guide son utilisateur dans l'entretien d'une imprimante laser. En 1997, Ronald Azuma publie la définition en trois points citée en haut de cette page.

Un terrain de football américain vu par une caméra de retransmission, avec les joueurs alignés

1998Baltimore

Une ligne jaune qui n'est pas sur le terrain

Des millions de personnes ont vu la réalité augmentée pour la première fois sans savoir qu'elle avait un nom.

La ligne bouge quand vous faites défiler ; faites glisser le curseur pour la placer vous-même. Les joueurs restent devant elle, car seules les couleurs de la pelouse sont repeintes. Illustration réalisée pour cette page.

Le 27 septembre 1998, ESPN diffuse un match entre les Bengals de Cincinnati et les Ravens de Baltimore avec une nouveauté : une ligne jaune de premier essai tracée en travers du terrain. Elle n'existait pas. Le système 1st & Ten de Sportvision la dessinait dans l'image en direct.

L'astuce, c'est que les joueurs passent sur la ligne, pas dessous. Le système garde deux palettes de couleurs : les verts de la pelouse, repeints en jaune, et les couleurs des maillots et de la peau, jamais touchées. À ses débuts, il fallait un camion d'équipement et une équipe de quatre personnes, pour un coût de 25 000 à 30 000 dollars par match.

1999Seattle

Un carré imprimé devient une ancre

Pour placer un objet virtuel, l'ordinateur doit savoir exactement où se trouve la caméra. Un carré noir a résolu le problème.

Une table en bois près d'une fenêtre, vue de biais
Faites glisser la carte sur la table, tournez-la avec le curseur, puis masquez-la. Illustration réalisée pour cette page.

En 1999, Hirokazu Kato, qui travaille avec Mark Billinghurst au HIT Lab de l'université de Washington, présente ARToolKit. Le logiciel permet à une caméra ordinaire de repérer un marqueur imprimé en forme de carré noir et de calculer sa propre position par rapport à lui, plusieurs fois par seconde.

Une fois que le logiciel sait où se trouve le marqueur, il peut dessiner un objet 3D posé dessus. Déplacez ou tournez la carte, et l'objet suit. Masquez le marqueur, et l'objet disparaît. ARToolKit est ensuite publié en open source et devient le point de départ de toute une génération de projets AR, dont ARQuake, une version en extérieur du jeu Quake réalisée en 2000.

Une rue d'une ville européenne en plein jour

2008Salzbourg · Amsterdam

L'AR entre dans la poche

Un téléphone doté d'une caméra, d'un GPS et d'une boussole pouvait enfin faire ce que faisaient les casques : afficher l'information là où elle doit être.

Déplacez le téléphone le long de la rue : les étiquettes n'existent que sur son écran. Illustration réalisée pour cette page.

En octobre 2008, la société autrichienne Mobilizy lance Wikitude pour le T-Mobile G1, le premier téléphone Android. Il suffit de pointer la caméra vers une rue pour voir apparaître sur l'image des étiquettes indiquant les lieux proches. Layar suit depuis Amsterdam en juin 2009 avec un « navigateur AR » fondé sur la même idée.

Les années suivantes regorgent d'expériences. Esquire publie un numéro en AR en décembre 2009. Google dévoile Project Glass en avril 2012 et vend l'Explorer Edition 1 500 dollars de 2013 jusqu'à la fin du programme, en janvier 2015. En 2013, IKEA permet de placer les meubles de son catalogue dans son propre intérieur.

2016Redmond

Un casque épingle des hologrammes à la pièce

Le premier casque autonome qui cartographiait la pièce tout seul et gardait les objets virtuels exactement là où on les avait laissés.

Un salon lumineux avec un canapé et une grande fenêtre
Hologrammes
Activez et désactivez les hologrammes dans le menu et faites-les glisser dans la pièce : chacun reste là où vous le laissez. Illustration réalisée pour cette page.

Microsoft présente HoloLens le 21 janvier 2015 et commence à livrer la Development Edition le 30 mars 2016, au prix de 3 000 dollars. Le casque n'a besoin ni de téléphone, ni d'ordinateur, ni de marqueurs. Ses caméras et son capteur de profondeur scannent la pièce, en construisent une carte et épinglent des hologrammes à des endroits réels : laissez une fenêtre sur un mur, éloignez-vous, revenez, elle est toujours là. Microsoft l'a présenté comme le premier ordinateur holographique entièrement autonome.

En juillet 2017, Sketchar arrive sur HoloLens. Le croquis flotte sur le mur ou sur la feuille devant vous, et les deux mains restent libres pour dessiner. Les casques ont suivi la même voie depuis : l'Apple Vision Pro est mis en vente le 2 février 2024 à 3 499 dollars, et en septembre 2025 Meta commence à vendre les lunettes Ray-Ban Display à 799 dollars. La direction reste celle que Sutherland avait fixée en 1968 : des images qui vivent dans le monde, pas dans un rectangle.

Sketchar sur HoloLens : l'histoire sur notre blog

2016Monde entier

Tout le monde a essayé l'AR

Deux applications ont fait d'une technologie de laboratoire une habitude quotidienne.

130 M

téléchargements de Pokémon GO pendant son premier mois, en juillet 2016

500 M

téléchargements en septembre 2016, deux mois après la sortie

1 Md

téléchargements en juillet 2019

Le 15 septembre 2015, Snapchat lance les Lenses : des filtres qui suivent les traits du visage et les redessinent en direct. Porter un masque virtuel devient un geste quotidien.

Le 6 juillet 2016, Niantic sort Pokémon GO. Les joueurs arpentent de vraies rues pour trouver des créatures affichées sur une carte et à travers la caméra. Le jeu est téléchargé 130 millions de fois pendant son premier mois, rapporte 206,5 millions de dollars ce même mois, et fait entrer l'expression « réalité augmentée » dans le langage courant.

Une table en bois avec une feuille de papier posée dessus

2016–2017Vilnius

La feuille devient elle-même l'ancre

Avant qu'ARKit n'existe, Sketchar a appris à une caméra à s'accrocher à une feuille blanche.

Faites glisser la feuille et tournez-la, puis passez d'un mode de suivi à l'autre. Illustration réalisée pour cette page.

Une feuille blanche est ce qu'une caméra a le plus de mal à suivre. Elle n'a aucune texture, et la main qui dessine en cache la plus grande partie. L'équipe de Sketchar s'est attaquée à ce problème en 2016, un an avant l'annonce d'ARKit, et a mis au point en 2016–2017 un suivi sans marqueur. Pas de marqueurs imprimés, seulement une feuille blanche : la caméra calcule sa perspective et son orientation par rapport au téléphone.

L'idée n'est pas celle qu'ARKit apportera plus tard. ARKit fixe une image dans la pièce ; Sketchar colle le croquis virtuel au papier lui-même. Prenez la feuille, tournez-la, bougez le téléphone en même temps : les lignes restent à leur place, même quand votre main cache la plus grande partie de la feuille. La technologie a atteint les utilisateurs en deux étapes : la première version publique, en avril 2017, demandait encore quelques cercles tracés à la main comme base, et Sketchar 5.0, en mai 2019, n'a besoin que de la feuille. La méthode est protégée par le brevet américain 11,030,754 B2. Fin 2018, Huawei a annoncé un partenariat stratégique avec Sketchar.

Comment fonctionne le suivi de Sketchar

2017Cupertino · Mountain View

Les téléphones apprennent à voir les surfaces

Plus besoin de marqueurs. Le téléphone lui-même a commencé à comprendre la pièce.

La même table en bois, prête à être scannée
Passez au-dessus de la table pour la scanner. Une fois la surface trouvée, touchez pour y placer des objets. Illustration réalisée pour cette page.

Apple annonce ARKit le 5 juin 2017 et le livre avec iOS 11 le 19 septembre. Google présente ARCore en avant-première le 29 août 2017 et publie la version 1.0 en février 2018 pour environ 100 millions de téléphones Android.

Les deux font le même travail. Le téléphone observe comment des points caractéristiques de l'image se déplacent quand vous bougez, combine ces données avec ses capteurs de mouvement et en déduit sa position. Il repère ensuite les surfaces planes, un sol ou une table, et peut y poser des objets virtuels à la bonne taille. C'est la technologie qui sous-tend la plupart des applications AR actuelles, y compris le dessin sur papier.

Un bureau vu de dessus avec une feuille blanche Une main qui tient un crayon
Un téléphone sur un support au-dessus de la feuille
Sur l'écran du téléphone : les lignes guides bleues d'un dessin simple de chat

2012San Francisco

Le dessin AR : la superposition revient au papier

Le modèle n'existe que sur l'écran du téléphone. Regardez le téléphone et guidez la main sur le papier, ou dessinez directement sur le téléphone. Illustrations réalisées pour cette page.

Sketchar

L'histoire a commencé avec des artistes qui décalquaient à travers un prisme. Elle revient à la même feuille de papier, cette fois à travers un téléphone.

Le dessin AR fonctionne comme une chambre claire dotée d'un ordinateur. Vous choisissez une image, pointez votre téléphone vers une feuille de papier, et les lignes apparaissent sur la feuille à l'écran. Sketchar suit le papier lui-même : les lignes restent en place quand vous bougez la main, le téléphone ou la feuille. Vous les suivez avec un vrai crayon et obtenez un vrai dessin.

Essayez ci-dessus : regardez le téléphone, guidez la main, puis masquez le modèle et regardez ce qui vous appartient.

L'équipe de Sketchar en t-shirts bleus au salon AWE de Dongguan, 2017

Le fondateur de Sketchar a imaginé le dessin AR en 2012 et lancé la première application de dessin AR en 2016

En juin 2012, Andreï Drobitko, futur fondateur de Sketchar, se promenait dans San Francisco avec un ami quand l'idée lui est venue : suivre sur une surface réelle les lignes virtuelles d'un dessin, vues à travers la caméra d'un téléphone. Le premier prototype a été testé le 22 juin 2012.

Les téléphones de l'époque ne faisaient pas encore assez bien tourner l'AR : le développement de l'application a donc commencé en août 2016. Le 30 décembre 2016, Sketchar, la première application de dessin AR, est lancée sur Product Hunt, et plus de 5 000 personnes s'inscrivent à l'accès anticipé. La première version iOS sort le 17 avril 2017.

Lire l'histoire sur le blog Sketchar

À lire aussi

Questions sur la réalité augmentée

La réalité augmentée ajoute des images créées par ordinateur à votre vision du monde réel, en direct et fixées à leur place. Vous voyez toujours la pièce, la rue ou la feuille de papier devant vous, avec une couche virtuelle par-dessus.

On l'attribue le plus souvent à Ivan Sutherland. En 1968, il a construit le premier visiocasque qui superposait des images de synthèse à une pièce réelle. L'expression « réalité augmentée » est venue plus tard : Tom Caudell l'a forgée chez Boeing en 1990.

En tant que technologie opérationnelle, en 1968. Le nom date de 1990 et la définition de référence de 1997. Ses précurseurs optiques, comme la chambre claire (1806) et le fantôme de Pepper (1862), sont bien plus anciens.

Le visiocasque d'Ivan Sutherland, en 1968, surnommé l'épée de Damoclès à cause du bras de suivi suspendu au-dessus de la tête de l'utilisateur.

La réalité virtuelle remplace ce que vous voyez par un monde créé par ordinateur. La réalité augmentée garde le monde réel sous vos yeux et le complète.

Le téléphone calcule sa propre position à partir de l'image de la caméra et de ses capteurs de mouvement, repère les surfaces planes et dessine des objets virtuels qui restent fixés à ces surfaces quand vous bougez.

Le dessin AR affiche les lignes d'une image sur votre papier à travers la caméra d'un téléphone, pour que vous puissiez les suivre avec un vrai crayon. C'est la version moderne de la chambre claire.

L'idée de Sketchar est venue à son fondateur Andreï Drobitko à San Francisco en juin 2012, et le premier prototype a été testé le 22 juin 2012.

Sketchar. Elle a été lancée sur Product Hunt le 30 décembre 2016, et sa première version iOS est sortie le 17 avril 2017.

C'est un suivi qui ne demande aucun marqueur imprimé ou dessiné : la caméra reconnaît la feuille blanche elle-même et garde le dessin virtuel collé dessus, même quand la feuille et le téléphone bougent tous les deux. L'équipe de Sketchar l'a mis au point en 2016–2017, avant l'annonce d'ARKit, l'a proposé à tous les utilisateurs avec la version 5.0 en mai 2019, et détient pour cette méthode le brevet américain 11,030,754 B2.

Partager ce long format

Black Friday : -50 % dès le 27 novembreBlack Friday : -50 % maintenant