Чёрная пятница: скидка 50% с 27 ноябряЧёрная пятница: скидка 50% сейчас

Sketchar
Светлый деревянный стол с чистым листом бумаги и карандашом

Лонгрид Sketchar · 10 минут · трогайте всё

История дополненной реальности

От призмы над листом бумаги в 1806 году до телефона в вашей руке. Листайте, переключайте слои, рисуйте.

Начать с короткого ответа

Наведите телефон на лист: так Sketchar показывает эскиз

Короткий ответ

Что такое дополненная реальность

Сначала определение, потом два века истории, которую можно потрогать.

Дополненная реальность (AR, augmented reality) это технология, которая добавляет созданные компьютером изображения к тому, что вы видите вокруг, в реальном времени и с привязкой к месту, так что виртуальный слой выглядит частью сцены.

Три признака AR

Эти три признака сформулировал Рональд Азума в обзоре 1997 года, и они до сих пор остаются стандартным определением. Виртуальная реальность заменяет мир, дополненная оставляет его и добавляет к нему. Как работающая технология AR появилась в 1968 году, когда шлем Айвена Сазерленда впервые нарисовал компьютерную графику поверх настоящей комнаты. Название моложе: термин «дополненная реальность» придумал Том Коделл в компании Boeing в 1990 году.

  1. Реальное и виртуальное вместеВы продолжаете видеть настоящий мир. Виртуальный слой ложится поверх.
  2. В реальном времениКартинка реагирует на ваши движения без заметной задержки.
  3. Привязка в трёх измеренияхВиртуальные объекты закреплены за реальными местами, поверхностями и вещами.

История AR коротко

  1. 1806Камера-люцида накладывает сцену на лист бумаги, чтобы её обвести
  2. 1862«Призрак Пеппера» выводит отражённую фигуру на настоящую сцену
  3. 1900Коллиматорный прицел Говарда Грабба подвешивает метку над целью
  4. 1968Айвен Сазерленд строит первый шлем, который накладывает графику на комнату
  5. 1990Том Коделл в Boeing придумывает термин «дополненная реальность»
  6. 1998Жёлтая линия первого дауна появляется в прямом эфире НФЛ
  7. 1999ARToolKit учит обычную камеру отслеживать печатные маркеры
  8. 2008AR-браузеры приходят на первый Android-телефон
  9. 2012Основатель Sketchar придумывает AR-рисование
  10. 2016Microsoft HoloLens строит карту комнаты и привязывает к ней голограммы
  11. 2016Pokémon GO показывает AR сотням миллионов людей
  12. 2016Sketchar, первое приложение для AR-рисования, запускается на Product Hunt
  13. 2016–17Sketchar создаёт безмаркерный трекинг, который приклеивает рисунок к чистому листу бумаги
  14. 2017ARKit и ARCore учат телефоны находить поверхности
Стол художника с его места: вдали натюрморт, призма камеры-люциды в латунной рамке низко висит над чистым листом бумаги Перед художником В призме: сцена поверх бумаги На бумаге: только ваш рисунок

1806Лондон

Первый слой поверх мира был из стекла

Задолго до компьютеров художники хотели того же, что сегодня даёт AR: картинку, наложенную на реальный мир.

Смотрите в призму: в ней натюрморт лежит поверх бумаги, а рука повторяет вашу. Обводите его. На самом листе есть только то, что вы рисуете. Иллюстрации созданы для этой страницы.

В 1806 году английский учёный Уильям Хайд Волластон запатентовал камеру-люциду: небольшую четырёхгранную призму на стержне. Если смотреть вниз через её край, видно сразу и сцену перед вами, и лист бумаги под рукой. Остаётся только обвести.

Ничего никуда не проецируется. Изображение существует только в глазу художника, поэтому прибору не нужна тёмная комната и он помещается в карман. Астроном Джон Гершель рисовал с ним пейзажи. Генри Фокс Тальбот был так недоволен собственными рисунками с камерой-люцидой, что решил заставить природу рисовать саму себя, и в итоге изобрёл фотографию.

Викторианская театральная сцена, среди мебели стоит бледная отражённая фигура

1862Лондон

Призрак выходит на настоящую сцену

Лист стекла, спрятанный актёр и лампа: первая дополненная сцена, которую показали публике за деньги.

Лампа 70%
Прибавьте и убавьте свет: призрак это всего лишь отражение освещённого актёра. Иллюстрация создана для этой страницы.

24 декабря 1862 года в лондонском Королевском политехническом институте показали сцену из повести Чарльза Диккенса «Одержимый». Среди живых актёров появилась бледная фигура, прошла сквозь мебель и растаяла. Эффект назвали «призрак Пеппера».

Идею придумал инженер Генри Диркс, а лектор Джон Генри Пеппер приспособил её для сцены и дал ей своё имя. Между актёрами и залом под углом стоял большой лист стекла. Исполнителя, спрятанного под сценой, освещала яркая лампа, и стекло отражало его фигуру в декорации. Стоит убавить свет, и призрак исчезает.

1900Дублин

Метка, которая висит над целью

Следующий слой пришёл из прицельной оптики: светящаяся метка, которая остаётся на цели, когда вы двигаете головой.

Вид из кабины истребителя: голубое небо, облака внизу и самолёт впереди за стеклом прицела
Метка остаётся на цели
Двигайте указатель или ведите пальцем, чтобы сместить голову. Метка, нарисованная на стекле, уезжает с самолёта, а отражённая остаётся на нём. Иллюстрация создана для этой страницы.

В 1900 году дублинский мастер телескопов Говард Грабб запатентовал коллиматорный прицел. Подсвеченная прицельная метка отражается в наклонном стекле и сфокусирована на бесконечность, поэтому кажется, что она висит вдали, прямо на том, во что вы целитесь.

Ко Второй мировой войне такие прицелы стояли на всех истребителях. Потом инженеры вывели на то же стекло скорость, высоту и линию горизонта, и прицел превратился в индикатор на лобовом стекле. Британский Blackburn Buccaneer, впервые взлетевший в 1958 году, стал одним из первых самолётов с таким индикатором. Это была информация, нарисованная поверх реального мира, за десятки лет до слова AR.

Компьютерная лаборатория 1960-х годов, с потолка свисает механический рычаг

1968Кембридж, Массачусетс

Первый шлем рисует куб в комнате

Именно этот момент чаще всего имеют в виду, когда говорят, что дополненную реальность изобрели.

Двигайте указатель или ведите пальцем: куб остаётся на месте в комнате, пока вы поворачиваете взгляд. Каркас рисуется вживую, как в 1968 году. Фон создан для этой страницы как иллюстрация.

В 1968 году Айвен Сазерленд и его студент Боб Спроулл показали в Гарварде наголовный дисплей. У висков располагались две маленькие электронно-лучевые трубки, а полупрозрачные зеркала накладывали их картинку на настоящую лабораторию: в воздухе висел каркасный куб.

Главным было отслеживание. Механический рычаг свисал с потолка, измерял, куда повёрнута голова, и перерисовывал куб, поэтому тот оставался на месте, когда человек оглядывался. За этот рычаг над головой систему прозвали «дамоклов меч». Тремя годами раньше Сазерленд описал цель в эссе «Совершенный дисплей».

1990Сиэтл

У идеи появляется имя

Двадцать лет у технологии не было общего названия. Его дал авиационный завод.

Фанерный сборочный щит на верстаке
Нажмите кнопку: шлем показывает, куда вести следующий провод. Схема поверх иллюстрации, созданной для этой страницы.

В 1990 году исследователь Boeing Том Коделл вместе с Дэвидом Мизеллом искал способ быстрее собирать жгуты проводов для самолёта 777. Рабочие раскладывали каждый провод на больших щитах по бумажным схемам. Коделл предложил прозрачный шлем, который рисует путь следующего провода прямо на щите, и назвал этот подход дополненной реальностью. В печати термин впервые появился в их статье 1992 года.

За следующие десять лет название превратилось в область науки. В 1992 году Луис Розенберг построил в лаборатории ВВС США систему Virtual Fixtures, одну из первых интерактивных AR-систем. В 1993 году команда Колумбийского университета показала KARMA, шлем, который подсказывал, как обслуживать лазерный принтер. В 1997 году Рональд Азума опубликовал определение из трёх признаков, с которого начинается эта страница.

Поле для американского футбола с трансляционной камеры, игроки выстроились перед розыгрышем

1998Балтимор

Жёлтая линия, которой нет на поле

Миллионы людей впервые увидели дополненную реальность, не зная, что у неё есть название.

Линия едет вместе со скроллом; ползунком её можно поставить самому. Игроки остаются перед ней, потому что перекрашиваются только цвета травы. Иллюстрация создана для этой страницы.

27 сентября 1998 года канал ESPN показал матч «Цинциннати Бенгалс» и «Балтимор Рэйвенс» с новинкой: поперёк поля шла жёлтая линия первого дауна. На самом поле её не было. Её дорисовывала в живую картинку система 1st & Ten компании Sportvision.

Фокус в том, что игроки пробегают по линии, а не под ней. Система хранит две палитры: оттенки газона, которые перекрашиваются в жёлтый, и цвета формы и кожи, которые не трогаются никогда. На старте для этого нужен был грузовик аппаратуры и четыре человека, а одна игра обходилась в 25–30 тысяч долларов.

1999Сиэтл

Печатный квадрат становится якорем

Чтобы поставить виртуальный объект, компьютер должен точно знать, где находится камера. Задачу решил чёрный квадрат.

Деревянный стол у окна, вид под углом
Перетащите карточку по столу, поверните её ползунком, потом закройте. Иллюстрация создана для этой страницы.

В 1999 году Хирокадзу Като вместе с Марком Биллингхёрстом из лаборатории HIT Lab Вашингтонского университета представил ARToolKit. Библиотека позволяла обычной камере находить напечатанный чёрный квадрат и много раз в секунду вычислять своё положение относительно него.

Когда программа знает, где маркер, она может нарисовать стоящий на нём трёхмерный объект. Сдвиньте или поверните карточку, и объект последует за ней. Закройте маркер, и объект исчезнет. Позже ARToolKit выложили в открытый доступ, и он стал отправной точкой для целого поколения AR-проектов. Среди них ARQuake, уличная версия игры Quake, собранная в 2000 году.

Улица европейского города днём

2008Зальцбург · Амстердам

AR переезжает в карман

Телефон с камерой, GPS и компасом наконец смог делать то же, что шлемы: показывать информацию там, где она нужна.

Двигайте телефон вдоль улицы: подписи существуют только на его экране. Иллюстрация создана для этой страницы.

В октябре 2008 года австрийская компания Mobilizy выпустила Wikitude для T-Mobile G1, первого телефона на Android. Достаточно было навести камеру на улицу, и поверх картинки появлялись подписи ближайших мест. В июне 2009 года из Амстердама вышел Layar, «AR-браузер», построенный на той же идее.

Следующие годы были временем экспериментов. В декабре 2009 года журнал Esquire напечатал номер с дополненной реальностью. В апреле 2012 года Google показала Project Glass и с 2013 года продавала версию Explorer Edition за 1500 долларов, пока в январе 2015 года программу не закрыли. В 2013 году IKEA дала покупателям расставить мебель из каталога в собственной комнате.

2016Редмонд

Гарнитура привязывает голограммы к комнате

Первая автономная гарнитура, которая сама строила карту комнаты и держала виртуальные предметы ровно там, где их оставили.

Светлая гостиная с диваном и большим окном
Голограммы
Включайте и выключайте голограммы в меню и перетаскивайте их по комнате: каждая остаётся там, где её оставили. Иллюстрация создана для этой страницы.

Microsoft показала HoloLens 21 января 2015 года, а 30 марта 2016 года начала поставки версии для разработчиков по цене 3000 долларов. Гарнитуре не нужны ни телефон, ни компьютер, ни метки. Её камеры и датчик глубины сканируют комнату, строят её карту и привязывают голограммы к реальным местам: оставьте окно на стене, уйдите, вернитесь, и оно будет на том же месте. Microsoft называла HoloLens первым полностью автономным голографическим компьютером.

В июле 2017 года Sketchar вышел на HoloLens. Эскиз висит на стене или на листе перед вами, а обе руки свободны для рисования. С тех пор гарнитуры идут тем же путём: Apple Vision Pro поступил в продажу 2 февраля 2024 года по цене 3499 долларов, а в сентябре 2025 года Meta начала продавать очки Ray-Ban Display за 799 долларов. Направление то же, что задал Сазерленд в 1968 году: графика живёт в мире, а не в прямоугольнике.

Sketchar на HoloLens: история в нашем блоге

2016Весь мир

AR становится тем, что пробовал каждый

Два приложения превратили лабораторную технологию в повседневную привычку.

130 млн

загрузок Pokémon GO за первый месяц, июль 2016 года

500 млн

загрузок к сентябрю 2016 года, через два месяца после запуска

1 млрд

загрузок к июлю 2019 года

15 сентября 2015 года Snapchat запустил линзы: фильтры, которые отслеживают черты лица и перерисовывают их вживую. Надеть виртуальную маску стало обычным делом.

6 июля 2016 года компания Niantic выпустила Pokémon GO. Игроки ходили по настоящим улицам и искали существ, показанных на карте и через камеру. За первый месяц игру скачали 130 миллионов раз, она заработала за этот месяц 206,5 миллиона долларов и сделала слова «дополненная реальность» знакомыми всем.

Деревянный стол, на котором лежит лист бумаги

2016–2017Вильнюс

Якорем становится сам лист

Ещё до появления ARKit команда Sketchar научила камеру держаться за чистый лист бумаги.

Перетащите лист и поверните его, потом переключите способ отслеживания. Иллюстрация создана для этой страницы.

Чистый белый лист это самое трудное, за что может зацепиться камера. У него нет фактуры, а рука, которая на нём рисует, закрывает большую его часть. Команда Sketchar взялась за эту задачу в 2016 году, за год до анонса ARKit, и в 2016–2017 годах создала безмаркерный трекинг. Никаких напечатанных меток, только белый лист: камера сама понимает его перспективу и то, как он повёрнут к телефону.

Идея не та, что позже принесёт ARKit. ARKit закрепляет картинку в комнате, а Sketchar приклеивает виртуальный эскиз к самой бумаге. Поднимите лист, поверните его, одновременно двигайте телефон: линии остаются на своём месте, даже когда рука закрывает большую часть листа. До пользователей это дошло в два шага: первая публичная версия в апреле 2017 года ещё просила нарисовать на бумаге несколько кружков для опоры, а Sketchar 5.0 в мае 2019 года обходится одним листом. Метод защищён патентом США 11,030,754 B2. В конце 2018 года Huawei объявила о стратегическом партнёрстве со Sketchar.

Как устроен трекинг Sketchar

2017Купертино · Маунтин-Вью

Телефоны учатся видеть поверхности

Маркеры стали не нужны. Телефон сам начал понимать комнату.

Тот же деревянный стол, готовый к сканированию
Проведите над столом, чтобы отсканировать его. Когда поверхность найдена, касанием ставьте на неё объекты. Иллюстрация создана для этой страницы.

Apple анонсировала ARKit 5 июня 2017 года и выпустила его вместе с iOS 11 19 сентября. Google показала предварительную версию ARCore 29 августа 2017 года, а версия 1.0 вышла в феврале 2018 года примерно для 100 миллионов Android-телефонов.

Обе технологии решают одну задачу. Телефон следит, как смещаются характерные точки картинки, когда вы двигаетесь, сопоставляет это с датчиками движения и вычисляет, где он находится. Затем он находит плоские поверхности, пол или стол, и может ставить на них виртуальные объекты в правильном размере. Так сегодня работает большинство AR-приложений, включая рисование на бумаге.

Стол сверху, на нём чистый лист бумаги Рука с карандашом
Телефон на держателе над листом
На экране телефона: синие направляющие линии простого рисунка кошки

2012Сан-Франциско

AR-рисование: слой возвращается на бумагу

Шаблон есть только на экране телефона. Смотрите в телефон и ведите руку по бумаге или рисуйте прямо на телефоне. Иллюстрации созданы для этой страницы.

Sketchar

История началась с художников, которые обводили картинку через призму. Она возвращается к тому же листу бумаги, только теперь через телефон.

AR-рисование работает как камера-люцида с компьютером внутри. Вы выбираете картинку, наводите телефон на лист бумаги, и её линии появляются на листе на экране. Sketchar отслеживает сам лист, поэтому линии остаются на месте, когда вы двигаете рукой, телефоном или бумагой. Вы обводите их настоящим карандашом и получаете настоящий рисунок.

Попробуйте выше: смотрите в телефон, ведите руку, потом выключите шаблон и посмотрите, что останется вашим.

Команда Sketchar в синих футболках на выставке AWE в Дунгуане, 2017 год

Основатель Sketchar придумал AR-рисование в 2012 году, а в 2016-м запустил первое приложение для него

В июне 2012 года Андрей Дробитько, будущий основатель Sketchar, гулял с другом по Сан-Франциско, когда ему пришла идея: вести карандаш по виртуальным линиям рисунка на настоящей поверхности, глядя на них через камеру телефона. Первый прототип испытали 22 июня 2012 года.

Телефоны того времени ещё не тянули дополненную реальность, поэтому разработка приложения началась в августе 2016 года. 30 декабря 2016 года Sketchar, первое приложение для AR-рисования, был запущен на Product Hunt, и больше 5000 человек записались на ранний доступ. Первая версия для iOS вышла 17 апреля 2017 года.

Читать историю в блоге Sketchar

Что почитать дальше

Вопросы о дополненной реальности

AR, или дополненная реальность, это технология, которая добавляет созданные компьютером изображения к тому, что вы видите вокруг, в реальном времени и с привязкой к месту. Вы по-прежнему видите комнату, улицу или лист бумаги, а поверх лежит виртуальный слой.

Чаще всего изобретателем называют Айвена Сазерленда. В 1968 году он построил первый наголовный дисплей, который накладывал компьютерную графику на настоящую комнату. Сам термин «дополненная реальность» появился позже: его придумал Том Коделл в Boeing в 1990 году.

Как работающая технология, в 1968 году. Название появилось в 1990 году, стандартное определение в 1997 году. Оптические предшественники, камера-люцида (1806) и «призрак Пеппера» (1862), намного старше.

Наголовный дисплей Айвена Сазерленда 1968 года. Его прозвали «дамоклов меч» из-за рычага для отслеживания, который висел над головой пользователя.

Виртуальная реальность заменяет то, что вы видите, миром, созданным компьютером. Дополненная реальность оставляет настоящий мир перед глазами и добавляет к нему.

Телефон вычисляет своё положение по картинке с камеры и датчикам движения, находит плоские поверхности и рисует виртуальные объекты так, чтобы они оставались закреплёнными на этих поверхностях, когда вы двигаетесь.

AR-рисование показывает линии картинки поверх вашей бумаги через камеру телефона, чтобы их можно было обвести настоящим карандашом. Это современная версия камеры-люциды.

Идея, из которой вырос Sketchar, пришла его основателю Андрею Дробитько в Сан-Франциско в июне 2012 года, а первый прототип испытали 22 июня 2012 года.

Sketchar. Его запустили на Product Hunt 30 декабря 2016 года, а первая версия для iOS вышла 17 апреля 2017 года.

Это отслеживание, которому не нужны напечатанные или нарисованные метки: камера распознаёт сам чистый лист бумаги и держит на нём виртуальный рисунок, даже когда двигаются и лист, и телефон. Команда Sketchar создала его в 2016–2017 годах, ещё до анонса ARKit, в версии 5.0 в мае 2019 года он стал доступен всем пользователям, а метод защищён патентом США 11,030,754 B2.

Поделиться лонгридом

Чёрная пятница: скидка 50% с 27 ноябряЧёрная пятница: скидка 50% сейчас