黑色星期五:11 月 27 日起立减 50%黑色星期五:现在立减 50%

00:00:00 领取优惠
Sketchar
浅色木桌上放着一张白纸和一支铅笔

Sketchar长文 · 10分钟 · 处处可以触摸

一部 增强现实史

从1806年纸面上方的一块棱镜,到你手中的手机。滚动页面,切换图层,动手画一画。

先看简短的回答

在纸面上方移动手机:Sketchar就是这样显示草图的

简短的回答

什么是增强现实?

先看定义,再看两个世纪可以亲手触摸的历史。

增强现实(AR)是一种把计算机生成的图像叠加到你所看到的真实世界之上的技术,图像实时呈现并固定在原位,让虚拟图层看起来就像场景的一部分。

AR的三个特征

这三条标准出自罗纳德·阿祖玛1997年的综述,至今仍是公认的定义。虚拟现实取代世界,增强现实则保留世界并为其添加内容。作为一项可用的技术,AR始于1968年:伊万·萨瑟兰的头戴式显示器第一次把计算机图形叠加到真实的房间里。这个名字出现得更晚:1990年,汤姆·考德尔在波音公司提出了“增强现实”一词。

  1. 虚实结合你依然看得见真实世界,虚拟图层叠加在它的上面。
  2. 实时交互画面随你的移动而变化,几乎没有可察觉的延迟。
  3. 三维注册虚拟物体固定在真实的位置、表面和物品上。
从画家座位看去的书桌:远处是一组静物,明箱的黄铜框棱镜低悬在一张白纸上方 画家面前 棱镜中:景物叠在纸上 纸上:只有你画的线条

1806伦敦

最早的叠加层是玻璃做的

早在计算机出现之前,画家就想要今天AR带给我们的东西:一幅叠加在真实世界上的图像。

看向棱镜:静物就叠在纸上,其中的那只手跟着你的手动。把它描下来。纸面上只有你画下的线条。插图为本页绘制。

1806年,英国科学家威廉·海德·沃拉斯顿为明箱申请了专利:一根杆子上装着一块小小的四面棱镜。顺着棱镜的边缘向下看,你能同时看到两样东西:眼前的景物和手下的纸。剩下要做的只是描摹。

它并不投射任何东西。图像只存在于画家的眼睛里,所以这种装置不需要暗室,可以装进口袋。天文学家约翰·赫歇尔用它画过风景。亨利·福克斯·塔尔博特对自己用明箱画的画很不满意,于是想办法让大自然自己画出自己,结果发明了摄影术。

维多利亚时代剧院的舞台,家具之间站着一个苍白的反射人影

1862伦敦

幽灵走上真实的舞台

一块玻璃、一名藏起来的演员和一盏灯:第一次向付费观众展示的增强场景。

灯光 70%
调亮或调暗灯光:幽灵只是被照亮的演员的倒影。插图为本页绘制。

1862年12月24日,伦敦皇家理工学院上演了查尔斯·狄更斯《着魔的人》中的一幕。一个苍白的身影出现在真人演员之间,穿过家具,然后渐渐消失。这种效果后来被称为佩珀尔幻象。

这个点子出自工程师亨利·德克斯,讲师约翰·亨利·佩珀尔让它在舞台上成功实现,名字也归了他。演员和观众之间斜放着一大块玻璃。一名藏在舞台下的演员被强光照亮,玻璃把他的身影反射进场景中。把灯调暗,幽灵就不见了。

1900都柏林

悬浮在目标上方的标记

下一种叠加来自瞄准光学:一个发光的标记,即使头部移动也始终停在目标上。

从战斗机座舱看出去的景象:蓝天,下方是云层,前方有一架飞机,透过瞄准镜的玻璃看到
十字线始终停在目标上
移动指针或拖动来改变头部位置。画在玻璃上的标记会从飞机上滑开,反射的标记则始终停在上面。插图为本页绘制。

1900年,都柏林的望远镜制造商霍华德·格拉布为反射式瞄准镜申请了专利。一个被照亮的十字线在斜放的玻璃上反射,并聚焦于无穷远处,因此它仿佛悬在远方,正好落在你瞄准的物体上。

到第二次世界大战时,反射式瞄准镜已是战斗机的标准配置。后来工程师又在同一块玻璃上加上了速度、高度和地平线,瞄准镜就变成了抬头显示器。1958年首飞的英国布莱克本“掠夺者”攻击机是最早装备它的飞机之一。这是叠加在真实世界之上的信息,比AR这个名字的出现早了几十年。

20世纪60年代的计算机实验室,天花板上垂下一条机械臂

1968马萨诸塞州剑桥

第一台头显在房间里画出一个立方体

大多数历史学家所说的增强现实诞生,指的就是这一刻。

移动指针或拖动:视角转动时,立方体始终固定在房间里。线框是实时绘制的,就像1968年那样。背景插图为本页绘制。

1968年,伊万·萨瑟兰和他的学生鲍勃·斯普劳尔在哈佛大学展示了一台头戴式显示器。两根小小的阴极射线管位于佩戴者的太阳穴旁,半镀银的镜子把它们的画面叠加到真实的实验室里:一个悬浮在空中的线框立方体。

关键在于追踪。一条机械臂从天花板垂下,测量头部所指的方向,并相应地重绘立方体,让它在佩戴者四处张望时保持不动。这条悬在使用者头顶的机械臂,为装置赢得了达摩克利斯之剑的绰号。三年前,萨瑟兰在一篇名为《终极显示》的文章中描述过这个目标。

1990西雅图

这个想法有了名字

二十年来,这项技术一直没有通用的名称。是一家飞机工厂给了它名字。

车间桌子上的一块胶合板装配板
按下按钮:头显会显示下一根线该走的位置。示意图叠加在为本页绘制的插图上。

1990年,波音公司研究员汤姆·考德尔与戴维·米泽尔合作,为777客机寻找更好的线束制作方法。工人们要按照纸质图纸,在大块板子上逐根布线。考德尔提出用一种透视式头显,把下一根线的走向直接画在板子上,并把这种方法称为增强现实。这个词在他们1992年的论文中首次见诸出版物。

随后的十年,这个名字发展成了一个领域。1992年,路易斯·罗森伯格在美国空军的一个实验室里打造了早期的交互式AR系统Virtual Fixtures。1993年,哥伦比亚大学的团队展示了KARMA,这款头显能指导佩戴者维护激光打印机。1997年,罗纳德·阿祖玛发表了本页开头引用的三条定义。

从转播摄像机看到的美式橄榄球场,球员们已经列好阵

1998巴尔的摩

一条不在球场上的黄线

数百万人第一次看到增强现实时,并不知道它有名字。

滚动页面时黄线会移动,也可以拖动滑块自己放置。球员始终在线的前面,因为只有草地的颜色会被重新着色。插图为本页绘制。

1998年9月27日,ESPN转播了辛辛那提猛虎队对巴尔的摩乌鸦队的比赛,画面里多了一样新东西:一条横贯球场的黄色首攻线。球场上其实并没有这条线,是Sportvision的1st & Ten系统把它画进了直播画面。

诀窍在于球员是从线上跑过,而不是从线下。系统保存两套色板:草皮的绿色会被重新涂成黄色,球衣和皮肤的颜色则永远不会。刚推出时,它需要一卡车设备和四人团队,每场比赛花费25,000至30,000美元。

1999西雅图

一个打印的方块成了锚点

要放置虚拟物体,计算机必须准确知道摄像头在哪里。一个黑色方块解决了这个问题。

斜看过去的窗边木桌
在桌上拖动卡片,用滑块旋转它,然后把它遮住。插图为本页绘制。

1999年,加藤博一与马克·比林赫斯特在华盛顿大学HIT实验室合作,推出了ARToolKit。它让普通摄像头能够找到打印的黑色方块标记,并每秒多次计算出自己相对于标记的位置。

软件一旦知道标记在哪里,就能画出一个立在上面的三维物体。移动或转动卡片,物体也跟着动。遮住标记,物体就消失了。ARToolKit后来开源,成为一代AR项目的起点,其中包括2000年开发的户外版《雷神之锤》ARQuake。

白天的一条欧洲城市街道

2008萨尔茨堡 · 阿姆斯特丹

AR装进了口袋

一部带摄像头、GPS和指南针的手机,终于能做头显做过的事:把信息显示在它该在的位置。

沿街移动手机:标签只存在于手机屏幕里。插图为本页绘制。

2008年10月,奥地利公司Mobilizy为第一款Android手机T-Mobile G1发布了Wikitude。把摄像头对准街道,附近地点的标签就会出现在画面上。2009年6月,来自阿姆斯特丹的Layar推出了基于同样理念的“AR浏览器”。

接下来的几年充满了各种尝试。2009年12月,《时尚先生》推出了一期AR特刊。2012年4月,谷歌公布了Project Glass,从2013年起以1,500美元出售探索者版,直到2015年1月该计划关闭。2013年,宜家让人们把目录中的家具放进自己的房间。

2016雷德蒙德

头显把全息影像固定在房间里

第一台能独立扫描房间、并把虚拟物体准确留在原处的一体式头显。

明亮的客厅,有一张沙发和一扇大窗户
全息影像
在菜单里打开或关闭全息影像,并在房间里拖动它们:每一个都会留在你放下的地方。插图为本页绘制。

微软于2015年1月21日展示了HoloLens,并于2016年3月30日开始以3,000美元发售开发版。它不需要手机、电脑或标记。它的摄像头和深度传感器扫描房间,建立房间地图,并把全息影像固定在真实的位置上:把一个窗口留在墙上,走开再回来,它还在那里。微软称它为第一台完全无线的全息计算机。

2017年7月,Sketchar登陆HoloLens。草图悬在墙上或你面前的纸上,双手都可以空出来画画。此后的头显沿着同一条路前进:Apple Vision Pro于2024年2月2日开售,售价3,499美元;2025年9月,Meta开始以799美元销售Ray-Ban Display眼镜。方向依然是萨瑟兰在1968年定下的:图形存在于世界之中,而不是在一块矩形屏幕上。

Sketchar登陆HoloLens:博客上的故事

2016全球

AR变成了人人都试过的东西

两款应用把一项实验室技术变成了日常习惯。

13000万

Pokémon GO上线首月(2016年7月)的下载量

5亿

截至2016年9月、上线两个月后的下载量

10亿

截至2019年7月的下载量

2015年9月15日,Snapchat推出了Lenses:一种能追踪五官并实时重绘的人脸滤镜。戴上一张虚拟面具,成了人们每天都会做的事。

2016年7月6日,Niantic发布了Pokémon GO。玩家走上真实的街道,寻找显示在地图上和摄像头画面中的小精灵。它在上线首月被下载了1.3亿次,当月收入2.065亿美元,让“增强现实”变得家喻户晓。

放着一张纸的木桌

2016–2017维尔纽斯

纸张本身成了锚点

在ARKit问世之前,Sketchar就教会了摄像头牢牢抓住一张白纸。

拖动并旋转这张纸,然后在两种追踪方式之间切换。插图为本页绘制。

对摄像头来说,最难抓住的就是一张白纸。它没有纹理,画画的手还会挡住大半张纸。Sketchar团队在2016年、ARKit发布的前一年着手解决这个问题,并在2016–2017年开发出了无标记追踪。不需要打印的标记,只要一张白纸:摄像头就能算出纸的透视以及它相对于手机的朝向。

这个思路和后来ARKit带来的不同。ARKit把图像固定在房间里;Sketchar则把虚拟草图贴在纸张本身上。拿起纸、转动它,同时移动手机:线条始终留在该在的位置,即使你的手挡住了大半张纸。它分两步来到用户手中:2017年4月的第一个公开版本仍需要几个手绘的圆圈作为基准,而2019年5月的Sketchar 5.0只需要一张纸。这一方法受美国专利11,030,754 B2保护。2018年底,华为宣布与Sketchar建立战略合作关系。

Sketchar的追踪技术如何工作

2017库比蒂诺 · 山景城

手机学会了识别平面

不再需要标记。手机自己开始理解房间。

同一张木桌,准备扫描
在桌子上方移动来扫描它。找到平面后,点击即可在上面放置物体。插图为本页绘制。

苹果于2017年6月5日发布ARKit,并于9月19日随iOS 11推出。谷歌于2017年8月29日预览了ARCore,并于2018年2月为约1亿部Android手机发布了1.0版。

两者做的是同一件事。手机观察画面中的特征点如何随移动而偏移,结合运动传感器的数据,算出自己所在的位置。然后它找到平坦的表面,比如地板或桌面,并能以正确的尺寸把虚拟物体放在上面。如今大多数AR应用都基于这项技术,在纸上绘画也不例外。

从上方俯视的书桌,上面放着一张白纸 一只握着铅笔的手
支架上的手机,位于纸张上方
手机屏幕上:一幅简单猫咪画的蓝色引导线

2012旧金山

AR绘画:叠加层回到了纸上

模板只存在于手机屏幕上。看着手机,引导手在纸上移动,或者直接在手机上画。插图为本页绘制。

Sketchar

这个故事始于画家透过棱镜描摹,如今又回到了同一张纸上,只不过换成了手机。

AR绘画就像一台装了计算机的明箱。你选好一张图片,把手机对准一张纸,屏幕上的纸面就会出现线条。Sketchar追踪的是纸张本身,所以无论你移动手、手机还是纸,线条都会停在原处。你用真正的铅笔描下它们,最终得到一幅真正的画。

在上面试试吧:看着手机,引导手,然后关掉模板,看看哪些是你自己画的。

2017年东莞AWE展会上身穿蓝色T恤的Sketchar团队

Sketchar的创始人在2012年想出了AR绘画,并在2016年推出了第一款AR绘画应用

2012年6月,后来创办Sketchar的安德烈·德罗比特科和朋友在旧金山散步时萌生了一个想法:透过手机摄像头,沿着一幅画在真实表面上的虚拟线条描画。第一个原型于2012年6月22日完成测试。

当时的手机还无法很好地运行AR,因此应用的开发于2016年8月才开始。2016年12月30日,第一款AR绘画应用Sketchar登上Product Hunt,超过5,000人报名抢先体验。第一个iOS版本于2017年4月17日发布。

在Sketchar博客上阅读这个故事

继续阅读

关于增强现实的问题

增强现实把计算机生成的图像叠加到你所看到的真实世界上,图像实时呈现并固定在原位。你依然能看到眼前的房间、街道或纸张,只是上面多了一层虚拟图层。

最常被认为是伊万·萨瑟兰。1968年,他制造出第一台把计算机图形叠加到真实房间里的头戴式显示器。“增强现实”这个词出现得更晚:1990年由波音公司的汤姆·考德尔提出。

作为一项可用的技术,它诞生于1968年。这个名字出现于1990年,公认的定义则出自1997年。明箱(1806年)和佩珀尔幻象(1862年)等光学先驱要古老得多。

伊万·萨瑟兰1968年的头戴式显示器。由于悬在使用者头顶的追踪机械臂,它被称为“达摩克利斯之剑”。

虚拟现实用计算机生成的世界取代你所看到的一切。增强现实则让真实世界保留在视野中,并在其上添加内容。

手机根据摄像头画面和运动传感器算出自己的位置,找到平坦的表面,并绘制虚拟物体,让它们在你移动时始终固定在这些表面上。

AR绘画通过手机摄像头把一幅图的线条显示在你的纸上,让你用真正的铅笔描下来。它是明箱的现代版本。

Sketchar的创意于2012年6月在旧金山诞生,来自其创始人安德烈·德罗比特科,第一个原型于2012年6月22日完成测试。

Sketchar。它于2016年12月30日登上Product Hunt,第一个iOS版本于2017年4月17日发布。

这是一种无需打印或手绘标记的追踪方式:摄像头直接识别白纸本身,即使纸和手机同时移动,也能让虚拟画面牢牢贴在纸上。Sketchar团队在2016–2017年、ARKit发布之前开发了这项技术,2019年5月在5.0版中向所有用户推出,并拥有该方法的美国专利11,030,754 B2。

分享这篇长文

黑色星期五:11 月 27 日起立减 50%黑色星期五:现在立减 50%

00:00:00 领取优惠