AR的现状和未来

1. AR的现状

要判断AR行业的未来,就要先调研AR的现状。目前的AR行业有很多技术还未成熟,有不少积极推动技术发展公司和组织,特别是在国外,(在社交媒体上)非常活跃。一些头部公司在解决关键技术问题的同时,开始整合资源,搭建平台,致力于构建未来的虚拟世界。

Unity

Unity3d是一款流行的游戏开发工具,全世界超过60%的VR/AR内容都是用Unity开发。所有的AR平台,比如ARkit、ARCore、Hololens、亮风台都有Unity API的开发包,帮助开发者很容易就能制作AR应用,无需了解矩阵投影、视觉跟踪、SLAM等抽象的概念。在最新的Unity2018版本中,他们提供了ARFoundation功能,把ARKit和ARCore整合成一套接口,开发者只需要开发同一个AR场景,就能部署到苹果和安卓设备上。


ARFoundation架构

Vuforia

Vuforia是做2D图片识别和跟踪的一家公司,国内对AR的认知大多就是“识别图片呈现虚拟内容”,Vuforia功不可没,很多中文AR教程都是基于Vuforia来做的。市面上绝大部分AR应用都是基于Vuforia的。Vuforia和Unity无缝集成,可以在Unity中直接勾选一个选项就能激活Vuforia的功能。


2D图片识别

Leap Motion

Leap Motion 的核心技术是手势识别,他们有一个小盒子,嵌入了深度摄像头来捕捉手掌和手指的动作。前些年在互动多媒体上用得多,现在他们推出了一个north-star北极星开源计划,把盒子装在了一个透明屏AR头盔上,实现了非常科幻效果。传言苹果两次收购Leap Motion都遭到了拒绝。


Project North Star演示

Niantic

他们是16年大火的pokeman go的开发商(任天堂是运营商),他们在多人AR技术(数百万用户共享状态和交互)是全球领先的。 另外一些其他AR关键技术,比如遮挡也做得很好。


Pokeman Go

三星

三星在11月7日举行的开发者大会上,公布了名为Project Whare Cloud的AR云服务,以及一款新AR头显。Whare可以让多个AR开发者、设备和用户查看共享信息和现实世界中叠加的虚拟物体。图中是和wacom合作的应用,用户不仅可以在现实世界中绘图,同时可以根据应用程序对周围环境的解释插入3D内容。


whare演示

Google

一些大公司开始成为整合者。Google利用早些年在另一个研究增强现实的Tango项目上积累的经验,在苹果公司推出ARKit后几个月推出了ARCore,主要是只利用手机相机, 实现设备移动跟踪(利用陀螺仪+电子罗盘+加速度计+相机视觉信息+SLAM算法),环境理解(识别水平和垂直平面),光估计(估算光源的角度和强度)。1.2版本推出了云锚点(实现多人AR)和图片锚点(识别跟踪图片),后面版本强化了这两个功能。另外还和国内的小米、华为合作,让新上市的设备直接支持ARCore。


ARCore Demo

今年Google推出了一个叫VPS,visual positioning system虚拟定位系统的项目。他们通过Google地图积累的数据,根据手机的位置、朝向和看到的画面,直接定位手机在世界中的三维空间位置。但是还未公开SDK,应该还在很早期的阶段。


visual positioning system

Apple

苹果公司对AR的重视程度大家都应该知道。去年推出ARKit开发工具,让全球几十亿的设备拥有了AR的能力,1.0版本功能和ARCore类似,设备移动跟踪、平面识别、光照估计,跟踪很稳,可以大范围移动设备。ARKit1.5版本有了图片识别跟踪功能和Face ID人脸定位。ARkit 2.0版本推出了另外一个重要功能叫AR world map,把环境以点云的方式存储,可以实现特定物体和特定环境识别定位,内容持久化以及空间多人共享。


arkit多人游戏

去年传出消息苹果一次招聘70位地图团队相关的岗位,应该是为了推出AR地图做准备。AR地图不仅可以让终端用户使用,对于自动驾驶也非常重要。


AR地图导航

分析师估计2020年苹果会推出消费级的AR眼镜。这肯定会引爆AR行业,很多国内的手机厂商会跟风做眼镜。
iGlasses

微软

MR混合现实,可能是微软为了突出HoloLens优势提出的概念。AR和MR的界限很模糊,通常把能理解环境、非移动端的称为MR。


VR AR MR 区别

微软16年就推出了Hololens,到现在来看都还是综合实力最强的AR头盔,可见微软在这方面技术积累有多深。传言2代今年会推出,但现在还没有什么消息。


HoloLens

后来应该是Hololens太贵不好卖,微软又和几家电脑厂商(dell asus 三星 hp acer)共同推出了混合现实头盔,价格两三千人民币。这个设备比较像VR头盔,但前面有两个摄像头可以实现6自由度的跟踪,不需要定位器。
mixreality headset

Magic Leap

Magic Leap就是那个融资20多亿美元搞了7年,被吐槽做了个视频特效宣传片骗钱的公司。今年推出了他们的首款AR眼镜 Magic Leap One。


magic leap one

令我惊讶的不是他们的眼镜,而是他们软件的思考和规划。
前不久他们有个会议,公布了后续开发的计划,包括虚拟角色社交,AI智能助手,基于web技术的sdk,城市级的AR等。看了后感觉他们是真正创造未来的人,感兴趣的可以去看看。


magic leap roadmap

会议中,他们创始人提到有4个北极星(公司会一直追寻的目标)
magic leap 的4个北极星
  • sensoryfields computing:制作模拟人类五感感知世界的设备,更小更快更适合佩戴,magic leap one只是初代产品。
  • life stream:根据你的个人状态(情感,位置,想法)广播给环境,环境展现个性化的内容给你,人本身应该有属于个人的数据集。
  • human centered AI:根据你的数据集训练一个AI,可以把这个AI当做你的朋友或者是助理。就像银翼杀手2049中男主的虚拟女友。
  • magicverse:不限制于房间,有许多城市级的虚拟层。不仅是静止的数字世界,而是不断更新、移动、有情感的数字世界。

2.AR的未来——AR云

都说AR的未来是人人戴着AR眼镜,我的看法有些不同,眼镜如果没有杀手级应用和足够的内容,是无法取代手机的,可能只会像智能手表一样作为一个补充设备。对于2C的硬件来说,要先有杀手级应用,硬件才卖得出去,就像Switch上的马里奥奥德赛和塞尔达荒野之息作为保驾大作。而AR云将会是这个AR领域的杀手级应用。

AR云是什么?——整个世界的数字化

AR云

《失控》的作者凯文凯利提到未来的互联网3.0是整个世界的数字化

一个基于现实世界的 AR 云实时3D 地图将会成为计算领域中最重要的软件基础架构,远比 Facebook 的社交蓝图或 Google 的排名指数更有价值。简而言之,随着 AR 云的出现,整个世界将成为一个可以共享的空间屏幕,实现多用户之间的共同参与协作。——《福布斯》Charlie Fink

为什么需要AR云?

为什么需要ar云? 至少有以下三点:

  • 单机=>在线: 2010年我的第一台智能手机,只能玩单机斗地主,而现在都是上网和真人斗。目前的AR体验就像单机游戏,需要互连,需要协作,需要分享
  • 下一代搜索引擎:通常会将AR云视为搜索的进化,未来会很多人会在AR世界的旅途中寻找惊喜。 AR云不会像传统的搜索那样,将请求写入搜索引擎并接收一些html文本,而是为我们提供所需的视觉信息。这一切都是为了在正确的时间在正确的环境中接收正确的信息 —— 甚至不需要主动查询。
  • 商业价值:在多个领域具有巨大的商业价值:游戏 自动驾驶 智慧城市 社交 展示 广告 交通导航 零售 文物 制造 教育 旅游...

怎样实现AR云?

  • 真实世界1:1的数据集:首先需要构建一个与真实世界一致的数据集,包括现实世界的位置坐标信息、场景视觉特征等,并且能够现实中的变化进行更新和扩展;一开始的数据采集,可以引导用户扫描空间后上传,也可以像谷歌街景车那样去拍照,或者用无人机去飞。
  • 快速定位:终端设备要可以在任何有网络的地方接入这个云,并能快速准确定位。通过设备的GPS、陀螺仪、加速度计、电子罗盘、摄像头视觉的信息,获取点云和图片上传到云端,和云端的点云匹配,返回位置角度信息。
  • 可交互的虚拟内容:可以在任意终端内呈现这些数字化的可交互的内容,并能够实时更新,还能支持不同设备之间的体验和交互。
  • 多人在线互动:支持几十亿的用户在任何时间地点创建和体验AR信息,并实时同步和共享状态。

虚拟世界可以有多个版本,就像有很多个游戏服务器,用户可以根据自身的需求去选择。在基础物理和数字世界上,可以选择进入不同用途的AR云中(交通、能源、健康、社交、娱乐……)


MagicVerse

实现AR云所需解决的难题

  1. 点云存储问题:之前研究扫描一个1313米3米的展厅,扫描的点云有50兆的大小,如果是存储整个昆明市区(330平方公里),垂直高度50米的点云,需要1630TB的空间,纯买硬盘都要花40万人民币。更别说其他服务器配件的花费,要有足够的钱去烧。需要对数据结构进行优化。
  2. 联网延迟掉线:传统的网络游戏,解决联机掉线问题都要花很大的功夫,一个互动多的游戏,服务器最多只能承载1万人。在AR世界如果出现延迟漂移,虚拟和现实不同步,可能会非常奇怪。
  3. 用户体验(UX)问题:例如,如果场景中没有预先存在的地图数据,用户需要花费相当多的时间预先扫描场景以收集图像数据。则需要引导用户扫描场景,这对于用户体验来说非常不好。另外跟踪非常容易丢失,一旦丢失又需要重新引导用户去扫描场景。AR云应用需要良好的用户体验设计。
  4. 缺乏内容:当前的AR应用多以工具为主。还缺乏能让用户成瘾的内容,像抖音那样。只有用户一直使用,才能不断捕获、聚合和保存密集点云,让云变得更完整。 之前的pokemango很成功,需要创造更多类似pokemongo的多人互动的内容。
  5. 其他技术不够成熟:另外一些其他关键技能也不够成熟。需要更自然更智能的语音交互,需要AI技术去处理或者是生成庞大的数据,需要低延迟高速5G网络,需要区块链去激励人们创造和交易AR虚拟内容,需要物联网让现实世界更加信息化,和AR云产生协同。

国内外的AR云

国外:已经有不少公司在弄AR云,除了前面提到整合者的三星、谷歌、苹果、Magic Leap之外,还有数十家初创公司,其中至少有3家公司6dai,blue vision, ubiquity6拿到了融资。一部分公司已经开放AR云相关的服务。
国内:还没有公布做AR云的公司。亮风台、百度、商汤、华为、easyAR等公司提供的AR服务依旧还是云识别、SLAM、人脸美妆这些功能。相比人工智能,国内对增强现实的关注度要低很多,导致了资本、研发、人才的相对缺乏,没有什么公司在做AR云。目前已有的AR云平台还是提供图像识别功能的云,和前面说的AR云有很大的不同。我觉得最有可能在秘密研发的是百度,他们有无人车项目,有百度地图,我还搜到一篇17年关于三维地图的发明专利。
不过国内的互联网产品一向是超过国外的,相信关键技术一旦解决,很快就能用上社会主义的AR云了。

相关阅读推荐

《AR 的搜索引擎》 — AR 云 https://weibo.com/ttarticle/p/show?id=2309404234422663698371#_0
《为何没有AR云的AR应用举步维艰?》http://www.ejbc.net/information/view/369
《一点关于AR云的思考和分享》 https://zhuanlan.zhihu.com/p/44079215

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容