Google 微软 Apple 无人驾驶 Java 人工智能 大数据 阿里巴巴 特斯拉 Facebook VR/AR 安全 手机 亚马逊 机器人 云计算
揭秘Magic Leap技术背景:混合现实前景如何

Magic Leap的AR技术凭什么吸引这么多巨头

当谷歌、苹果都开始投资并研发虚拟现实技术时,来自中国的互联网巨头阿里巴巴也投了一家还未有推向市场的消费级产品的AR技术公司。

2 月2日,增强现实创业公司Magic Leap宣布,在新一轮融资中从一些顶级科技、金融及娱乐公司手中筹集到7.94亿美元。中国互联网巨头阿里巴巴集团(Alibaba Group,BABA)在该轮融资中领投,此次交易把Magic Leap的估值推高至45亿美元。

此次的融资金额并没有达到Magic Leap的预期,在2015年12月,The Verge曾报道称,私募市场研究机构VC Experts获得的一份提交于特拉华州的文件显示,Magic Leap正在寻求再融资8.27亿美元。

此次阿里领投的融资金额7.49亿美元,比原计划的8.27亿美元少。如果此次阿里领投的融资完成,Magic Leap从第一次融资算起的总融资额将达到14亿美元。

Magic Leap是一家神秘的AR技术科技公司,公司员工超过500人。2014年,这家公司获得了谷歌5亿美元的投资,参与上一轮投资的谷歌和高通,也继续参与了此次投资。

在5亿美元融资之后,就有人抱怨称,Magic Leap拿到融资,什么也没有做成,除了申请了专利和发布了一两支介绍视频之外。

两支视频是在2015年10月《华尔街日报》主办的WSJDLive全球科技大会上Magic Leap发布的。

这家公司的CEO Rony Abovitz说:“公司正在做的产品描述为一款小巧的独立电脑,人们在公共场合使用也可以很舒服。此外,它还涉及视网膜投影技术。”

这 种视网膜投影技术将现实世界用数字影像分为不同层次,用户可借助眼镜等特殊工具观看体验的扩充实景技术。首先,其核心技术在于视网膜投射技术,由光波传导 棱镜从多角度将画面直接投射于用户视网膜,相比一般虚拟现实设备的平面式屏幕更为先进。其次就是类似《少数派报告》中的体感手套,它将成为Magic Leap带来全新的人机交互形式。

一位多年从事机器视觉、机器学习算法领域的人士表示:“Magic Leap研究的与其他虚拟或增强现实设备最大的不同,在于它的核心硬件部分。Magic Leap拥有一种名为Fiber Optic Projector的核心技术,这种‘投影仪’与传统意义上的投影相比,尺寸更小,功耗更低,可以通过一根直径1毫米、长9毫米的光纤投出几英寸彩色图 像。”

有媒体报道,目前Magic Leap已经邀请数百人试用产品,这些人都不是公司员工,他们在试用后对产品都极为称赞。但如何把这个技术产品转化成消费品,可能是Magic Leap需要解决的问题之一。

VR(虚拟现实)和AR(增强现实)都是现在比较热门的领域,谷歌和苹果都在组建相关研发部门并开始招兵买马,Oculus、索尼、HTC的VR头盔则已经上市。

此外,Google Glasss的失败或许预示着,用户不喜欢整天穿戴着一个看起来有点傻的设备。不过Magic Leap公司CEO Rony Abovitz表示,Magic Leap的设备相当美观、非常轻巧,比大多数人预料的更便携、更小。

据 悉,当Magic Leap产品研发完成之后,它将与微软的HoloLens展开竞争。而有消息称,后者本季度就会提供给开发者,售价在3000美元。虽然Abovitz拒 绝讨论Magic Leap的售价,但如果对手是Hololens,那么这个价钱也有一定的参考价值。

要知道,Magic Leap 在 2014 年 10 月获得了来自 Google、高通、传奇娱乐、Thomas Tull、KKR、Vulcan Capital、Kleiner Perkins Caufield & Byers、Andreessen Horowitz 和 Obvious Ventures 等机构和投资人共计 5.42 亿美元的 B 轮投资,融资完成后,前 Google Android 及 Chrome 团队负责人、现 Google 公司 CEO Sundar Pichai 加入 Magic Leap 的董事会。

的 确,不像近期热门的微软 HoloLens,Magic Leap 作为下一代内容呈现和交互平台混合现实(Mixed Reality)领域的竞争者,至今并没有实机 demo 演示,仅有出自官方 YouTube 账号的两段视频。但这并不妨碍我们从这家公司近年来申请的专利和引进的专家来分析他们的技术方向。

光学呈像

目 前为止,无论是虚拟现实(VR)应用还是增强现实(AR)应用,图像本身的路径基本上都经历这样的过程:光 – 镜头 – 传感器 – 数字化 CV 算法 – LCD/LED 显示器,最终我们看到的 AR/VR 内容都是通过 LCD/LED 显示器传入人眼。而 LCD/LED 本身在耗电、重量、体积等方面存在缺陷,是 AR/VR 用户体验发展的主要瓶颈之一。

而 Magic Leap 拥有一种名为 Fiber Optic Projector 的核心技术,这种 “投影仪” 与传统意义上的投影相比,尺寸更小,功耗更低,可以通过一根直径 1 毫米长 9 毫米的光纤投出几英寸彩色图像。

谈 及 Fiber Optic Projector 的原理,我们就要从已经加盟了 Magic Leap 的华盛顿大学 Eric Seibel 教授说起。Prof. Eric Seibel 致力于研究内窥镜已有数十载,他的研究团队曾在 2013 年公开展示一种直径 1 毫米、基于光纤扫描的内窥镜。相比原来动辄几厘米直径的内窥镜而言,这是一种变革性的进步。它的原理简单来说就如下图 —— 内窥镜由基于 MEMS 的驱动器 Actuator、单光纤、镜头组、直径 1 毫米的套管组成。当内窥镜工作时,微电脑通过控制多个驱动器,精确控制光纤末端的扫描路径,通过画直径由小变大的同心圆来完成整个画面的图像扫描,再将数 据回传给电脑合成图像。

揭秘Magic Leap技术背景:混合现实前景如何

Magic Leap 的 Fiber Optic Projector 和这个内窥镜工作原理类似,只是光纤末端并不是用来采集图像,而是发出显示图像的光线,通过驱动器足够快速的扫描,让镜头末端得以逐个投出图像。这个原理听起来简单,要在工程上实现是非常了不起的。

揭秘Magic Leap技术背景:混合现实前景如何

上面我们提到过,这种基于光纤扫描的显示设备有功耗低、重量轻、体积小等优点,而且可以通过多个光纤末端阵列堆叠的方式来实现 FOV (Field of View) 显示。

揭秘Magic Leap技术背景:混合现实前景如何

而对于这种光纤扫描投影仪的画质,想必大家也不必过于担心。通过 Google Patent 的检索,我们发现这家公司已经在为美国国防部研制分辨率达到 4K 级别的光纤扫描显示设备。

CG 和 CV

说完光学呈像原理,我们再来说说 Magic Leap 在计算机视觉技术(Computer Vision,以下简称 CV)方面的成就。

揭秘Magic Leap技术背景:混合现实前景如何

揭秘Magic Leap技术背景:混合现实前景如何

揭秘Magic Leap技术背景:混合现实前景如何

上图来自 Magic Leap 近期的宣传视频,这些都是 CG 特效,并且 Magic Leap 自己也承认视频里的都是特效。这样用于表达 idea 的概念视频在硅谷公司里很常见,并不值得指摘。

揭秘Magic Leap技术背景:混合现实前景如何

揭秘Magic Leap技术背景:混合现实前景如何

接 下来,我们重点针对上图里的这两组进行分析。一如 HoloLens 在去年 10 月首次亮相展示的宣传视频,纵然 Magic Leap 在视频里明确标注了 “No special effets or compositing”,很多看客还是倾向于对它们持怀疑态度。

不 过,要真正在技术和学术上讨论 Magic Leap 在 CV 和 CG 技术领域展现的成果和远景,就需要建立两个假设:第一,视频实在 Magic Leap 设备上使用他们的原创技术生成的,即他们没有说谎;第二,视频是通过他们的设备实时采集、处理并展示的,即从外界感知环境数据到获得 AR 效果图像的整体时间在 33ms~67ms 这个时间范围内。

第一张图中,躲在桌下的小机器人被发现后,惊慌失措片刻向摄像机打了个招呼。过程中摄像机持续在移动,中间桌子对小机器人发生了部分遮挡。在这个场景里:

首先是三维信息感知:计算机必须通过传感器感知三维环境信息,这个传感器可以是普通 RGB 摄像头,也可以是 TOF 或者结构光深度摄像头,但是选择不同的摄像头也决定了接下来算法的复杂程度。

第 二步是三维场景重构,这也是最重要的一步,需要通过所获得的环境信息实时对场景进行三维重构。这里就用到了大家最近在 AR 领域反复提及 的 SLAM 算法,该算法在实时构建三维场景的同时,能够准确地定位拍摄相机(或拍摄者)的位置。有了三维环境和位置这两个信息,接下来的图形渲染工作 才能进行。目前对于 RGBD 来构造三维场景的 SLAM 算法相对比较多,最钟明的当属微软英国剑桥研究院和帝国理 工 Andrew Davison 教授(接下来会多次提到这位教授的名字)共同开发的 KinectFusion;如果用 RGB 摄像头的话,也 有 LSD Semi-dense SLAM 和 DTAM 等算法来获得相对丰富的三维场景点云信息。

揭秘Magic Leap技术背景:混合现实前景如何
Kinect Fusion 重构效果

揭秘Magic Leap技术背景:混合现实前景如何
LSD Semi-dense SLAM 重构效果

揭秘Magic Leap技术背景:混合现实前景如何
DTAM 重构效果

其中 DTAM 也是刚才提到过那位 Andrew Davison 教授的重要研究工作。

第 三步,三维场景识别:当我们通过第二步获得了丰富的三维场景信息后,接下来需要让计算机理解三维场景,即让计算机认知什么是地板,什么是天花板,什么是桌 子,是一张什么桌子,桌子的材质是什么?目前在研究领域,3D 场景与物体的识别才属于起步阶段,受到数据集和采集方式,目前并没有显著的突破。因此 在 Magic Leap 放出的 demo 视频里,他们巧妙地只使用了桌子,一些可以有效识别的物体。这方面的研究工作,领先者又是那 位 Andrew Davison 教授,他领导的实验室在 CVPR2013 会议上提出的 SLAM++ 算法,可以通过 RGBD 摄像头进 行 SLAM 的同时进行实时物体识别,并完成物体的物理建模。

揭秘Magic Leap技术背景:混合现实前景如何
SALM++ 的三维重构和识别效果

第 四步,物理建模与仿真:在识别出三维物体之后,虚拟物件(小机器人)需要和物件发生交互(例如:碰撞),则需要对三维物体的材质进行识别。由 于 demo 中展示的是刚体碰撞效果,仿真上相对容易。那我们推广一下,如果是实时的流体材质仿真,就需要提到 CG 研究领域 的 physically based rendering。该技术通过建立物体的物理数学模型,在计算机中仿真交互中物体的物理变化。如果有一 天 Magic Leap 真要实现概念视频中鲸鱼的效果,大量的水滴溅射效果在移动设备上的实时计算仿真也会是很大的工程门槛。

五,实时 CG 图像渲染:在完成了所有呈现效果的仿真计算之后,便是将 AR 效果实时渲染出来,进而投射在显示设备上。这是个相对成熟的工程问题,也有很多工程师可以回答这个问题,这里不再赘述。

揭秘Magic Leap技术背景:混合现实前景如何

第二个 demo 更多展示的是 CG 图像的视觉效果和分辨率,而 AR 的特性通过现有很多 AR 开源包都能够实现,更多是硬件工程上的工作,不属于这个章节的讨论范畴。

通 过上面这五步,我们可以得到一个流水线程序。从计算机工程上来说,这个流水线覆盖了传感器信号处理、三维重构、三维物体识别、计算机图形学四个领域。在 Magic Leap 所展示出来的 demo 中都体现了现在计算机科学领域的最新研究成果,而它所体现出来的流畅性和继承性,也代表了目前计算机工程领域的最高工业水平。作为计算机科学的研究人员和 计算机工程的从业人员,我都愿意为这些进步拍手点赞。当然,这一切都建立在本章开头的两个假设上。

虽然近期国内技术型创业公司环境显得浮躁,但怀疑 Magic Leap B 轮资方中任意一方的 DD (尽职调查)能力都不算明智,希望这篇文章能作为一个引子,大家重新冷静考虑国内外技术的差距和相对优势。

另外,我愿意相信现在 Magic Leap 设备的尺寸非常大,稍稍分析一下上面这些算法的计算量,就至少需要两台配备顶级 GPU 的顶配台式机。即时 Magic Leap 自己开发了全套 FPGA (短时间内 SoC 的可能性不大)实现,其发热量和功耗也暂时无法支撑它成为一款便携设备。但任何一项技术在理论上得到突破后都需要漫长的工程等待,何况高通参投了 Magic Leap。

HoloLens?

至于 HoloLens,微软现阶段还没有什么担心的余地,目前 Magic Leap 的核心技术微软几乎都有,Andrew Davison 几乎所有重要论文都是和微软剑桥研究院合作的,本来相对偏弱的 CG 技术也通过收购 Intel 手中的 Havok 得到补强。加上强大的开发者社区,未来市场里一定少不了微软的位置。

点赞 0 打赏

我要评论