20苹果开启AR黄金时代MG电子模拟器光学创新
除了微投外◁••,波导镜片也是呈现系统的核心之一•▷•○●。此前大部分AR镜片基于分光镜实现•=■▲…◆,通过45度倾斜角将从投影仪投射来的光线反射入人眼■▽•,也同时允许现实世界的光透过-●•☆★●,此类分光镜片通常较厚●-□△,受限于制造工艺大面积的镜片生产成本高◁•▪△□、良率低•◆,且所提供的视野极为有限••▷▷◆。以色列Lumus公司一直在研发波导式AR光学方案□△▼-■★,并实现了1=▽■.6mm厚△…▲▼、40度视场角的镜片=☆◇◁,在2016年的CES大会上Lumus展出的AR眼镜DK50和DK45即配备了公司最新的透镜显示器◁▽■■▼◆,采用了Lumus独立开发的△…○○▼=“光学引擎模组□◇”=★--☆=,其中光导光学元件(LOE)也即半透半反的波导显示镜片正是该系统的核心◆◇▷。位于太阳穴位置的投影设备将光线打到LOE镜片上进而反射入人眼▪-,所带来的观看体验就像■▷★…“在10英寸的距离下观看87英寸的显示屏•★□△◇”★…,效果十分震撼◆▲▲▪。Meta据此方案推出的可穿戴设备MetaPro▽▼◁▷,国内创业公司灵犀微光也掌握了耦合光栅和光波导技术▼■▪,其推出的AR第一代原型机中实现了在1•○▽◆★○.7毫米镜片上显示30~40度视场角的AR影像▲◁•◇。国内苏大维格于去年研制成功了纳米波导镜片●□,其镜片的FOV参数优于市面上大部分产品▽□=。
AR信息呈现依据真实环境的显示方式可分为光学式和视频式★▷。视频式AR与VR的显示技术相似▽◇=○,同样受制于分辨率▽▪-★☆☆、刷新率▽▪、延迟等关键指标…◆…,体验效果并不好★▲▷•▼=,Google Glass-▲▷□=、HoloLens▲★◁☆▽、Meta等都采用了虚实融合效果更好的光学式显示路径…△☆…•=。光学式显示的核心是波导镜片和微投设备=◇△,环境信息直抵人眼■◁,而虚拟信息则由微投设备投射到显示屏再反射到用户眼中▪▲•▼◇。
ARKit带来庞大的受众群★●▷,平台规模优势显著▪•☆●。重量级的VR/AR设备最大的问题就是市场存量严重不足▪▷,受众狭窄○•,出货量比智能手机低了3-4个数量级◁▲▪▷●▼,大规模的用户群无法被培养●◁…▪▽。而ARKit则为开发移动AR应用提供了通用的平台▲▪=••▲,直接带来大量的用户•▼•。基于iOS高粘性的用户群和Apple Store背后庞大的开发者团队◆★◁,ARKit轻松成为全球最大的AR平台•▪,可使AR受众一举站上亿级=▽•。据Loup Ventures预计=▪,在今年秋季iOS11正式推送后=•,支持ARKit的设备将达到2亿台=●20苹果开启AR黄金时。而VR/AR投资机构VentureReality Fund近日发布的2017年第二季度AR公司全景图显示●=-…,第二季度关注AR的公司比第一季度增长了60%◇=▪★,主要原因正是对苹果ARKit的期待▷▪■。
总体来看▲▼,在安卓阵营中…○=●▲◇,三星在AR产业上的布局最为完善•●■▼▽,不仅拥有强大的科研能力▲◆■◁=□,还通过大规模的并购与合作试图建立更加广泛的AR生态系统○○=■○,实现AR与AI=★…★▲▼、VR◁…▪、汽车等相关技术与产业的深度融合…•▷。
AR工具ARStudio主要面向专业化的开发者◆◇○◇,目前Facebook正大力推广AR Studio▷■●◆,为其创造更多的使用场景◆…▪■▪。如Facebook与美图合作=○◇▽☆●,选择后者作为AR Studio首个开放的亚洲开发团队▪•,共同改进相机效果▪▼;EA公司在AR Studio中进行尝试★▲-◆▷○,增强旗下游戏《质量效应■▽▲●◇○:仙女座》的特效●◆▼=•;AR Studio还与知名游戏《部落冲突》合作•☆-●▽▲,在游戏中加入AR体验••-◁。
3D成像并非新鲜技术▷◆▪,此前在微软Kinect等体感设备中已相当成熟▽…■。然而将3D成像搭载在手机却并不容易■☆,关键在于体积做小▽□,算法化简••☆◁。3D成像目前有三种主流解决方案▷…●…:
其中•◆,注册跟踪技术是AR的核心技术◇▪=▽•。将虚拟物体显示在现实世界准确位置的定位过程称为注册▪◁=▼□◆,按照观察者的当前视场重新建立坐标系并将虚拟物体显示到正确位置的过程称为跟踪▪●…◆-。注册跟踪的目的是判断用户所处的位置并确定添加虚拟内容在摄像机坐标下的位置◆★-。比如说▼□=☆▷☆,在AR辅助导航中如果想把导航箭头□★▲“贴在=●”路面上○★,就一定要知道路面相对于自身的位置●▪■○□,进而将□□■•☆■“箭头•■”进行三维变换使之与真实的路面合二为一=◇•◆。当然…▼◁-,前提是需要利用物体检测识别技术从二维图像中寻找符合路面特征的物体○▪-◇★。随着计算能力的提升•□■▲-,注册技术从早期将已知的二维marker放置在空间中进行位置标定◆◇…▽■,演进到在陌生环境中依靠视觉算法实现自身定位并重建环境地图◇•◆★。
另一方面●◁=…-◁,在移动性(重量和体积大▷☆,必须有wifi)=▽★▷、应用生态(缺乏平台支持=◁○▪☆○,仅有800多款VR/AR应用)-▽▼▽、价格(售价昂贵)和续航(仅2h-3h)上◆▽,重量级AR终端则有天然的劣势△-●。消费者花高价买回来的设备△△,使用却存在诸多限制(应用•▼□☆▲•、地点▲◁、使用时长)MG电子模拟器◆▲▽…■▽,真正在用的只有喜欢尝鲜的科技发烧友▽○◆▷-,普通消费者不会为此支付溢价•◆◇=。
可见○☆=,3D成像不只是为了拍照◁☆▲,更关键的是要获取深度信息•▲◇◆▪,重建真实世界以服务于后续的交互动作◇△△○◆。如果只是要把照片拍好▲▼=,那双摄已经可以基本满足要求•……▼◁▪;而如果要借助光学去人机交互▽●…□△■,3D成像则必不可少◆•◁●-。可以说■•▷○▪,正是交互的需求催生了3D成像-◁。如同曾经的触控将人机交互由一维拓展到二维平面-◇▪☆▷,3D成像带来的是二维到三维的又一次升级-▽△■▪,是新一轮交互大革命◆▼▽…▽。
而在轻量级的移动AR领域▽▼☆▪◁,此前3D成像没有跟上○▽◇▲■•。以往的2D摄像头由于不能获取深度信息★▲●…-,无法达到对环境的精准理解▷□==•,导致大部分移动端的应用都功能简单☆=,与浸入式体验要求相去甚远★••☆○。3D成像技术大规模导入手机之后•◇,移动端输入上的短板将被补齐▷=•▼,为新一轮的移动AR浪潮奠定了先决条件●△•••▷。
因此若能在移动端上实现AI框架=▼◁◁☆□,成本和体积更大▼◆。到Meta和Lumus分获5000万美元和1500万美元的B轮◁•◆…▲▼,受制于计算量◇▷,以及用于探测运动和眨眼的传感器□○。
移动AR之所以能快速普及▼▼☆■◁■,背后的逻辑在于可借助已有的智能机终端就能完成渗透-▼,而不必等待硬件冗长的迭代周期★△★■□□。依托智能机▷…,移动AR天然解决了5大痛点中的4个■■☆:低边际成本▲●▼-,高续航时间■★,便捷灵活和庞大的APP开发潜力■△▷•。不论对用户还是开发者◆▷,移动AR的门槛都很低…-▽•。而在3D成像落户智能机之后◇▷◆•,硬件短板也被补齐▲▪,移动端也能获得逼真的轻量级AR体验□●▲◇●■,辅以ARKit…□▪=、ARCore等平台所赋予的软件潜力○▪■,智能机或将成为真正的大众级AR消费平台■•□★。可以说-•●,相比于头显★=○、眼镜等AR设备-▽,移动AR最有可能率先打开市场○□▪○○。
苹果的AR团队成立于7年前•◁,团队负责人曾担任过Meta公司的顾问△=。2015年收购有☆★●▼■…“AR鼻祖▽▷••”之称的德国公司Metaio之后■●◆…□=,更是将Metaio公司100多人的研发团队从慕尼黑搬到了硅谷▼▼▷☆◆•,并构成了苹果当前AR团队的中坚力量◇■,研发队伍可谓人才济济▪◇★•▼。
Tango计划不顺使谷歌切换思路●★,将重心由AR专用设备转向通用型移动平台◇…▽◆▲△。在苹果推出ARKit平台之后-•,谷歌也于2017年8月推出了安卓版的通用平台——ARCore★■▽=•,与苹果正式争夺移动AR市场…★▪。相较于AR专用设备Tango☆•○•□■,ARCore平台对硬件的要求相当友好△•☆△。安卓手机只需装载Android7○□.0以上版本▪☆,无需额外硬件▼◇=◇,由此开发者在安卓系统开发的AR应用受众规模将大大增加-▽▷,可吸引更多开发者参与其中▷■△-。目前ARCore测试版平台已支持三星S8与谷歌Pixel▽▲==○◇,待2017年冬季发布其正式版平台■▲★=,便可与市面上更多机型对接△◁-▽◇。ARCore将硬件选择权交给了手机厂商▽□,高中低配都可支持▪▪=□•,无疑将拥有远超Tango的普及度△■•▲○◁。
谷歌早期便对AR/VR市场产生兴趣●▪…,先后收购或投资了多家拥有相关技术的公司◆…▪。2012年◁◇◇▲,谷歌发布智能眼镜Google Glass☆•,但受限于售价高昂以及体验较差☆-,销量并不乐观…☆○•▼,谷歌已于2015年宣布放弃这一计划…••■▷△。
随后•☆▲,经过WWDC大会的预热△▼••▪,苹果在新机发布会上重磅推出了搭载3D成像的十周年纪念机▷◇●•,一举补上了移动AR的最大短板▪◆☆■,向外界宣示了其以移动端为突破口打进AR市场的决心◁◆△…。苹果高调入场势必引领AR新浪潮-▲◆,重塑AR赛道和方向-◆。我们判断AR将从移动端开始大规模落地=△,并逐步向重量级设备渗透◇☆★▲=,进而激活整个AR行业◆△▽…。
三星在今年正式发布了Exynos9系列八核心8895处理器○☆-★。作为旗下最新款旗舰处理器▽▷◁▷•,三星Exynos 8895采用10nm FinFET制程工艺▷▷,相比前代14nm制程…-◇▽■=,CPU性能最高提升27%☆…■-◆,功耗可低40%◆-▼☆…◁。8895处理器重点改善GPU部分…■•◁▽▼,集成20个GPU核★•▲,性能提高60%▪★▪,可以更好地支持高品质3D图像•…▪•▲▼。
其次☆△□▽☆◁,从硬件来看■▷◇,尽管苹果拿下PrimeSense后不再对外授权◆◁▽☆,但安卓也有能力绕过苹果在3D结构光上的技术壁垒▽◇•◁☆○,不论是欧菲光与MV的合作还是奥比中光等国内厂商的自主研发量产▲△▷▼,都为国内手机厂商提供了可能的技术路径•-=。
PrimeSense主打的Light Code方案兼具成本和体积优势●△☆,因此能率先被导入前置镜头组中☆▽。PrimeSense主打Light Code方案▷▼,Light Code仍是结构光的一种◁=▽●★,但与传统结构光方案不同的是●•●,光源打出去的并不是一套周期性变化的二维图像编码-…,而是对红外光源进行控制□==,投射出具有三维纵深的••■◇“立体编码○◆◇▪”•■……●,这种光源称为激光散斑▪=◁,即照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点▼△●△○,因此深度计算的方式有所不同□…。Light Code方案的优势非常明显◆=▲:一方面它不需要特制的感光芯片▷○-■◁•,普通的CMOS即可-•□■▼,大大降低了成本□•=○;另一方面它不通过空间几何关系求解◁▪■,测量精度只和标定时取的参考面密度有关●▼◇△-,因此不用像一般的结构光那样为了提高精度而将基线(光源与镜头光心的距离)拉宽●☆,有利于体积小型化MG电子模拟器••△■•。Light Code成本和体积的双重优势•○★…□,使之成为目前最契合前置镜头组的方案■◁•。而PrimeSense宣布2015年后停止对外技术授权■☆•★△▪,那么独家拥有此技术的苹果也就自然而然再次占据先机☆=●△,得以率先在交互性强的前置镜头导入3D成像△▼▪◇。
苹果有用生物识别代替指纹识别□=、导入全面屏的迫切需求☆▪。从新版MacbookPro取消USB•◇◆□◆…、HDMI●-●○▽★、电源接口◆••☆▼,到iPhone7摒弃3◇▪○▼.5MM耳机接口▼●,□▪□…“机身一体化★☆”是苹果持之以恒的追求•■。用人脸识别替代指纹识别◇-△,可使苹果取消Home键◁○◇○…,引入全面屏•▷,符合▲•▷○“机身一体化◆•▲★”的理念★-▲★◁▲,也大大增强了消费者的触控体验★=。同时▷◇□▽=□,人工智能时代来临▽△,3D成像支持下的生物识别更加安全◆◁-,伴随深度信息的测量也可解锁更多的功能和玩法-•…-,使手机更加有趣▽■▪▪▽。
此外-▽-▽,其零组件都包含有信息输入▪•▼▪-▷、信息处理和内容呈现三大环节★◇△▲◇•。其中于2014年9月申请的AR隐形眼镜专利引人关注▪--,公司作为A股光学镜头稀缺标的•●◆●▼,目前◇★○◁○•,对AR的意义相当重大◆•▷。在运动相机基础之上▲▷◆○▼,三星公司近年来不断收购AR/VR领域的初创企业•☆▽-○,
苹果拿下PrimeSense▼■▼▼☆,无疑占据了3D成像行业制高点◆■○△•-,并借此把控了整个行业的稀缺技术资源▲◇,迫使对手不得不另辟蹊径寻找替代方案▲★○。PrimeSense是苹果构筑技术壁垒最核心的环节●◆□◁,除此之外•□■■▽…,3D成像其他核心零组件如VCSEL□○▲=、DOE等领域的龙头大厂也都是苹果供应商◇☆▲-△■,优质供应链悉数被苹果锁定▼◆•◇。可见◆▪●●□,在3D成像方面▲▪□,不论是技术储备还是供应链○▲●◆-,苹果都遥遥领先△◁▪▼◇。
目前是全球范围内少数几家具备核心研发能力的镜头设计生产厂商▪▼▽•○。将极大提升AR处理能力★▲•▷■。只允许与发光元件发出的光线波长相同的光通过•△•…△,镀膜滤光(窄带)对于3D成像必不可少•-=△■,再到风靡全球的Pokémon Go▪▼◁!因此不论是TOF还是结构光■-…▼▷□!
配备了小型显示屏▼☆▽▷、摄像头•-◇★◁、天线-••,公司聚焦光学大赛道◆□▽,对空间场景的理解使得影像投射符合物理规律(例如全局地图显示前方有大量障碍物••,此外▲◆•▷•,其步骤包括图像捕获-特征点提取-与全局地图比对-位姿计算-地图更新•☆…▪!
众所周知▼○□,交互从1D向2D的跨越正是由苹果引领○•,多点触控电容屏彻底终结了按键机○=★☆▷代MG电子模拟器光学创新。为什么这次又是苹果•▼•?
移动端AR的意义已经引起了国内外厂商的普遍重视▼★=▲,继苹果发力之后▪▲★•-☆,以谷歌领衔的非A阵营也纷纷投入重金布局加码▷△,踊跃跟进○●。可以预见的是◁▲▽□▷■,在如此广度和深度的行业参与度下▷▲,移动AR即将迎来黄金时代▷-▪。
高通在去年发布了基于三星10nm FinFET制造工艺打造的处理器骁龙835▷△。骁龙835采用了高通自主研发的Kryo 280架构▲☆○,内置Adreno 540 GPU并且支持双摄▼◆▪●•。其中光学变焦Spectra 180 ISP大幅提升了图形处理能力■-□■,X16LTE调制解调器则使得骁龙835成为全球首款支持千兆级下行速率的旗舰处理器◁□。除此之外△▪=▪▷,目前三星Galaxy 8•◁•★▪•、索尼Xperia XZ◇△、小米6等机型都选择了骁龙835作为处理器○◇。
苹果入场势必引领全球AR新浪潮▪▽-▽◆。我们认为▼◁•▲▲○:苹果示范后•▪★▪△,AR将沿着由轻到重的路径◁▲■□◇☆,分3轮波次渗透-▲●-☆:首先■▽▪•▷▲,以通用的智能机为搭载平台△◆△■,由苹果引领移动浪潮快速打开市场•●▼☆,打造生态△…-;其后…▪,在用户和应用达到一定规模后▽▷▷▽…,出现与智能机捆绑使用的眼镜▽★★、头显等专用显示设备▷▲☆★△○,智能机负责信息输入与处理◁△••△,显示设备负责三维呈现◇○▪★◇◆,彻底打通输入和输出☆▼▷•…▼;最终▼◆◁▷◁•,待技术和生态完全成熟后过渡到类似HoloLens的集输入输出计算于一体的终极形态•★▲□。届时▼◆▪,一体式设备将与移动端AR形成高低搭配•▲•,泛化为下一代计算平台◁■▪…。
与苹果进行比较▪--,由于苹果对从iOS系统到手机硬件的每个环节都掌握控制权-•,可以深度参与AR APP在不同产品设备上的运行体验▽…△▼…。而安卓机种类多◇★○▽◁,硬件水平不一○▷,所以对于登陆安卓系统的ARCore平台◇▽-,需要考虑不同安卓手机之间的硬件和软件差异•■☆,必将延缓ARCore的普及速度△○▲=▷○。同时=☆□★○,安卓手机来自不同厂家==▷,谷歌也难以对安卓AR APP进行全面的监控•■◇…▽=。所以▲○▪□=,与软硬件都有雄厚实力的苹果相比•=○▽,依赖安卓和其它零部件供应商的谷歌处于一定的劣势-…-□▼=。鉴于此•◁△◇,谷歌推出了Pixel系列手机◆…,可与ARCore平台对接■◁,以弥补硬件实力上的不足-◇◇□…■。
正如我们前文所提▪◁◆□■◇,AR以影像信息为交互载体■■▪▪=▲,因此3D成像是信息输入的核心…▪。3D成像与2D成像的摄像头有较大差异…■。一方面▪▷•,3D成像的光电转换器件仍是平面传感器•…☆,类似于可见光CMOS-•,但是3D成像是通过特殊的技术手段去计算出深度信息▲…,如计算时间●△△…•▽、畸变等变量◁•◆★☆;另一方面•□▪▼,为了和2D成像相分离▽★•◁■,避免可见光的干扰●▽,3D成像必须使用特殊波段的主动式光源□★,而2D成像一般是记录物体反射的可见光▼●◇,即使在暗光情况下的补光灯也非常简单•○▷△■,并不如3D成像一样对主动光的散射▷▽、平行……、波段等有着严苛的要求-…■☆▲◆。此外○▷◇◇▽●,两种成像方式由于接受的波段信息不同…○▲,使用的图像传感器CIS也不相同△=◁●☆。
移动AR的爆发力可以从当初PokémonGo的火爆形成直观感受◆◇◆▼□○。Pokémon Go在美国上线小时即摘得游戏排行榜首…▼▪▪,微博单日线万★○,上线三天内活跃用户数赶超Twitter…•◁◇▪,服务器宕机数次▷△◇○•▷,用户使用时长全面碾压三大社交网络▽△▲■…。漂亮的游戏数据引爆了资本市场对任天堂盈利的预期与股价的追捧☆★△▽…■,游戏发布两周内任天堂股价接近翻倍…▼△●,交易量占到东京证交所主板四分之一•□…,且市值一度超过索尼▼=。
3D成像所获取的深度信息对SLAM必不可少•☆▷•。SLAM从二维图片到三维空间的映射需要深度信息★▼▪,所有基于SLAM的AR专用硬件或解决方案都搭载了3D成像□△◆。微软发布的HoloLens头显配备了四台摄像头…■■▷▪☆,可以实时计算空间深度图…▪▼•,进而通过其拥有的KinectFusion专利技术(本质上是基于Kinect深度图的SLAM技术)实现精准的位置定位与跟踪□■•◁△■;联想与谷歌联合开发的Phab 2Pro手机=◇▲=,基于Tango的SLAM技术◁◁◆,该手机配备的深度摄像头和动作追踪摄像头能够对现实空间进行三维建模◆=●,为各类AR体验奠定了硬件基础▲…。Magic Leap同样借助基于视觉的稀疏点SLAM解决定位与环境感知问题○◁…,因此也必然会搭载3D成像●◁▷▼。可以说▼•,3D成像正是AR不可或缺的输入方式•-▼。
3D成像补齐输入短板▼◆。ARKit平台的优势在于不需要配套专门的硬件设施=▲,单摄像头iPhone和iPad也可呈现出一定的AR效果★•▷。但传统的2D摄像头限制了三维世界的重构=▼△▽•,导致用户的体验下降=▷★。苹果在iPhone 8中引入3D成像◁▷■▲,成功补齐了AR的硬件短板▲=。同时苹果具备强大的下游掌控力度●▲▷◆…◆,设备的硬件标准掌控在自家手中△◇▷•★…,可使硬件与软件更好的配合▲•★,发挥最优性能◇○…▽,打造最为优质的移动端体验☆•□■-。
DLP是另一种热门的微投影技术•=▼-。数字微镜晶片(DMD)是DLP的基础◆◆◁,一个DMD可被描述成为一个半导体光开关▲-★,由静电作用控制微镜片的旋转角度反射需要的光或吸收不需要的光以实现虚拟影像的投影□▪◁▲▼,该技术目前被德州仪器一家垄断…☆◇•■★。根据报道◆-,微软HoloLens采用的就是TI提供的DLP技术▲-◆□,通过光路设计将DLP投射的虚拟场景成像在无穷远处■-★◇,与从半透玻璃看到的真实世界光路重合=○■,借此打造出虚实结合的视觉体验◁•▪•。与Google Glass的单目投影不同=◆★,HoloLens实现的是Stereoscopic3D技术•…▼•□▽,左右眼都配有投影设备投射水平方向存在视差的图像来打造景深感◁•,因此HoloLens可以将虚拟信息进行立体呈现▲-▷。2015年▲▲•▽-◆,微软配合硬件开发了HoloLens定制版《我的世界》游戏◁▷▽■,玩家通过语音○◆◁、动作来放大/缩小镜头•◁、任意移动▷☆○△○●,提供的是游戏的空间而非传统的游戏平面==☆□▪,具有跨时代的意义★◁。
苹果拥有移动领域最完整的生态系统-●•▽:硬件掌控力☆◆…-、操作系统◆●□、应用商店▷▲、庞大的开发者群体以及高客户粘性◆▽-。对于移动AR而言△▪□-◇▪,苹果这些=-★…•◁“基础设施==○…”最为完善•△▽▼▲,最有潜力担纲移动AR发展的推动主力☆…。而先后推出的ARKit和3D成像•★▼,无疑使苹果具备了激活移动端AR的能力▼●▽△★。
信息呈现•△★…☆:微投+半透半反镜片营造虚实难辨的效果▼○…-,四维光场或突破技术天花板
虽然苹果率先推出ARKit和3D成像-△□●▽,通过对软硬件绝对的控制权…★●=▲,一举成为移动AR领域的领头羊△▼=◁□,但此次安卓阵营也有能力跟上苹果的步伐=★■=•。
双目视觉技术-◆○▪☆▷:该技术方案通过两个RGB摄像头模仿人的双眼•★,通过标定后的双摄像头得到同步曝光图像◇★,然后计算获取的二维图像像素点的第三维深度信息▽■-…。代表厂商是在手势识别领域的领先者LeapMotion▽-▷●◁▷。
MV(Mantis Vision)位于以色列◆=▼▪□◇,与PrimeSense同年成立◁•□•☆☆,核心技术是编码结构光技术(Coded Structure Light)▪▪-▲□。与PrimeSense相比●▽◁,MV的方案光源投射的是连续编码光★■,解析度更高◁•◇▽,不易受噪声影响◁•-▪;PrimeSense打出去的则是激光散斑■☆☆▷-○,优势是体积更小▷…•●■◁。因此MV的解决方案可绕开PrimeSense的专利壁垒◇◇,为市场提供另一种技术路径☆▪●。
双目方案算法实现非常复杂○▪,寻找像间对应关系时需要特征提取…▷☆、特征匹配等一系列复杂的算法●■,同时光照变化☆●▼◆▼▼、光线明暗等外在因素的影响会对算法提出更大的挑战=■。相比于双目的被动方案◇-△•,基于主动光探测的结构光/TOF具有算法简单▷…▽,响应速度快●◁●◁,识别距离范围大等优势◁■▲•◁-,因而更加契合交互场景的要求▲●■…◆◆。而就TOF与结构光之间对比而言○△◇=■,结构光在便携性○☆、成本◁▷、成像速度与延时方面占据优势■★=•○■,将率先借苹果新机登陆前置镜头-△■;而TOF抗干扰性更好▪…●▷■-,探测距离远▼◇▪△,未来将在后置镜头大展拳脚••□,对接长距应用场景●•▲。
公司当前独占全球市场80%份额★◇…•▪▼,但是TOF芯片每一个像元要对入射光往返相机与物体之间的相位分别纪录=▲▪•,在增强现实中◇□●◆,通过探测光脉冲的飞行(往返)时间来得到目标物距离●◆…▼☆▽。Gopro○-◁△▷□、小米●◇●◁•■、海康等均是其客户•◆▪--▲。TOF●◆:TOF(Time ofFlight)的测距原理是通过给目标连续发送光脉冲◁○■□○,可以观察到一些相同特征点在不同时间点的三维坐标◁▷-◆,技术积累丰厚…=□•。收发两端都要用到▪□○▼◆。SLAM根据摄像头▷-▪…○、惯性传感器捕获的视觉/运动信息□▽=。
安卓手机厂商对于AR的热情从未削减…●▼。Tango计划推出时▽△▽,受限于该平台对手机设备严苛的硬件要求★▪☆-▷,仅有两种机型完成与其对接▽△○▼☆○,最终在消费者中反映不及预期★▪。而随着谷歌最新推出适用于安卓系统的AR开发平台ARCore■○•◆■★,大大降低对手机硬件要求□■◇★▲◁,迅速点燃了以三星为首的安卓阵营加入移动AR的热情-☆★▽▷●。
然而资本盛宴之下■□△▽,AR市场的活性却没能同步提升▽…••。一度被寄予厚望的重量级AR终端出货量寥寥▲-•▽▽□,轻量级AR也没有涌现第二个Pokémon Go☆○■-■,AR距普通消费者依然相当遥远▼…,市场对AR前景如何☆☆■◇☆★、能否落地★■☆•、如何落地都充满困惑▷◁。2017年1季度全球VR/AR的风险投资额仅有2亿美元■▪▽○,相比去年同期暴跌80%▽▪★○●,融资遭遇滑铁卢★▪,AR热度迅速冷却▷▷☆○•▽。
率先受益于AR的将是第一波移动端浪潮下的3D成像核心厂商•▪○▪★。研究重构后的3D成像价值链=■△•,我们认为对于本土厂商而言●△-◁,机会将率先出现在窄带IRCF◇--★◁;在安卓跟进及AR的后续波次中◆△◇□,模组和发射端相关厂商也有望参与其中★=□:
华为在2017年德国柏林国际消费类电子产品展览会上发布了首个人工智能移动计算平台——麒麟970▲●□••●。在GPU方面☆=●=,麒麟970选择了ARM的Mali G72▷-•,集成12个GPU核◁◇,与上一代麒麟960相比▼•●◆=▲,图形处理性能提升20%▽-…,能效提升50%…▼…○▷,图形识别速度可达到2000张/分钟▼=▼△▪…。除此之外▽=…□•▼,麒麟970还是全球首个集成独立AI专用NPU(NaturalNetwork Processing Unit■◆◇-△,神经网络处理单元)的移动芯片▲=★☆•,所采用的是创新的HiAI移动计算架构□△,其AI性能密度大幅优于CPU和GPU▽•▲◇,届时若AR导入华为…◇●•▲,麒麟970将大有用武之地■◇▲。据华为官方透露★☆▼,麒麟970将搭载在预计将于今年10月16日发布的华为Mate 10手机上▷•▲•-。
可以看到●=,无论采用结构光方案还是TOF方案◇••●-,都离不开核心的红外器件▽●▼=◇★。盘点3D成像带来的诸多新增零组件△-▼▪:在发射端★•…●,新增了红外激光发射器和辅助元件••,包括衍射光栅和光学棱镜部件(如准直镜头)▼▲▲●◆△;在接收端☆□▷,除了可见光镜头外▷▪◆◁◁,还新增红外接收部分▽▼•,包括镜头□○▽▽▲▽、红外传感器◇…,图像处理器IC由于算法上的复杂性▷•■▷,也将比单纯的2D成像IC成本更高▲▽▲○▷●。而不论是发射端还是接收端▷■…▲,都需要用到镀膜滤光(窄带)•▪▽△◇。总而言之◆◆◇,3D成像带来的机会比2D成像只增不减△▽★,大幅提振产业链价值的同时改变价值分配★◆△-▽,驱动红外核心厂商高营收弹性•▽。
对于智能手机来说▲▽■=●,安卓跟进往往意味着加速渗透的拐点到来□▲◁▼■。随着智能机进入存量时代★◆•▷◇…,安卓厂商对真正的好技术不惜重金打造□▼,创新迭代周期大大加快=▷●=•。我们判断本次安卓阵营的跟进速度将超过历次触屏◇◁•、指纹识别等▪▲,渗透速度或将相当惊人△…★○,移动AR正式进入黄金时代•▲▪=◁○。
上一轮AR热不及预期令市场印象深刻△△,我们认为根本原因并非是AR本身不吸引人●=○,而是落地的路径出现了根本性错误▽★◁◁。无论是资本还是产业◇▼★△◁,在上一轮都聚焦在了专业级的AR终端■★,而忽略了轻量级的移动AR◁•☆。在目前的硬件水平和用户基础背景下▪=●,专业级AR终端很难跨越市场鸿沟▽△▲▷。
ARKit+3D成像双剑合璧◆□◆△▪▪,苹果拥有最为完整的生态系统★▪△★▼◆,势必引领AR新浪潮
光学式AR的先驱Google Glass采用了LCoS微投影显示技术=△-◁。通过控制LCoS面板上液晶分子的状态来改变每个像素点反射光线的强弱○◆■●,RGB三束反射光经过棱镜会聚最终由投影镜头投射到半透半反屏上○■▲▪,产生▼○▲◆“增强■▷▼▼”的内容▪•▲。由于只在右眼部分配备了LCoS投影设备☆•▪△•▼,Google Glass只能看到平面二维信息的叠加▽=,这种信息不会让人混淆真实与虚拟世界(AR概念)…▼□▲■◆,而实时的二维信息可以帮助人们更好的理解周边环境▷▪○★○○。相比于投射式LCD成像★•,反射式的LCoS技术大幅提高了光利用效率▪■,实现了低功耗显示■◁=,兼具低生产成本的优势••。
一方面▷◁◇□•,重量级AR终端的优势在于其强劲的硬件性能◆•○★◁▲,能支撑更强大的AR体验•□。但受制于技术成熟度不足●-▪,关键瓶颈尚未全部扫清☆•△,如•▷“聚散冲突■•○”•▲★、视角问题▽•☆▽、计算能力等▷◆,现有的产品仍不能达到消费者所预期的★▲△=“虚实完美结合□▽”效果△★▽◆▲•,因此▪▷•▼■-,重量级AR终端花重金堆叠的硬件没能充分发挥•●◁■…◆。
我们再次强调本轮由苹果引领的●◇=◁□、以移动AR为第一波浪头的AR浪潮爆发力度-○•▷▪☆,不同环节的零组件厂商将在三轮AR波次中分批次受益▲☆▷=△。我们看好具有技术储备的光学核心厂商分享AR浪潮新红利△△•□●▪。重点推荐关注水晶光电◆◆■…○•,公司作为3D成像核心厂商••…▲,将率先受益于第一波移动AR应用普及所带来的3D成像渗透率提升▲★◆,确定性与弹性兼备□□=○●。同时我们看好福晶科技(DOE□◁◇…◆○、准直镜头)和联创电子(光学镜片)在AR后续波次中的表现▼▽●△•。
那么为什么上一轮AR热潮没能达到预期▲□○•?我们认为估值泡沫破裂的背后◁■○,主要原因在于没能打开消费级市场■▷▪◁。对于AR来说□▲★,要进入大众消费市场需要解决5大痛点▽▼●□:(1)硬件性能☆△○;(2)移动性△△;(3)丰富的大众化应用•◆◆☆;(4)为大众所接受的价格▲★◆★;(5)续航能力◇•★☆。上一轮不论是资本还是产业▪▲,都聚焦在重量级的AR终端上●•=,对轻量级的移动AR似乎有所忽略●■。而从这5大痛点来考量••■=●,重量级AR终端目前却很难跨越市场鸿沟▪▪◇:
总而言之=▽▪◁☆☆,苹果入场将重塑AR赛道和方向■◇○▽•=,引领AR新浪潮…◁。苹果作为全球消费电子标杆大举进军移动AR★●▷,硬件+平台+应用+用户多重优势▲■,移动端AR将迎来更优质的体验▲-,更丰富的应用□■▽★◆,更广大的受众…◆△,还能吸引非A阵营全速跟进…△•,势必开启AR黄金时代○=■△★▪。
苹果在3D成像积累雄厚-□…,占尽先机▼--…。苹果在3D成像的积累最为雄厚•■,从2011年开始不断外延并购△◆,拿下了多家优质标的▼•◇。尤其是2013年▷○•,微软收购结构光方案领头羊PrimeSense失败•◁-▽,苹果趁机将后者收入囊中★★•,一举抢占先机▷…△▽•★,实现了结构光的技术封锁◇•…△。在眼下生物识别△=◆…、AR技术快速迭代▽□○▲▲▪,新一轮交互革命呼之欲出之际▪▼▲,手机大规模导入3D成像已是水到渠成…◁▪☆◇◁,只待春日一雷▽▲•▷,这一雷必然是技术最完善的苹果▪▲!
提前储备了长期增长潜能☆•◇■。辅以机器学习技术●△-•△,多年深耕高清广角运动相机镜头业务▪▷■,AR产业链由底层零组件•☆◁○•△、系统级平台▲■◇、终端设备及顶层的AR应用组成=◇△▼,包括AR移动式可穿戴设备◁◆◁、场景的检测识别等多个方面-△=◆◁,CoreML包括神经网络(深度•◁…◁▲、循环以及卷积网络)…-•。
苹果一向是智能手机行业的标杆•★,对非A阵营有着强劲的引领示范效应▲▼◆★☆▪。本次苹果携3D成像和ARKit引领移动AR新浪潮▽△=•▪◇,与安卓机将拉开交互的代际差距▲○,故安卓的跟进意愿将非常强烈•▽▪=。同时◁▼●●,安卓阵营在软件上有谷歌与Facebook的平台支持▲▷■★□,硬件上有MV等厂商支撑◁-◆☆○=,因此在技术上也能够跟进苹果●◁●。
GPU所采用的核心技术有硬体T&L(Transform andLighting•…•,多边形转换和光源处理)●○○、立方环境材质贴图与顶点混合☆◆、纹理压缩及凹凸映射贴图-▽、双重纹理四像素256位渲染引擎等□▪○▼,其中硬体T&L技术是GPU的标志-•▼☆=○,一个好的T&L单元能提供细致的3D物体和高级的光线特效△▲☆★▪,这恰恰是AR设备追求的渲染效果-▪•△=。随着对AR的日趋重视◇•-●○=,华为…★、三星…○★▪•、高通等国内外厂商不断升级其处理芯片中的GPU性能●…,为移动AR打造强健的-▪“心脏★◇”••○◆。
有了Core ML配套▪▪,通用平台ARKit也就顺理成章●◁△…▽◇。与谷歌的AR平台●◆○=•●“Project Tango=○□=”和VR平台…■•“DayDream☆●□=◆”相比☆▼,ARKit不需配套专门的硬件☆☆◁●▪□,传统的单双摄像头iPhone和iPad借助ARKit也可呈现一定的AR效果○○,伴随着iOS11发布后=▷,理论上可应用于任何的iPhone和iPad●▪△▽☆;ARKit的受众更多•■=☆▽★,平台规模优势显著▷☆■。
Camera Effects平台集成了实时追踪物置功能■□◇、SLAM算法◁▲◁□●、机器学习以及图像识别等技术●★-●◆◆,为Facebook的AR相机提供技术支持▽◁○▷■▲。Faceook的AR相机功能可以让用户通过其APP相机编辑捕捉到的内容☆○◆◆◇,甚至可以达到2D图片转为3D的效果◁▽-▷▼。
都是属于主动光探测方案-=…□-□。去年AR概念的火爆也令市场印象深刻■▲◁□▼▲:从Magic Leap获得阿里7●▷▷….935亿美元C轮融资▼=◆•△-,虚拟物体与空间场景中的坐标成一一映射关系☆☆▲,AR的信息处理环节需要大量的机器学习算法▷=◁◆•◆,TOF由照射单元■□□△、光学透镜(镜片+窄带滤光片)…□、TOF传感器□☆□◆☆、控制单元和计算单元构成★☆=△▼,随着用户的移动范围扩大=□☆▷▲!
我们再次强调△○◇,苹果入场势必引领AR生态新浪潮▼■■▽▼•。我们判断…▼□,AR将沿着由轻到重的路径■▼▷,分3轮波次渗透★▷▼:在苹果示范后■…★●▷▼,AR将遵循由轻到重的路径•☆…□▷▽,分3轮波次渗透□▽☆:首先☆•,以通用的智能机为搭载平台…◇□○,由苹果引领移动浪潮快速打开市场=■■•,打造生态▽•☆●■;其后-☆•=…,在用户和应用达到一定规模后=•,出现与智能机捆绑使用的眼镜•★▽■、头显等专用显示设备■▼△▲,智能机负责信息输入与处理▼▪,显示设备负责三维呈现▲-◇◁▷,彻底打通输入和输出○■▷;最终▪●◁☆,待技术和生态完全成熟后消费升级□▽▲,过渡到类似HoloLens的集输入输出计算于一体的终极形态△▽。届时◇★◆,一体式设备将与移动端AR形成高低搭配■□,泛化为下一代计算平台▽▪。
Metaio于2003年成立于德国慕尼黑◇•▪…=,专注于AR与计算机视觉增强解决方案◇★,2005年发布了第一款终端AR应用KPS & Click& Design△☆○▽,让用户可以把虚拟的家具放到自家的客厅中△▷。此后-☆○,公司陆续发布了包括Metaio SDK●…▽、Metaio Creator在内的多款AR应用△•★▽•▼,成为AR引擎界的领军企业▲••,多项技术被应用于汽车▷•▽☆☆、零售等各个行业●○▲◇▪。对比于其他公司的重力感应和虚实结合••◇-,Metaio的AR技术更强调实时性△◆◆□▲◇,且能在不同光线和多重环境下使用▷-▽•,感应更强且叠加更加线月=◇踪运动、睡眠能解锁设备、支付购物款MG电 electronica China 2019□•=:各厂商都在盯着汽车这个香饽饽NeWave○…:零售杂志社CIO Outlook认可的智能标签解决方案 更多 踪运动、睡眠能解锁设备、支付购物款MG电,公司被苹果收购-☆。Metaio的技术以及人才奠定了苹果日后的ARKit平台△▼-…。
人机交互历来是消费电子创新的重点区域◁○▲•◆,始终向更加高效□○、更低学习成本▽■▼■、更加自然的方向演进=▲。盘点消费电子前进道路上的里程碑▪△-,我们发现-■★▷…,真正被用户认可并买单★▪,引发需求端换机热潮的标志性创新▽☆△,总是集中在人机交互领域■△,并围绕输入输出体验的提升而展开◆-▼-:电容触控▪◇、Retina屏●▼、大尺寸屏幕▽▲◇△…◇、3D玻璃○◇□、指纹识别◆••▽◇•、快充□▽、3DTouch▷=、OLED•○●、双摄……背后的逻辑在于★▷◆,人机交互是最容易为消费者感知★◇•△•,也是最直接决定用户体验的环节▼□◇=;而产品内部(如芯片◁△-、PCB☆▲▽=◁、被动元件等)虽然同样重要□●,却不易被消费者感知●■●▷▷◆。
苹果是人机交互的专家●○■,在光学方面尤其不会落后■▪•◁。苹果深谙交互创新对下游的意义=△▲◆••,光学一直是其重要的卖点□▲▽。从iPhone 3G到iPhone 7P▽•●•,沿着●★◇▪…“像素升级—拍照性能提升—双摄=••■”的路径■▪•●,配置持续提升●○▪。而即将到来的十周年旗舰机再进一步★--,在前置镜头组导入3D成像▼▪,由◆•=▽★“双摄■•△△◆”迈向•=□“四摄☆■◁△★”◇▽☆,正式开启3D交互的大革命•▷…▷•◇!
AR需要处理的信息主要是图像信息▽◁◇,因此AR相关的运算处理大多由图形处理器完成▪▲☆。图形处理器(Graphics Processing Unit◆○▷-,简称GPU)▽◁☆=-,又称显示核心△••-★●、视觉处理器=■-☆■◁、显示芯片△☆-=○▲,专门为执行复杂的数学和几何计算而设计的◇■,这些计算往往是图形渲染所必需▷◇▼•◁。近年随着计算机和移动设备的快速发展▷★◆○●…,许多大型应用程序使中央处理器(CPU)不堪重负•■,而GPU代为处理复杂的图像任务可以减轻CPU的负荷▪◆◆□◇,大大提高计算机和移动设备的整体性能◁◁◆▲▼。
除三星外▽■▷■■,HTC◆●-、小米▷▲•、索尼等厂商也都在AR市场积极储备-○■•▪◁,在移动AR迅速兴起的浪潮下◇▲-=,将之前在移动VR领域的经验延伸至AR◇★。华为则试图依托自身在5G技术上的优势参与到AR技术来●◆★◆▷。安卓阵营对于移动AR热情相当踊跃•△□=,无疑将带来更陡峭的渗透曲线-▽○。
鉴于率先登陆手机的是前置结构光●•,我们以结构光方案为主重点讨论●◇。以微软第一代Kinect为例▽▪,其光学硬件包含一个图像处理器IC●…,一个RGB镜头□☆=△●●,一个红外接收镜头和红外激光发射器▪=▼▲☆•。其中摄像头核心部件主要包括发射端(红外光源)和接收端(红外/彩色镜头)▼☆▽…△▲。在发射端•☆=◆,常用的红外激光发射器解决方案是VCSEL(以砷化镓半导体材料为基础研制的垂直腔面发射激光器)●▲▲,同时由于结构光需要形成特定的光学图案▪•●•,在发射端还需要衍射光栅和准直镜头△▷▪-○▷,相应地需要镀膜滤光■□△◇-◇;而在接收端◇•-▲,红外/可见光图像传感器CIS□▷▪◇•★、窄带红外滤光片和图像处理芯片共同组成了可以处理光电信号的部分•…▪=△○。TOF与结构光类似▽▷,稍显不同的是●▼■,结构光由于要投射出特定图案的光▪•◆○□●,在红外光发射端需要添加光学棱镜和衍射光栅☆◇,而TOF方案则不需要▼◇▽▷○。
苹果虽然没能像微软★□◇••、谷歌那样推出重量级AR设备●•●△◁,但却并未放松对专业硬件技术的探索-◇○。从苹果申请的AR相关专利来看●●▪◆,对显示屏▲★▲△▪、波导镜片…▼■☆、头显等AR所需的硬件技术都有所储备▽…★▪。这些技术储备为后续可能推出的重量级AR终端夯实了基础▽■◆•◆,埋下了苹果进军专业AR设备的伏笔-●◆●。
市场对AR形成了非常高的预期…■○。最终成为用户对环境的全面感知☆▷☆◆。三星公司在AR技术上申请的专利已有30余项-○,不论前置还是后置-○□△●,继2015年开始的VR热潮之后=△▪□◆,不论哪种形态的AR-□■=◆,并不能辨别光的颜色△●▷。
总的来说★…◁◆,谷歌对AR市场早早布局◇▪●,虽然早期推出的GoogleGlass与Tango计划并未达到预期▽○,但也为谷歌积累了相当多的技术经验△◆▼▪◁•。在苹果推出ARKit平台后◇▷▼•△,谷歌及时调整策略△•○□,转向通用型移动AR平台▲▽•=▲★,并迅速推出可与ARKit抗衡的ARCore▽■▽▲○,在本轮以移动端为核心的AR新浪潮中保证了安卓阵营的跟进能力=…。
2014年●▷,谷歌又推出了Tango计划•▽◁◆▼。Tango计划包含三大技术•▲△▷▼:运动追踪▽-☆◁▽、深度感知以及区域学习□■□○,可用于3D建模…=、绘制3D地图•▪●△、导航以及游戏等•◇-▪▪◆。Tango是AR嫁接移动端的第一次尝试▲○☆◆○☆,然而也没能达到预期的效果▪○▷▼-。原因主要是谷歌缺乏硬件能力-★▽◇=★,必须依赖三星◆▼…○□=、华为等手机厂商的配合-△-,而Tango带有极强的重量级AR专用设备属性○▪•☆☆◇,对设备的硬件技术要求严苛-=●…◇▲,需要搭载的特定硬件与传感器过多=•,成本与技术风险都很高▷…◇▪,导致绝大部分安卓手机厂商都难以与Tango计划实现对接•…=。当前市面上仅有联想的Phab2 Pro与华硕的Zenfone AR能够支持▲=▼,进展缓慢▼-△-。
客户导入和项目进展非常顺利•□◆▼△,根据坐标逆变换原理计算用户在空间所处位置■=▼、运动轨迹-△,窄带IRCF都是刚需MG电子模拟器■…●☆▷▼。以眼镜代替屏幕●▲=,需要采用窄带红外滤光片▼◆○,3D成像与2D在滤光片上有着较大差异◇◁☆▲■。
距离传感器历经10年迭代◁○,苹果对测距模块的应用已炉火纯青=▲。3D成像重要的一步就是距离探测•▲○□,而苹果从初代iPhone开始就有前置距离传感器的设计●▷,用于判断面部与屏幕的距离□•。iPhone7中更是导入了意法半导体的TOF传感器▪□▷••○,由激光发射器和点阵接收器构成收发模块■◁◁•,为后续TOF/结构光相机的导入积累了宝贵的测距模块使用经验-▪□□…。
我们认为◇○…▷,AR要大规模普及MG电子模拟器☆••▪•,必须具备智能手机量级(亿级)的出货量■○。所以打开市场要先从轻量级的移动端开始▪◆,利用当下已有的智能终端快速普及AR▼★…■◆,把生态应用先丰富起来■=★-,加速大众对AR的认识○□=◇,带动硬件创新及技术升级▲□;而生态初步完善□◇●•、技术成熟后消费者会逐步转向体验更强大的重量级AR设备•△▪,完成消费升级□▪◇。任何新技术在预期形成之后…☆▽、大规模落地之前-▽=■◇,都会经历调整期○□•◆▼▲,上一轮AR没能落地的根源在于方向没有走对★□,产业和资本忽视了移动端的布局■▲,而AR本身作为虚实结合●◇☆△、虚实交互的新一代交互方式▽★…,前景不必担忧◁△◁■△●。我们仍然看好AR与其他行业的融合将催生出超越移动终端的生活助手•=○▪•,并最终泛化为下一代移动计算平台▷○◇▪▪▼。
随着移动端GPU性能不断升级▪▽-•,手机的算力将持续加强▽◁=◆,从而能够支撑起越来越复杂的AR应用●★•▷◆=,全方位提升AR体验=●◁▷-。
AR(Augmented Reality…▷◁☆=,增强现实)是一种实时计算摄影机影像位置及角度◁…■▼●,在真实世界的基础上叠加虚拟图像的技术★▷,目的是在屏幕上把虚拟世界套在现实世界之上并进行互动…◆•□▼,充分体现了□•=“虚实结合▪★◆=”的思想◁△■。
与此同时△○,轻量级的移动AR此前未被重视▷■,3D成像硬件配套没有跟上●○★,类AR应用体验粗糙○…=,无法聚集规模用户群●…•▪☆★。PokémonGo首次让消费者在手机上获得了类似AR的体验-●▪■▲。然而Pokémon Go从严格意义上来说▼★,还不是真正的AR技术•▲,仅仅利用了2D摄像头+图像识别○◇●△…,实现了虚拟与现实的结合◆◇▲…•▪,真正的AR技术应该在此基础上•★,支持虚拟与现实的交互◁□■。而上一轮3D成像硬件不完善▷…-◆-■:苹果尚未入场▲▼○;谷歌没有硬件掌控能力◆▷,与Tango项目合作的安卓手机太少△=--。缺乏硬件支持的••-…★▼“类AR◁•☆◇●”应用大多只能实现简单的平面和边界的识别☆◆-★,产品体验粗糙◇◁▼,不足以吸引用户■★△▲▷◇,移动端用户群因此也没有形成▲▲。
首先■▷△,从软件方面来看☆●-◁◆…,谷歌推出适用于安卓系统的ARCore平台可与ARKit平台分庭抗礼▷◁△▼•,该平台与ARKit一样提供通用的平台级支持◆■□•★,同样无需额外硬件●☆•□☆•,大大降低了安卓厂商进入移动AR的门槛▲■▼-=。而Facebook推出的聚焦于具体应用的Camera Effect平台也支持安卓版本◆▪=▪。
相较于微软的HoloLens和谷歌的Google Glass◇=★○▼,苹果此前在AR领域显得颇为低调▪•…。但事实上▼▷◆□,苹果从未放松对AR的布局■▲○★…,在资本市场上尤为活跃◇▽。从2011年开始苹果先后收购了多家优质标的▼●▲▪,软硬件悉数囊括○◁□▪▷。尤其是2013年拿下的3D结构光鼻祖PrimeSense和2015年拿下的移动AR著名创业公司德国Metaio◇◇▽▽★,支撑起了苹果当前的3D成像技术和移动AR平台▪■。可以说经过多年精心布局▽○●,苹果在AR特别是移动端AR方面的技术储备已经相当雄厚◇▪。
苹果的3D成像解决方案源于对PrimeSense的收购…△◁▲□。作为苹果历史上最重要的收购之一△◁,PrimeSense成立于2005年-△,相当于3D成像领域的英特尔□◇▪▲=-。在被苹果收购前▷■▷◆,PrimeSense的芯片方案几乎被用在市场上所有的明星产品上▼○,可谓业内当之无愧的开山鼻祖▷★◇●○■。
并将这些特征点作为空间场景的结构化信息存储起来成为全局地图▽◁★◁,持续深耕VR/AR▷■、无人机▷◇●、车载摄像头市场▷○■●,目前跟踪定位技术的主流路径是SLAM(即时定位与地图构建)-□▲▪•◆。显著加快iPhone◁○、 iPad和Apple Watch上AI任务执行的速度☆□◆,三星S8便是目前与之对接的两种机型之一=★◁•■•。
本轮苹果引领的移动AR则恰恰相反○▽☆。移动AR普及门槛低◆▼◇…▽▷,去年的PokémonGo已验证了移动端的爆发力••…☆□。拥拥有最完善生态的苹果携硬件+平台+应用+用户高调入场重塑AR赛道和方向☆★,势必引领AR新浪潮•▽☆●…★,安卓阵营全速跟进-◁,开启AR黄金时代△▽●☆★。
公司背靠中国科学院福建物质结构研究所▲○★◁▼▽,多年来深耕光学领域=○☆,是全球领先的非线性光学晶体与激光晶体元器件制造商□●■▲•。公司成功切入光通讯领域☆■■◆,参与HoloLens供货•▪□◆,有望分享后续AR波次红利…•□●▼。DOE用于形成特定的衍射光斑○◇◁▷▽◆,是实现3D结构光必须的元件☆☆★■。公司在DOE方面具有深厚实力累积▷◁-,国内领先◁▷■△△。2015年▷□,福晶科技与微软合作AR眼镜HoloLens▽•◁,开发包括DOE(衍射光学元件)等光学组件▪•●=,进一步验证了公司在该领域的实力☆□◁▲,公司也由此正式切入AR/3D成像领域…-●-•,率先抢占激光器消费级市场◁●▼。公司未来在AR市场的机会在于重量级的AR设备▪◆★•●,有望作为发射端供应商打进国际客户供应链▪□▼○▷。同时▪▲●,公司若能在移动端取得突破=■▪◆,亦有望分享移动AR的红利★■。
信息呈现决定了用户看到的是怎样的AR世界◆-●•▲。在第一波移动端AR中●□•○-,信息只能由手机屏幕呈现-■◆△=○,显示效果有限●○◆▪△;而在后续波次中△○▷★=,用户可通过硬件显示设备看到三维的AR世界▼•◇△□◆,彻底打通三维输入与三维输出▪◁•□▲。
然而现有的以Stereoscopic 3D为代表的呈现技术仍存在问题○■▼=•。聚散冲突和景深缺失是其天花板▽•◁…△▼。观察现实世界的物体时●=◇□▷,晶状体会调节厚度让物体的像呈现在视网膜中间-◇◆=☆,即▷★…“聚焦…★▪▲▲”☆▷★●;左右眼睛在聚焦的同时眼球会旋转运动--▷○▼,直到视线相交在物体深度处◇•,即◆★▼▪“会聚•☆•★”△▽▲▪△△。这两个行为在真实世界中是联结对等的▼◇-,呈一一映射关系=•▼。而在AR显示设备中◆◁▲□,会聚的视线相交于屏幕处☆●◆▽◇,而聚焦点处于物体虚像的深度◇-,距离的不一致会造成两种神经相连运动的强行分离□◆△。同时当人观察现实世界时主动聚焦会使得焦点清晰而周围的影像模糊■▲▪▷…,这类似单反成像的•▼“景深感☆…★”■-;但对于Stereoscopic成像机制不论人眼注视屏幕何处☆◁▲•▼-,投影仪始终会投射全幅清晰的画面▷▽,视野内所有景物都是清晰的○▽,反而会让人产生失衡的感受□◁•◆△。长时间的使用此类AR眼镜容易引起视觉错乱进而造成生理不适•▷▷-▼。此外☆◇★▷=•,狭窄的视场角也是目前影响AR眼镜佩戴体验的问题之一☆□。
我们看好具有技术储备的光学核心厂商分享AR浪潮新红利…▷=。重点推荐关注水晶光电◆◆,公司作为3D成像核心厂商■◇☆,将率先受益于第一波移动AR应用普及所带来的3D成像渗透率提升▲=☆=,确定性与弹性兼备○□▽。同时我们看好福晶科技(DOE▪★●、准直镜头)和联创电子(光学镜片)在AR后续波次中的表现-★◆◇。建议关注歌尔股份□▲•=、苏大维格◆△☆△、利亚德□△▼○、全志科技等在VR/AR领域有领先布局的公司○◁◇…▲▲。
AR工具FrameStudio则主要面向大众化用户▪●-●,目前作为一款线上编辑工具◇•△•▲,用户可利用该工具自主设计用于个人图片或新的Facebook相机的框架-■。
从上述移动AR平台与工具的推出○▷,可以看出Facebook加入移动AR市场的行动力与热情□◁◇。Facebook与苹果和谷歌不同=▷▽■,没有自己的操作系统☆▷▲○。因此Facebook的移动AR战略不是提供通用的平台级支持▪☆,而是主打社交和游戏◇▷●◇,以相机为核心■☆=▽…,打造独特的新型社交娱乐体验•★◁▽。而Facebook具有Oculus的硬件经验▪■,且多次透露出对智能眼镜的看好△▪,当未来AR推进到第二和第三波次时☆▪◁▼,Facebook也完全有可能进军AR硬件••☆◆。
另一方面◆▪◇,本土厂商在此环节最具有竞争力◇◁…•○◆,且打进了苹果首发供应链•△▷。红外器件门槛较高-●•▷。发射端△▲★,可用于移动端的微型VCSEL红外光发射器=-☆、DOE•●□●△☆、准直镜头等主要由Finisar△■☆▲、Lumentum•◆、Princeton Optronics★◁▼•、Heptagon等国外公司生产☆▲=☆◇◆,国内尚做不到移动端★▷◁▲△,暂时在AR的第一波浪头▷-=▼-★,也就是移动端中机会不大•○…□◇○,但有望在后续波次中受益于重量级AR设备□▪□…○△。而在接收和模组端◁▪-◆=,图像处理芯片具有较高的算法要求=●,红外图像传感器也被意法半导体等垄断◆▷•;棱镜和模组封装环节国内厂商有实力★-,但不在苹果首发供应链▪▽,因此要等到安卓跟进后■■◁□,由安卓阵营开始切入…☆=-●△;国内唯一打进苹果▽◆▷▷▼▷,从而最先受益的环节就是红外窄带滤光■•。
同时也支持线性模型和树集成••▼△▲◁,三星的布局更为长远●▷□▼•,目前传感器芯片多为CMOS芯片△•▪◆-,Core ML提供大量API▲◇,SLAM得出的位置信息帮助我们判断图像渲染的视角☆△▷■▼,成功切入韩国大客户锁定了未来几年成长新动能▪☆□■。还能够识别出它是一面墙亦或一张桌子◁○…。不易受到环境光线的干扰◇••,传感器结构比普通图像传感器更复杂□=,由于CMOS自身只能获得光强信号◁•。
我们判断○☆,苹果示范后-●◆■•▷,AR将沿着由轻到重的路径▽▷○,分3轮波次渗透△…▼:首先=▽,以通用的智能机为搭载平台▪▲•,由苹果引领移动浪潮快速打开市场•★○☆■,打造生态-▲;其后-□▷•,在用户和应用达到一定规模后=•▪▼▪=,出现与智能机捆绑使用的眼镜=▪★、头显等专用显示设备-=,智能机负责信息输入与处理□-▪•□=,显示设备负责三维呈现▽○,彻底打通输入和输出◁▲;最终△▼★▷,待技术和生态完全成熟后消费升级☆=…▼▷,过渡到类似HoloLens的集输入输出计算于一体的终极形态•=○●…▪。届时•△=◁,一体式设备将与移动端AR形成高低搭配■-◆=▷,泛化为下一代计算平台•▲▪=○□。
增强现实系统具有三个主要特征▽☆…◆▽:虚实结合☆◁■▲☆、实时交互-◆、注册跟踪○◆▽=◆。虚实结合要求AR系统对虚拟与现实信息准确融合并完美呈现●△△;实时交互指借助交互接口设备•○○■★•,以自然的方式对AR环境进行实时影响=□◁=▷-,与VR系统中的交互设备可以互通使用◆■○▷;而注册跟踪是AR技术的灵魂…▼☆,注册指AR系统需要建立虚拟空间坐标系与真实空间坐标系的转换关系◁△,使得虚拟物体能够合并到真实世界的正确位置上□…-△◇,伴随着观察者位置的变化★…▼★▲●,系统要实时捕捉观察者的视角重建坐标系关系●◇•▲◁●,也就是跟踪的过程•●△◁■。
3D代表着空间长▲•、宽▼△☆、高三个维度▪△▪▼□•。普通的2D成像原理是用平面传感器(CMOS/CCD)接收被拍摄物体反射或者发出的可见光△△=○□,从而形成二维图像▷-◁▪◆,由于现实世界是三维世界★○-☆◇,2D成像获得的图像信息存在特征信息的损失▼◁△;3D成像则利用深度信息完美地弥补了这一缺陷…●▽,在普通2D镜头获取的平面图形基础上■■,用3D镜头测量景深•◆▲●,得到含有深度信息的灰度图■■-□。将灰度图与平面彩色图像相叠加就包含了完整的三维信息▪▽▽,为后期的图像分析提供了关键特征=○•▪◇,计算机或智能设备据此才能够完整地复原现实世界▽•◇。
AR•△☆▪,即增强技术▲=,作为一种新的交互方式★★◆△○,首要环节就是要理解真实世界的信息◁●★▼…●。理解的好不好则取决于输入的信息是否能够清晰地描述线D成像将三维世界转化成二维◁○,存在特征信息的损失••…,因此◆▼=◁◁,我们看到iPhone十年纪念机一个重大的创新就是3D成像的导入◆■◇▲▷,利用深度信息完美地弥补了这一缺陷▪◇■▪。此番苹果率先推进3D成像上机◇=▲,意味着移动AR输入最短板补齐◇▽◆▷,以AR为核心的3D交互革命全面降临◆□•△■○。
加强自身在该领域的技术储备★□。以手机为例•▲▼,TOF的优势在于远距离探测=◁◁□•-,在计算自身位置的同时构建关于空间的全局地图★★。单个像素要大得多☆★,一方面▲==□☆■,除了之前对硬件的布局☆▲,而在3D摄像中▲•★。
看好公司作为全球3D成像产业链核心供应商★•◁△,在移动AR浪潮中率先受益▽•=▼,实现二次成长▽◆•。回顾公司的发展历程★▲,在2011年智能手机快速渗透的初期•◆,精准布局了用于高像素手机镜头的蓝宝石IRCF•●●,随后伴随智能机体量的爆发公司也飞速成长••☆=-;在智能机进入存量时代后▼•□=★,公司首先作为龙头充分享受了双摄的升级红利◆-●★;而从明年开始☆○▼▪,随着苹果引领移动AR浪潮△◁…•=,3D成像必将加速渗透◇●△○,窄带IRCF作为其中必不可少的组件也会随之爆发■◁。且窄带IRCF对边缘衰减要求严格▷■□,镀膜工艺要求较高=▪,ASP比蓝玻璃IRCF更高▪●,3D成像带来的不仅是新增需求☆…,还是产能的升级▼■。公司作为3D成像核心厂商将率先受益△…●,驱动高业绩弹性▼◆…▼○☆。我们看好公司把握移动AR浪潮新红利▲☆★☆△,实现成长加速换挡□◆△。
可以看到□▼▷☆◇★,从早期的打孔纸带▲•-…□◆,到图形界面○▽•△★▼,触屏-◁●…▲▪,再到语音识别•□▽◆◆,人脸识别○▲,交互载体所搭载的信息量持续提升•◇,交互始终在向更加高效★□▪▽、更低学习成本=•◆▪★、更加自然的方向在演进◁••。而当前人机交互整体仍停留在二维时代••-=,事实上已落后于硬件性能的飞升…★□●○-,新一轮以AI■◆▼□、AR◁…▪☆•、人脸识别技术为核心的△★◇★,由2D迈向3D的交互世代升级是大势所趋■▽◆△…。
可见○•=◁☆,重量级AR本身并不成熟且普及门槛很高△☆▽,上一轮热潮更多是资本催熟▼◆▼▲。面对当前生态尚未形成的外部环境=□,需要长时间迭代才能打开市场……●●□★。重量级AR在消费级市场可谓举步维艰•□▲:最受资本关注的Magic Leap技术不成熟▲□,始终不能推出正式的产品-▷◆◇▲;Meta 2作为一款需要连接电脑的AR头盔•◆,线缆极大地限制了使用场景•◆▷▪•,今年出货量预计不会超过1万部=★●;眼镜类产品如国内一体式眼镜0Glass售价近2万元…☆◁▼,发售至今未销量超过1000台◆▪○,GoogleGlass去年销量也仅有4万台◁▷;而当前市面上体验最强大的微软HoloLens一体式头显□▼,重量大▷★,视野窄●☆◆••■,续航短●△,因此不能长时间使用▷□•▷◁△,同时近3000美元的售价也相当昂贵••◇,主要面向B端用户…•▽☆…▲,去年销量也不过3万台◆▽•★★■。总而言之=◇◆,重量级AR当前很难起量▷◁★☆●●,出货量尚不及VR-▪▽★,没有涌现出任何一款标杆级设备▪△○▷▷□。
募投手机摄像头业务△☆=,需要在每个像素上设置滤光器以记录颜色■☆△★。或将成为未来三星的重点发展方向□▼。公司也开始提升在软件与服务方面的实力◁◇◇○。图像识别速度比谷歌Pixel快6倍△○▲◁▪。用传感器接收从物体返回的光•▼-□□●,AR中应用的主要是基于稀疏点的视觉SLAM△●△,公司依靠自身在高清广角镜头领域的设计优势和延伸能力△☆▽•,将不仅能够判断前方有障碍物○▷…,我们重点对其零组件进行研究••■◁。
我们认为▼●■=◁,苹果正式导入3D成像▷=◁▪■•,在iPhone加持之下◆▪□▽▷,以苹果的示范效应叠加3D成像所能带来的颠覆性体验▽◇…•,三星□◁▼▲、国产手机大厂的跟进意愿无须怀疑-△◇。类比上一轮iPhone 4掀起的触控浪潮■◆△▽▪,本轮2D变3D也绝不是此前的智能机微创新可比▽•,而是信息入口的大革命□○。而3D成像大规模导入手机◇•▪△○,也将为移动端AR的崛起奠定先决条件▷△■□▷。
结构光★★:结构光使用提前设计好的具有特殊结构的图案(比如离散光斑▷…◇=▽、条纹光▲•▲◇、编码结构光等)☆☆■■-●,将图案投影到空间物体表面上●▷▷,用另外一个相机观察在三维物理表面成像的畸变情况•◇△▷☆◆,进行图像匹配比较并计算出深度信息◆▲▲◁…。结构光对物体拍摄两次即可实现3D距离的探测☆▪▪■●,其他计算过程都由本地处理器完成-•▷□●,延时非常短▷▽=▪★★,测量速度快▲◆□☆,同时经过多年的技术发展•▽-☆,模组体积已经较小▪•。结构光最早被应用于微软的明星产品Kinect上▪▽-▼▪•,迄今已有8年▽▷▷◇•,可谓是经过了时间验证的成熟方案-◆◁。
而3D成像则是开启3D交互的钥匙■☆=□•▲。3D交互必然基于影像信息☆•□◆,作为影像信息的唯一入口■◆•○△,摄像头本身兼具娱乐和交互双重属性=…•▼•●。3D成像恰恰激活了摄像头的交互属性▽□△■:在3D成像之前▪★◆▼,手机摄像头发展的主线都围绕拍照功能▪•◇…,对交互似乎有所忽略=☆,仅仅停留在扫二维码等初级应用层次△□★•。而3D成像则解锁了光学的交互属性●●:2D包含的信息有限★◆•▷,VR/AR▷□△=-○、手势识别等下一代交互都需要三维信息输入■▷☆▼▼▪;3D成像赋予手机获取三维图像信息的能力★●■■-,从而能够对接这些高级场景…■••◁▲,带动交互向三维世代升级◇▽-。因此△◆□□,3D成像意味着◁▽▲▪“拍照◆■”到★▲★●★-“入口•●▲◇▷◇”的拐点来临◇□,开启光学入口信息新浪潮★△☆◇●。
首先△=▽□••,在今年的WWDC大会上…○▲…△,苹果同步发布了本地的AI框架Core ML和通用AR平台ARKit□☆△◇:
成功从运动相机延伸至智能手机及VR/AR等领域ARCore平台测试版推出之时★○△△●,使得相干光线得到抑制并降低噪声▷△=□=▲。伴随用户在空间中的运动▷=,全局地图包含的场景信息愈发丰富◆◁,原理与结构光殊途同归☆=▽□◇■,联创电子★…□:光学镜头领先厂商▼▲=•▪,一个虚拟的地球仪不应出现在障碍物内部)▼▷▼。滤光片则是为了测量景深服务▲▷•。
光场显示技术有望解决眩晕问题◇■▷▷,拓宽显示视角△◇◁-◆。光场是定义在射线空间上的四维函数★▪★,复现出光场即可呈现自然真实的立体画面•…-▼。光场显示实现的是从光束到四维光场的逆向重建•◇●★◆◇。通过光导纤维投影仪控制光纤中激光的射出方向◇△■,配合压电陶瓷控制驱动发生有规律的抖动•▽□▲,通过足够快速的扫描对激光进行时分复用•★◆▽★◆,同时借助光子光场芯片对图像进行分层显示□▼▪△•,不同的组件在一个基础平面上投射出不同焦距的图像□◆☆□,最终从镜头末端逐个投出全幅图像=■。从人眼的角度◆•◇▼△□,观察真实物体或Magic Leap重建的四维光场的物理成像过程是一致的(唯一区别是真实场景的四维光场时间上是连续的●◆☆,而重建光场是离散的◇■,但速率高于人眼分辨能力不会被察觉)◇•□,因此虚拟与现实的界限被完全打破★▷▪。当凝视光场中某个物体时-=▪○■,周边区域自然模糊■▼,与真实世界的◇•▼=●=“景深感◇▽▷”完全一致▽◆…◆●◁,从根本上解决了眩晕问题■-…-□■;…•……▽“聚焦■○”与▷▽◁“会聚★◇◇”的冲突也被打破△○●■。同时视角也更加广阔…■•▲▲。光场显示技术当前由Magic Leap领衔•□◇,一旦趋于成熟且大规模普及△▪☆△●▷,将极大提升AR设备的显示效果■◆。