苹果陆续发布了新的iPad Pro、iPhone12 pro，搭载3D dToF技术（苹果称为LiDAR），在纳秒的极短时间内测量室内或室外环境中从最远五米处反射回来的光子。LiDAR与Pro级摄像头、运动传感器和iPadOS内的架构协同合作，硬件、软件与突破性创新技术的结合，为AR增强现实及更广泛的领域开启无尽可能。
iPad Pro采用索尼ToF sensor，像素为0.03MP，像素尺寸为10um。
苹果新iPad Pro配备了大量增强现实类功能，真实感强烈：能即时完成放置虚拟物体，具有逼真的物体遮挡效果，可让虚拟物体在现实场景结构中前后穿插。动作捕捉和人物遮挡效果也经过优化，精准度更高。新款iPad Pro还能实现身高测量、AR游戏、AR装修、丰富视频动画等。媒体报道，今年新发布的iPhone 12 pro手机也采用3D TOF技术。相比此前安卓手机厂商采用的3D iToF技术，苹果采用的3D dToF技术响应快、功耗低、功能完善。此外，当前只有较少的应用app支持ToF技术，苹果的采用有望加速ToF生态的建设，让ToF的渗透率快速提升。
相机创新是消费者购买手机最大动力之一。相机创新是消费者选购手机的主要考虑因素之一。根据中关村在线2019Q1发布的报告，在处理器、相机、屏幕、游戏体验等诸多方面，相机功能是消费者最为关注和看重的，占据29%的关注度，同比提升5%。大大高于第二名处理器的17%。各个手机厂商都极为重视相机的创新。
3D深度相机成为下一阶段相机创新的重点方向之一。从2000年夏普首次将相机和手机相结合以后，手机相机的创新一直以惊人的速度在前进，主要可分为以下4个阶段：
1）相机和手机相结合，手机具备照相功能，此后相机模组尺寸不断减小，像素不断提高；
2）前置摄像头添加，像素不断提高，自拍功能不断完善；
3）双摄和三摄突破单相机瓶颈，夜视暗拍、大光圈、潜望式、超广角功能不断提升相机性能；
4）3D深度相机带来立体视觉，增加了脸部解锁、支付、测距等功能。苹果在2017年开创了前置3D深度相机的先例，各大手机厂商不断尝试后置3D相机的应用，苹果新款iPad Pro正加速后置3D相机的推进。
全球5G和AI商用时代已经开启，3D深度相机作为AR的基础，有望迎来快速渗透。5G时代，宽带增强和实时通信等特点有助于AR/VR走向云端，能降低设备的要求，同时AI算法和硬件的成熟，将会进一步助推内容的完善。TOF能提供3D拍照、3D识别和3D建模等功能，是AR的基础。根据IDC报告，全球AR/VR支出规模在2019年达到168亿美元，在2023年将达到1600亿美元，AR/VR支出规模在2019到2023年间复合年增长率（CAGR）将达78%。IDC还预测中国市场AR/VR支出规模增长更快，2023年，中国AR/VR市场支出规模将达到652.1亿美元，较2019年的预测（65.3亿美元）有显著增长。2018-2023年CAGR将达到85%。ToF有望享受AR成长带来的红利。
根据Yole报告，2018年3D传感技术市场规模为37.43亿美元，预测2023年为186.14亿美元，CAGR为38%。其中增长最快的属于消费电子，主要归功于几大手机厂商的应用。消费电子领域，2018年市场规模为18.1亿美元，预计2023年为137.7亿美元，CAGR超过50%。
深度3D传感技术根据工作原理可以分为三种：RGB双目、TOF和结构光。RGB双目技术算法要求高，并容易受光线影响，在较暗或者高度曝光的情况下效果都非常差，因此很少被采用。目前应用比较多的是TOF和结构光。
TOF（time of flight）技术工作原理是通过泛光照明器（固态激光器或者LED）发射近红外（~850nm或940nm）的脉冲波，脉冲波遇到物体以后反射回来，被传感器（sensor）收集到。系统通过计算sensor上每个像素脉冲波之间的频率差或时间差，再通过算法得到每个位置的精确3维深度。
结构光技术的基本原理是，通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。
TOF传感技术测距范围可调节，具有更远的探测能力。TOF传感技术通过计算红外光的飞行时间来计算物体的深度信息，误差主要来自装置的系统误差，误差较为恒定。而结构光的精度取决于反射光，在近距离误差较小，但是随着距离的增加，误差呈现指数增加。TOF测量距离可以调节，只要改变光学强度、光学视角、发射器脉冲频率，适合远距离体感识别，例如身体动作、手势等，也适合导航、监控、移动机器人等应用场景，潜在应用场景广阔。
TOF传感技术对算法要求低、响应更快、支持更高帧率。结构光因为需要对编码的结构光进行解码，所以复杂度要比直接测距的TOF高一些。TOF不需要后续处理，因此可以避免延迟，同时对算法要求更低。另外，TOF方案可以达到非常高的帧率，支持上百fps。结构光方案帧率会低一些，典型的是30fps。如：Melexis MLX75023的TOF传感器支持135fps。汽车辅助驾驶要求快速响应、远距离探测，3D TOF传感技术具备以上特点，因而也更适合汽车辅助驾驶，例如Melexis的MLX75027采用3D TOF技术对车内人员和物品进行监控，并具有手势检测功能。
TOF结构简单、模组尺寸更小，材料成本更低。在红外发射端，TOF基本不需要使用光学棱镜，而结构光需要形成特定的光学图案，因此需要添加DOE（衍射光栅）和lens（光学棱镜）。因此TOF的模组尺寸更小，材料成本也更低。结构光的BOM成本大约20美元，而ToF约为15美元，中低端ToF甚至在10美元以下,ToF更具成本优势。
2017年苹果发布的iPhone X采用结构光FaceID用于人脸识别，开启了3D深度相机在手机的应用先例，在随后的iPhone XS和iPhone 11系列手机中延续了这一设计，但是结构光技术占用较大屏幕正面区域，且应用场景较少，该项技术一直未获得其他厂商的采用。新款iPad Pro的dToF发射的点光源密度远低于iPhone前置的结构光，也说明了两个技术的不同用途。
ToF技术更适用于远距离识别场景，如：智能手机后置摄像头、VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等等领域。未来随着技术的进一步成熟、生态逐步完善，TOF产业有望进一步提升。
3D ToF技术在2018年就被VIVO、OPPO、荣耀的部分旗舰机所采用，随后LG、华为、三星高端旗舰机接连加入。
目前OPPO、荣耀、华为和三星的TOF深度传感器大都是索尼的IMX316芯片。IMX316传感器尺寸为1/6英寸，有效像素仅为4.32万。
苹果iPad Pro搭载3D dToF技术，相比其他厂商采用的3D iToF技术具有诸多优势，有望加速ToF应用的成熟。
TOF技术根据发射光的调制形式，分为直接飞行时间测量（Direct-TOF，即dToF）和间接飞行时间测量(Indirect-TOF，即iToF)，直接飞行时间测量采用脉冲调制，而间接飞行时间测量采用连续波调制。dToF技术要求更高，测量精度更高。
dTOF需要采用高精密时钟进行测量且需要产生短时间、高频率、高强度的激光，对硬件的要求较高。其优点也比较显著，省电、成像速度高，由于发射端能量较高，所以一定程度上降低了背景光的干扰，探测更远的距离。
当前，ST和AMS的1D ToF基本采用dToF技术，而安卓厂商的3D ToF全部采用iToF技术。
AR是未来最重要的一大科技创新，全球科技巨头都积极参与，包括苹果、谷歌、微软、华为、亚马逊等。早在2012年，谷歌就曾发布拓展现实的Google Glass产品，微软在2015年发布了HoloLens全息头盔，但是由于硬件技术不成熟和生态不完善，AR市场一直不温不火。
科技巨头深度布局完善AR生态，有望打开AR消费级市场。从苹果的AR SDK（软件开发工具包）ARKit到安卓的AR SDK ARCore，再到2019年华为推出的cyberverse数字平台，这些平台极大地降低了应用软件的开发难度，推动AR生态发展，带动应用场景的繁荣，从而打开AR的消费级市场。
苹果于2017年WWDC大会上首次发布了基于iOS版本的ARKit。初代ARKit可实现稳定快速的运动定位、平面和边界的估计、光照估计和尺度估计，并且支持各个开发平台或引擎。此后苹果在每年的WWDC大会上更新ARKit版本。在2018年的ARKit 2版本中，增加了、环境纹理、图像跟踪和物体检测等功能，提升后的ARKit 2可对真实场景中的2D图像和3D物体进行跟踪，渲染更逼真的增强现实场景。2019年发布的ARKit 3增加了对人物遮挡、动作捕捉、多面部追踪、同时使用前后摄像头等功能的支持。
3D视觉交互成为ARKit中重要的应用场景。在ARKit 2中，苹果加入了对真实场景中的3D物体进行跟踪，在最新的ARKit 3中，更是加入了实时捕捉人的动作、人物遮挡、多元化AR交互等功能。
TOF相机作为最优的3D交互输入端，能大幅提升AR体验感。3D输入能提供3维信息，减少AR的算法难度以及计算量，能显著提升AR体验的精准度和流畅度，另外功耗也会大大降低。具备TOF相机的iPad pro能提供更真实、流畅的AR游戏体验，甚至可以利用AR玩逼真的在线游戏。
具备TOF相机的iPad pro也能提供学习和工作上的便利，例如进行3D扫描和建模，可以让用户更直观的学习模型，配合其他软件，甚至可以做修改装饰等。
为了促进Android AR生态的发展，谷歌在2017年推出了第一款AR SDK：ARCore。ARCore不需要额外的硬件支持，在现有的Android系统上就能实现AR功能；谷歌在2018年2月发布了ARCore 1.0版本，使用运动跟踪、环境理解和光照估测三个主要技术来实现AR功能。仅在3个月后谷歌就发布了ARCore 1.2，增加了Sceneform、Augmented Images和Cloud Anchors三大功能，并对某些iOS设备提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore 1.7，引入了Augmented Faces（脸部增强）API，并发布了用于基本原理学习的ARCore Elements应用程序。
3D应用场景成为新ARCore中重要的应用场景之一。ARCore 1.2中Augmented Images部分功能的实现就需要利用以3D方式对它们进行跟踪和移动。在ARCore 1.7版本中3D应用场景更加丰富，此次更新加入了自拍AR滤镜和动画API：Augmented Faces，以及优化的应用UX。Augmented Faces支持前置镜头，它可生成一种高质量的3D人脸网格，支持468点追踪，开发者可以在网格上加入有趣的特效，如动画面具、眼镜、虚拟帽子，它还支持皮肤润色。开发者只需要操控网格上的坐标和特定区域的锚状点，就可以加入特效。
华为也加入了AR生态的建设。2019华为发布了Cyberverse数字平台。该平台为AR实景地图服务平台，可使用手机进行厘米级定位,Cyberverse是开放平台，其中的AR部分是全面开放的，可以接入Google的AR Core和苹果的AR Kit。目前Cyberverse已有开放接口，包括3D Map、数据信息接入等。
Cyberverse目前已有3D步行导航、虚拟楼宇信息、智慧园区IoT信息等应用场景，覆盖150个国家40种语言。Cyberverse可用于在景点、博物馆、智慧园区、机场高铁站等空间，2019年已经在国内5个著名景点进行开发者测试，到2020年年末，将在1000个地点提供服务。该平台也可作为导航汽车进行左右车道、一二三车道的转换的高精定位导航系统。
我们认为ARKit和ARCore打破AR硬件和软件相持的困局后，AR的成长空间已被打开，未来将是一个硬件和内容相互推动升级的过程，可划分为三个阶段：
1）第一阶段为2017-19年，硬件带动内容发展：过亿的存量手机市场和应用软件开发难度的降低将带来AR内容的迅速发展，终端用户的习惯得以初步培养；
2）第二阶段为2020-23年，内容的发展将推动3D信息采集效果更好的深度ToF摄像头在终端的搭载，深度ToF摄像头可实现更优异的AR效果，内容将再次得以升级；
3）第三阶段为2023年后，用户的AR使用习惯已被培养起来、技术也得以提升，产业将迎来AR眼镜/头盔的兴起，ToF的下游应用从手机拓展至眼镜等。
未来几年，ToF技术在在终端将迎来高速增长。据IHS Markit报告，2018年全球TOF sensor传感器市场规模为3.7亿美元，占整个3D感测市场的33%，2019年其市场规模同比增长35%，市场份额达到5亿美金，占比提高至40%左右。基于TOF方案的多方面优势，尤其是成本优势，预计2022年，TOF sensor市场规模有望达到15亿美金。
随着TOF技术的不断成熟和应用场景的不断丰富，手机摄像头、VR/AR手势交互、汽车电子ADAS、安防监控及新零售等多个领域都将对TOF深度传感器的数量需求增长。
方案厂商：处于ToF产业链的核心位置，设计方案、算法和选择主要零部件，通常也同时设计ToF sensor。
接收端：包括ToF sensor、滤光片和镜片。ToF sensor收集反射回来的经过红外滤光片过滤的红外光，测量光线从发射单元到每个像素点的时间，同时记录被拍物体的 2D黑白图像。滤光片仅允许发射端相应波长的红外光通过，过滤掉其它波长的光学干扰。
模组组装：将ToF sensor、VCSEL激光器、光学元器件等集成为一个完整的模块。
推荐阅读
光子计算芯片能否让AI驶入快车道？
有梦想最美：德生收音机创始人的无线电之梦
蓝牙可以传输32公里？别不信，还真能！
芯片供应全线告急，产能为何如此紧俏？
在公众号内回复您想搜索的任意内容，如问题关键字、技术名词、bug代码等，就能轻松获得与之相关的专业技术内容反馈。快去试试吧！
由于微信公众号近期改变了推送规则，如果您想经常看到我们的文章，可以在每次阅读后，在页面下方点一个「赞」或「在看」，这样每次推送的文章才会第一时间出现在您的订阅列表里。
或将我们的公众号设为星标。进入公众号主页后点击右上角「三个小点」，点击「设为星标」，我们公众号名称旁边就会出现一个黄色的五角星（Android 和 iOS 用户操作相同）。
http://www.eeworld.com.cn/mp/wap
EEWorld（www.eeworld.com.cn）
