苹果又一改变产业的黑科技揭秘!iPad Pro的激光雷达有什么玄机?
前天晚上,苹果春季新品以官网直接上线的形式进行了亮相,没有传说中的iPhone 9,几款新品大都是常规升级,包括iPad Pro、Mac mini和Macbook Air家族的产品。
但有一款产品却不得不引起我们的关注,那就是2020版iPad Pro,不是因为其加入了“双摄”,而是其首次引入的“激光雷达”组件。在苹果官网,对这部分做了相当篇幅的介绍。苹果公司认为这是实现革命性AR应用的重要一步。以往,苹果曾多次激进采用的新技术都改变了整个行业,Touch ID、FaceID结构光镜头、AirPods的SiP封装等等;为此有必要从技术本身到应用及产业链深扒下这颗激光雷达背后的玄机。
▲苹果官网对iPad Pro激光雷达组件的介绍
“激光雷达”这两年更多被提到是在自动驾驶领域,所以看到苹果把激光雷达装到了iPad里的消息,很多人的疑问是,激光雷达不是长得“那么大”,多用在自动驾驶汽车、扫地机器人上的吗?难道是苹果偷换了概念?
▲用于自动驾驶的车载激光雷达
其实并不是一回事,在同多位业内从业者交流中得知,iPad Pro激光雷达背后仍是ToF(Time of flight)三维视觉技术方案,其实华为、三星、OPPO、vivo等安卓厂虽然早就玩过,比如华为智能手机中出现过的隔空操控屏幕,即利用了ToF镜头实现,但iPad Pro这里用的ToF镜头技术和这些厂商所用有很大不同。
注意,苹果iPad Pro上用的ToF技术多了一个前缀“d”,dToF,这可能是一个革命性的提升。利用dToF(直接测量飞行时间法),iPad Pro有望将AR应用效果的精确度、流畅性提高到新的级别,同时能耗大大降低。有人说,苹果可能是第一个将dToF技术商用化的消费级硬件公司。
▲利用iPad Pro的雷达系统实现增强现实功能
据了解,应用在iPad Pro上的dToF激光雷达,只是一个开始,iPhone或许很快也会用上,很有可能就在今年,早在两年前苹果就让工程师研究后置三维深度相机。
从2017年首次推出ARKit,苹果一直在探索AR在移动终端中的应用,这次dToF激光雷达的加入是其继结构光镜头模组之后在硬件上围绕AR应用的又一次重要革新,苹果的做法到底有什么不同,背后又牵涉到哪些技术和供应链,通过与多位从业者的交流,我们来扒一扒iPad Pro激光雷达葫芦里卖的什么药,以及背后又蕴藏着苹果怎样的AR野心。
一、iPad Pro装激光雷达,老卖点还是新变革?说到激光雷达,很多人会联想到自动驾驶汽车。激光雷达以接近真实的方式构建周围的三维地图,从而使汽车“看见”其它汽车、树木、道路。
自动驾驶领域的激光雷达公司RoboSense联合创始人兼COO Mark告诉智东西,完全是两回事,车载激光雷达主要保障安全,识别距离远,性能要求高;相比于男士钱包大小的车载激光雷达,iPad Pro上的激光雷达可识别数米,探测标准不同,成本也更低。
根据Mark的推测,新版iPad Pro背部的激光雷达大概率采用的是Flash方案。固态激光雷达目前大致形成了三种技术路线:MEMS(微机电系统)、OPA(光学相控阵技术)与Flash(快闪)。按照专业认知,其中MEMS和OPA均为扫描式,而Flash为非扫描式。简单说,Flash就是快速直接发射一大面光墙,从而通过飞行时间法获知深度信息,某种意义上,它类似于夜视摄像机,不过光源是自己主动发射出去的。
既然没机械式的“扫描”动作,那么苹果官网上为什么宣传“雷达扫描仪”?相比于其它两种技术路线,Flash不靠活动的机械部件,而是靠电子部件发出的数字信号来控制激光发射角度。因此,苹果宣传页面中的“扫描”可能是描述了具象的感知过程,而不是机械运转。
那么,苹果的激光雷达和华为、OV、三星、小米等推出的ToF深度相机有什么区别?其实,激光雷达是传感器硬件,ToF则是激光测距的方法,指向的是一个事情。
▲OPPO R17 Pro的ToF模组
TOF(Time of Flight)译为飞行时间法,是一个包罗万象的术语,指的是通过光、气体、液体等粒子的速度计算距离的一种技术,已有一百多年历史。早在1887年,迈克尔逊就首次提出将光波作为测量长度的尺子。20世纪60年代,激光的发明让“以光测距”成为现实。
▲国内推出的智能手机中TOF相机模组的部分应用情况
▲用三星Note10系列手机进行三维建模
除此之外,苹果只说了测量距离达五米,这不是很远,同时5m内的识别效果怎么样,抗干扰性怎么样?都还不知道,相信产品开卖后,用户会有直观体验。
由此我们可以看到,苹果iPad Pro上的dToF方案和之前安卓手机上用过的iToF方案以及车载激光雷达有这些异同:
1、三者都用到了光学传感和ToF距离计算方法。2、iPad Pro的dToF方案相比车载激光雷达,前者是固定的平面3D传感器,后者是旋转的单线或多线;同时Flash这一方式在车载应用中有感知距离短的问题,在苹果设定的场景中则正合适。3、iPad Pro的dToF方案相比安卓机的iToF方案,发射的脉冲信号不同,因而传感器组件、算法也都有差异。
下面我们对dToF和iToF的差异做进一步的拆解。
二、一颗进化版的ToF相机,有何技术玄机?虽然都是ToF测量方法,但是苹果这次用的是dToF 直接测量飞行时间法(direct time of flight),有别于华为Mate30、Vivo NEX等机型中的iToF 间接测量飞行时间法(indirect time of flight)。
▲dToF与iToF的主要区别
▲iToF与dToF的测量法示意图
从图表可以看出来,dToF相比于iToF在性能上要好很多,但在生产工艺上也更复杂。
由于采用dToF方法,iPad Pro背部的激光雷达将能解决直接测距面临的低时间分辨率难题,达ps(皮秒)级时间分辨率,精度也不会随距离拉远有大的衰减。换句话说,iPad Pro的ToF相机性能将提升的不是一点半点,它带来了一颗进化版的ToF镜头,AR体验的精准度、流畅度将大大提高,功耗也会大大降低。
▲视觉效果更真实、流畅的AR游戏体验
同时,dToF大多依托阵列SPAD(single photon avalanche diode,单光子雪崩二极管)等元件,而SPAD工艺非常复杂,世界上能做的厂家较少,集成难度高,这也是为什么先前一直没有厂家将dToF方案塞进手机平板累产品中的一大原因,不过现在逐渐有厂家开始将dToF技术引入到扫地机器人这样的产品中,不过模组体积要比iPad Pro上大很多。
这里引用一位知乎达人Zhang Eric对dToF关键部件SPAD的科普:
雪崩二极管是dToF的关键,下图左起第一个是一般成像使用的PD(光电二极管),第二是APD(雪崩二极管),第三个是SPAD(单光子雪崩二极管),其主要差别APD和SPAD在通过增加偏置电压,在光子到光电二极管的时候会产生雪崩效应,就是产生大量的电子。这对成像不利,但是对于检测脉冲则很好.而SPAD比PAD更敏感,也就是只需要很少的光子就能产生雪崩效应。
SPAD的小型化是dToF难以在手机等小型消费电子上使用的技术瓶颈之一,Zhang Eric认为,其实dToF并不是第一次在消费类设备上使用。最早在手机的后摄激光对焦和苹果Face ID测距也用到dToF sensor。但优于SPAD的难以小型化的限制导致sensor的的分辨率很难提高。这次iPad Pro的激光雷达在这方面是有所突破的,分辨率比之前设备上的dToF都要高,他预估苹果这次的激光雷达分辨率应该能达到QVGA~VGA(320*240像素~640*480像素)之间。
▲SPAD单光子雪崩二极管元件的功能特点示意
既然关键零件的小型化这么难,苹果又是如何做到的呢?有分析人士认为苹果是将专门用于感光的雪崩二极管和数字电路部分完全独立制造后进行晶圆级缝合而成,看来这极有可能又是苹果倒逼供应链技术进步的一个例子。
三、谁会是iPad Pro激光雷达背后的赢家?那么iPad Pro的激光雷达背后的产业链供应商是谁?会是为苹果提供Face ID技术的Lumentum吗?Face ID同样采用三维视觉技术获取人脸深度信息,但其采用的是结构光三维视觉技术,与ToF、RGB双目视觉是三种不同的技术方向,与iPad Pro上的激光雷达-ToF方案也有区别。
同时,据外媒Fast Company上周报道,Lumentum公司表示还没有和苹果探讨在未发布设备中使用其三维视觉技术。
为iPhone 7 Plus提供传感器的意法半导体(ST)参与了吗?该公司是全球首家提供基于SPAD技术的公司,目前也没有回应。
另据了解,苹果公司曾在2019年获得了一项“Light Detection and Ranging Sensor”的授权,其中提到的Trilumina也可能参与了iPad Pro的激光雷达设计。
一位激光雷达产业链资深专业人士分析认为,iPad Pro背部雷达SPAT传感器的供应商无外乎索尼(Sony)、意法半导体(ST)、LG innotek等几家公司。据推测,新版iPad Pro很有可能采用了索尼的背照式堆叠技术,采用LG在韩国大邱的摄像头模组工厂制造,才将激光雷达浓缩到如此小的空间里。
有没有国产玩家在内呢?该专业人士称,国产Sensor还要很长一段路要走,国产模组、镜头则在准备一段时间后会陆续进入。还有业内人士透露,之前听产业链消息说苹果到2021年才可能推出dToF,目前来看,国产手机可能要两年后才能做到这种程度。
▲华为Mate 30 Pro中的ToF方案供应商中有许多国产厂家
四、营销卖点背后,苹果的AR生态应用大厦如果说iPad Pro的激光雷达是一颗进化版的ToF相机,那么我们又要回到老生常谈的话题。
为什么是苹果第一个吃螃蟹,应用生态有没有准备好?
从市面上已有产品来看,后置深度传感器的应用主要有三大方向。
一是相机拍照优化,能使景深虚化、美颜等效果更好;二是AR体验,比如人物识别(比如视频直播中的应用)、MR游戏、体型测量、AR尺子、Emoji表情、三维建模、AR导航等;三是人脸解锁、手势操作等更复杂的功能。
▲利用AR进行导航
总体来说,这些应用都不够硬。而在人脸解锁、手势识别相对硬核一些的应用上,ToF激光雷达方案其实很容易被毫米波雷达、结构光三维视觉等方案替代。
“应用乏力”问题直击ToF三维视觉技术的“切入点”和“落脚点”。如果三维视觉应用需求“硬”不起来,激光雷达也好,ToF相机也好,都是科技圈换了马甲、一年一更新的营销卖点罢了。
但是,跳出来看,苹果会不会是在酝酿什么别的惊喜呢?很有可能。
苹果为什么选择在Pad上最新推出ToF相机?有人说,可能模组还没发小到能集成到手机上。
但是,上周,外媒Fast Company报道今年至少有一款iPhone会在背后安装ToF三维深度摄像头。据称,iPhone的工程师们已经花了至少两年的时间研究后置三维深度相机,而更轻巧便携的AR眼镜也已经在路上。
除了技术上,苹果自身也在推进AR应用的开发和赋能。早在三年前,苹果就推出了AR开发平台ARKit,但一直以来略显低调。苹果的AR布局已久,可谓“软硬兼施”,还有一种放长线钓大鱼的样子。
醉翁之意不在酒,苹果眼下在传感器硬件上进行新尝试,看中的却是将AR应用程序和软件生态带向新的高度。在苹果推动AR的三年时间里,没有“杀手级”应用出现。而激光雷达传感器的进展,就是要望解决这个难题。
在iPad Pro激光雷达传感器应用展示中,苹果已经在努力展现其AR应用的强大。例如,其Apple Arcade Hot Lava游戏,可以使用数据更快更准确地为客厅建模以生成游戏表面;有一个CAD应用程序,可以扫描房间的3D模型并查看其外观;另一个演示可以准确确定手臂的运动范围。
▲利用AR玩逼真的在线游戏
▲利用AR模拟生态系统
▲利用iPad Pro实现更多学习、工作方面的功能
据9to5Mac的Benjamin Mayo报道,苹果公司目前正在为iOS 14系统开发一款AR应用,用户可以将iPhone对准苹果商店和星巴克的商品,从而在手机屏幕上看到商品的更多信息,以AR叠层形式显现。
夏虫不可语冰,苹果的眼光,远不在冲营销卖点,而是在消费级AR的新风口,是一座平地而起的AR大厦。到时候,手机会不会变成了AR设备,苹果会不会成了AR公司?
结语:一颗摄像头背后,苹果的AR野心苹果iPad Pro推出激光雷达,乍见惊奇,细看不足为奇。它更像一颗进化版的ToF相机,虽然这个卖点早在去年被各大安卓厂商玩过了,但苹果的到来,可能会再次引燃这一技术应用。
早在2016年苹果推出AirPods耳机的时候,并未引起行业的关注,但此后几年的发展,直接催生了一个年出货量过亿台的TWS耳机市场,而苹果也因此创造了一个超过Mac电脑的营收新品类,立讯精密、歌尔股份等供应链公司更是跟随TWS的东风,股价水涨船高。这次,由iPad Pro开端的dToF技术应用,如果能够广泛使用,势必会给上游供应链带来新的机遇。
在应用层则有可能催生真正的AR杀手级应用,毕竟苹果为AR方向,已经打了三四年的地基。从2017年首推ARKit,到推动开发者在AR应用上的开发,比如宜家公司的家具选购App等等,苹果公司一直是AR领域最积极的探索者。
跳出这一层来看,苹果在iPad布设激光雷达背后还凸显了更深远的谋虑。随着带有后置ToF相机的iPhone也面世,那么AR眼镜、轻量级的MR设备还会远吗?再加持苹果AR应用生态的双管齐下,苹果的AR大厦会不会越筑越高?还有很多想象空间。