一直以来,全面屏是各大手机厂商孜孜以求的技术突破方向,但这一条路注定不简单。
此前,DSCC分析师Ross Young原本预测,苹果将在2024年推出屏下 Face ID,但在3月9日又透露,苹果已被迫将其屏下Face ID计划推迟至少一年。这意味着屏下Face ID最快也得等到2025年才有机会出现在iPhone中。
实际上,苹果很早就致力于研发新一代的屏下Face ID技术,将目前需要占用屏幕较大显示面积的3D人脸识别方案置于屏幕下方,兼顾脸部解锁和屏幕显示的一体性,即实现真正的“全面屏”。近日,一项苹果专利被曝光,可以说是对以上说法的支持。
图源:coolblue
Ross Young透露,除了屏下Face ID之外,苹果还将重新启用屏下Touch ID,但无疑需要比较长时间来实现。至于屏下Face ID延迟采用的问题,Ross Young也给出了解释,即“传感器问题”。那么,苹果为何看重Face ID?屏下Face ID到底有多难?
定调——“iPhone未来十年的基础形态”
2017年,苹果发布了iPhoneX,其首次搭载了Face ID,但“齐刘海”就成为随后几年推出的iPhone的重要标志。
不得不说,苹果Face ID确实具有不错的体验,主要体现在:一是无感使用,即直视屏幕就可开启手机;二是安全性高,从安全性上来说,Face ID 的安全级别是Touch ID的20倍,前者误识别率为百万分之一,后者仅达到了五万分之一;三是识别率高,指纹解锁识别率容易受外界因素影响,比如水、汗、灰尘等。
然而,也有人指出,Face ID也存在的特定场景下的不适用的情况,比如口罩解锁并非每次都灵。同时,正常情况下,指纹识别的速度也不逊于Face ID。
不过,苹果CEO库克早已在iPhone十周年上定调,即“iPhone迄今为止最大的革新和变化”“iPhone未来十年的基础形态”。这可以说是库克在发布会上说过最为关键的两句话,同时也肯定了Face ID的应用体验。不过,Face ID让iPhone屏幕留下了大大的切口。
2022年,苹果在iPhone14 Pro系列上将刘海屏设计变成了“灵动岛”。“灵动岛”确实也缩小了屏幕切口,而且其从功能表现上也不简单。
从苹果专利可以看到,苹果采用了可重定向的光学折叠元件,其优势在于空间占用小,而且可改变红外光传输方向。这意味着红外发射器的位置不会被限制,可根据实际需求调整位置。同时,“灵动岛”的面积是可变的,可以显示不同的信息,包括显示来电弹窗、专辑封面等。例如,打车时,这部分会显示还有几分钟达到。另外,“灵动岛”区域可以配合系统新的状态栏设计,跟据不同功能实现不同的动画特效,包括面容识别动画、正在播放、快速操作音乐等。
然而,就外观来说(不谈实际应用体验),“灵动岛”方案相对安卓手机上的挖孔甚至屏下摄像头方案,仍难有什么值得称道的地方,也非真正的“全面屏”。因此,在定调Face ID未来定位之外,苹果只能在“屏下Face ID”这一技术方向寻求突破。
值得一提的是,Ross Young还提到了苹果会重新启用屏下Touch ID。据悉,近日苹果获得了一项有关屏下Touch ID的技术专利,提到了正在研究一种结合“短波红外线 + 光学系统”等技术的新系统。
专利显示,通过短波红外线技术,用户将手指按在屏幕上时会产生光学成像,屏幕下的电子元件可以接收这一光源,并完成对指纹的采集和识别。同时,这一成像系统不仅可以用于识别指纹信息,还能检测用户的血氧和脉搏,效率比传统手段更高。不过,屏下Touch ID应用在iPhone上存疑,不仅库克对屏下Face ID已作定调,而且与屏下Face ID部分功能重叠,也没有必要搭配。
对此,彭博社记者 Mark Gurman 在最新报告中指出,苹果探索性设计小组(XDG)在无创血糖监测技术方面已经取得了突破性进展,未来可能会为Apple Watch推出这个功能。这或许对未来屏下Touch ID指明了实际应用的方向。
布局——脸部识别 “蓄谋已久”
实际上,苹果在Face ID技术上布局多年,可以说是“蓄谋已久”。
2007年,苹果就申请了类似的面部识别专利。
2011年,苹果一份面部识别专利曝光:基于前置摄像头捕获的图像,图像处理器会对该图像进行处理,然后与已经存储的参考图像进行对比。与普通人脸识别技术不同的是,这个系统并没有将图像100%进行对比,主要识别脸部信息量比较大的部位,例如眼睛、鼻子和嘴巴等。
2012年美国专利商标局再度公布了苹果的一项专利:“对特有照片进行分析,再用这些搜集到的数据建立一个faceprint(面部印记),已建立完成的faceprint就能与其他照片进行匹配,最终识别出照片上的人是谁。”
2016年9月,苹果又提交了一份面部识别专利,通过移动设备的前置摄像头,扫描用户的面部,看其是否与设备授权用户相符合,只有符合授权用户的特征时才会解锁。而当用户的移动设备静止一段时间并且摄像头无法看到用户时,设备将自动上锁。
2017年3月,苹果又提交一份面部识别专利,专利名称为“使用面部识别锁定和解锁设备”。该技术能够识别前置摄像头拍摄到的人脸是否属于机主,并根据判定结果来决定是否锁定或解锁设备。为了增强人脸识别的安全性,这项专利中还加入了能检测运动的红外传感器及倾斜传感器,能够做到活体识别。简单来说,该专利就是2016年的改进版本。
2022年4月,美国专利商标局已正式授予苹果一项新专利,该专利介绍中显示,其可以将Face ID组件隐藏在屏幕下方,屏幕依然可以正常显示,面部识别也能正常工作,两不耽误。
然而,在布局技术专利的同时,苹果还通过收购相关的创新企业,不断推进Face ID技术的实际应用。
2010年,苹果就收购瑞典面部识别技术公司Polar Rose。而Polar Rose开发了例如Face Cloud的面部识别技术,其是一个完整的解决方案,能将其植入到任何一个设备内。
2013年,苹果收购了以色列运动捕捉公司 PrimeSense。该公司的Kinect技术借助摄像系统的结构光可实时捕捉三维空间中用户的运动,也拥有影像识别和人脸识别功能。7年之后,苹果就把Kinect微缩到了iPhone上,而Kinect初代技术曾应用于微软的体感设备。
2015年,苹果又收购了FaceShift。FaceShift开发了实时捕捉人脸表情,然后将其表情三维动画化的技术。基于Kinect技术,Faceshift可以用屏幕上的3D头像精确复制人脸的表情,即使是最轻微的肌肉抽动,也能达成一流的动作捕捉。
同年,苹果还收购了以色列相机技术公司LinX imaging。该公司致力于利用小尺寸摄像头拍摄高质量照片,主要开发多孔摄像头系统,例如双独立传感器的双摄像头,利用多孔径成像技术,提升对焦速度,颜色还原,对比单摄拥有更好的宽容度、更少的噪点、更自然的颜色。
2017年2月,苹果再次收购一家以色列初创公司RealFace。RealFace开发了整合人工智能将感知到的面部特征允许用户展示面部进行身份验证,同时可以根据面部特征快速学习。
结合PrimeSence、FaceShift、LinX、RealFace几个初创企业独特的识别技术,以及自身多年的技术专利,苹果终于构建了iPhone X上的深感摄像系统。而从另外一个层面看,苹果之所以多年不断累积Face ID技术,那是其对Face ID应用策略和方向的笃定。
挑战——屏下Face ID之难
不过,尽管Face ID已经在iPhone上得到多年成熟应用,但并不代表屏下Face ID“水到渠成”。反而,屏下Face ID将是对苹果创新应用体验的更大挑战。Ross Young透露的传感器的问题也说明了这一点。
“屏下”设计方案实际上也不算新鲜。以屏下前置摄像头为例,小米、中兴等安卓手机厂商都使用了该技术方案,预计也已迭代多次,可以在一定程度上兼顾屏幕的显示以及前置摄像头的拍摄效果。该技术方案主要是将前置摄像头上方的发光单元缩小,减少对光线的阻挡,再加上算法的优化,让摄像头在捕捉少量光线的情况下,仍然拍出不错的画面,实现自拍和解锁的工作。
不过,该技术方案受限于光线减少和屏幕发光单元的遮挡,前置摄像头的成像画质还是要比一般挖孔前置的方案差很多。同时,为了保证显示效果的一致性,屏下位置被缩小的屏幕发光单元需要提升亮度才能与整块屏幕的亮度和显示亮度保持接近。然而,对于目前多数高端旗舰机所采用的OLED屏而言,提高亮度无疑是一个技术软肋,必然会影响屏幕寿命期,甚至直接会出现烧屏的现象。这对任何一个消费者而言,都是不可接受的。
然而,屏下Face ID技术方案也差不多遭遇跟屏下前置摄像头一样的技术困境。今年2月,根据美国商标和专利局(USPTO)公示的信息,苹果获得了一项屏下Face ID的技术专利。这可能意味着未来iPhone机型可以将相关传感器嵌入到屏幕下方实现人脸识别。
根据苹果的这项专利描述,该专利可以将大量传感器嵌入屏幕内部,包括用于 Touch ID 的传感器、用于测量三维非接触手势(“空中手势”)的传感器、压力传感器、用于检测位置、方向和/或运动的传感器(例如,加速度计、磁性传感器(例如罗盘传感器、陀螺仪和/或包含部分或全部这些传感器的惯性测量单元)、健康传感器等。
而显示器下方的传感器还可以包括光学传感器,例如自混合传感器和收集飞行时间测量的光检测和测距(激光雷达)传感器、湿度传感器、湿气传感器、注视跟踪传感器和/或其他传感器。同时,灵动岛的位置可以改变,通过使用一系列微小的透明窗口,这些窗口的表观尺寸和位置可以在显示器周围有效移动,通过有选择地激活和停用不同的像素。
由此可见,苹果实现屏下Face ID并没有太大难度,只需确保外部光线能够穿透显示屏并进入TrueDepth摄像头系统就行。也就是说,屏幕下Face ID并不需要拍摄出质感极佳的照片,只负责点阵投射相关识别点,在进行人脸识别解锁,所以在技术方面不存在太大问题。这个技术原理跟屏下摄像头相同,也是苹果率先采用屏下Face ID的主要原因。
对此,苹果就表示,其设备使用的传统屏幕有 13 层,通过这些区域的光传输最多减少了80%,因此苹果未来可能需要减少包含传感器区域的层数。因此,从这个角度来看,屏下Face ID必然会优先屏下摄像头搭载,毕竟屏下摄像头不仅会导致拍摄的分辨率下降,还增加了烧屏的风险。
综合上述,Ross Young所提到的“传感器问题”,应该就是减少传感器区域层数的问题。当然,如果未来Micro LED屏幕在iPhone上得到应用,那么真正的“全面屏”就是时间的问题了。