最近，小米和三星一起联合发布了摄像头6400万像素的Redmi手机，同时宣告1亿像素手机CMOS图像传感器（CIS）即将到来。眼瞧着手机摄像头在像素数量上已经赶超中画幅相机了，前两年飞思发布的1亿像素中画幅相机价格近32万，这下1亿像素就要人手一个了。
实际2019年，旗舰手机采用4800万像素摄像头已经是主流，尤其在索尼IMX586这颗CIS的普及下，以及华为拍照手机4800万像素的一呼百应。不过“高像素无用论”是很早就有人提出过的，而且法国光学机构DxOMark最近刚刚更新的拍照手机榜单上，画质排名第一的Galaxy Note 10+分明是一台主摄1200万像素的手机；就连三星自己都没有在自家的旗舰手机上应用那么高像素的CIS；蔡司也说4000万像素就够了，再往上堆没有意义。
那么1亿像素的这种堆料，是营销噱头，还是技术趋势呢？
要说技术趋势，恐怕即便是CIS行业内的领导者都没有完整的话语权。早在2001年，日本三洋在CCD技术上的优势，致其在手机和相机图像传感器市场占据30%以上的市场份额；但在后续决策过程中，三洋始终认为，CCD相比CMOS更有前景，而后续市场的实际情况和三洋的判断完全相反，导致三洋彻底葬送了图像传感器业务。2005年，IC media被LG兼并后，成为全球最大CIS制造商，IC media认为Edof是手机拍照的未来，同时还预言手机CIS尺寸会越来越小，加上IC media在3T向4T技术过渡期表现不佳，IC media也很快就拱手让出了市场。
数据来源：Yanta Research
在技术迭代的节骨眼上，CIS行业倒下的玩家也是前仆后继的，即便是行业领导者也可能轻易溃于一次决策失误。现如今的CIS市场是索尼和三星的天下，这从上图统计的市场份额数据就能看得出来。不过基于CIS的行业特性，我们也很难用他们对市场的判断来下一个趋势定论。
总结CIS市场玩家的趋势动作，却是可以看出端倪的。索尼和三星今年都忙于4800万像素CIS争夺战，不过索尼在这一战中始终处在上风：国产手机应用IMX586 4800万像素CIS成为一种常态，而同为4800万像素的三星GM1却由于模拟读出技术的劣势，在市场表现上明显弱于索尼。
所以三星抢发6400万甚至1亿像素CIS，开辟新战场也完全可以理解：而且实际早在今年5月，三星的这个路线图就已经对外公开；早前亦有传言称，索尼的6400万像素传感器也已经在路上。从去年多摄、AI拍照之争，现如今的焦点似乎又回到了像素战。但分辨率，或者说像素数量方面的对战实际一点也不奇怪，尤其在技术成熟以后。
一个CIS传感器之上有多少个像素，可以简单理解为将这颗CIS传感器切分成多少份。比如10800万像素，也就是将CIS切分成10800万份，每一份都是一个像素。每个像素负责单独感光。像素数量与最终成像的解析力是密切相关的，在理想情况下，我们可以认为，像素数量越多，照片解析力就会越好——当然这只是理想情况。
来源：TechInsights
那么这其中的技术关键自然就是将像素做小，或者将CIS做大。这实际也正是市场近十多年来的总体技术趋势。研究机构TechInsights统计了近20年手机/小DC的图像传感器，像素尺寸趋势。实际很容易发现，像素正变得越来越小。我们甚至可将像素尺寸视作图像传感器迭代的表征。
实际无论是索尼的4800万像素，还是三星的6400万/1亿像素CIS，其像素尺寸（pixel pitch）都在0.8μm这个节点上。这样看来，基于0.8μm尺寸的1亿像素CIS，实则是对这一代技术的扩张，也显得相当合情合理，而非纯粹的博取眼球。不过相应的，为了容纳这么多的像素，CIS的总尺寸是在逐渐变大的。索尼IMX586 4800万像素CIS尺寸为1/2英寸（可简单理解为对角线长度），三星GW1 6400万像素CIS尺寸为1/1.72英寸，而还没有问世的1亿像素CIS尺寸将是1/1.33英寸。
1/1.33英寸是个什么概念呢？如上图所示。iPhone XS的摄像头CIS尺寸为1/2.55英寸，iPhone X为1/3英寸，索尼著名的黑卡RX100相机CIS尺寸为1英寸。实际上，5年以前的高端DC还在用1/1.7英寸的CIS。
虽然1/1.33英寸这个尺寸和单反/微单还存在量级差距（如上图橙色区域的全画幅），但在手机领域，刨除诺基亚808 Pureview这种拍照怪兽不谈，三星的1亿像素1/1.33英寸CIS，在尺寸方面可以认为是绝无仅有的，而且正靠拢1英寸小DC。实际上，将CIS做大，不仅意味着CIS成本的增加，而且摄像头的光学结构（比如镜头）也跟着在成本方面急剧增长，且在容纳进手机机身的技术难度也更大——不过这就在本文的讨论范围之外了。
另一方面，Cadence在今年的TSMC 2019技术座谈会上报告称，今年像素尺寸达到0.8μm，明年预计可下探至0.7μm。实际上，从最近我们获取的消息来看，三星LSI在CIS方面的路线图中，除了明年的0.7μm，2021-2022年预计还会有更高像素的CIS问世，像素尺寸可以缩减至0.56μm/0.64μm。
不过图像传感器作为半导体的边缘领域之一，它与数字IC还是有很大不同的，发展也不遵从摩尔定律。事实上，越小的工艺节点，很多情况下意味着性能表现愈发糟糕。这从直觉上也很容易理解：像素是用来感光的，它收集的光子越多，拍照效果才会越好。换句话说，像素越小，则其感光能力越差。这实际也是单反与手机在拍照上始终有难以逾越的差距存在的主要原因。
像素收集光子的过程，就类似于在某片空地（空地类比为CIS）上放满盆子（每个盆子就是一个像素），下雨时（拍照时），雨点落进盆里（光子打到像素上）。这里我们简单地将一个像素集满光子的能力定义为“满阱容量（Full
Well Capacity）”，也就是盆子能盛多少雨水。
在像素尺寸已经如此之小的情况下，增加满阱容量的方案就是增加“阱深”，或者说active
Si的厚度。上图的（2）表示的就是“像素阱”的深度。针对像素阱的设计都是需要工厂花重金去试错的，更早1.0μm像素时代的active
Si厚度为2.5-2.7μm，现在则加深到了3.9μm。
实际上，即便是一些不喜欢采用高像素摄像头的手机制造商（比如苹果现在在用1.4μm像素尺寸的CIS），像素阱加深也是趋势。不过一旦像素阱变深了，那么临近像素之间就更容易产生串扰（crosstalk），比如原属于某个像素的光子，由于以倾斜角度进入到像素内部，可能穿越到临近的像素。这就对最终成像产生了消极影响。
MWC 2019 Shanghai三星展示的ISOCELL Plus像素（注意，这里的“镜头”在翻译上并不合理，英文是micro-lens，是指每个像素之上的一个微透镜）
所以目前手机CIS为解决这个问题的技术焦点就在深槽隔离技术（DTI）上，简单地说就是在每个像素阱之间加入隔断，避免串扰。今年的MWC 2019上海展会上，我们就看到三星着力展示的就是这种DTI技术。三星在市场宣传中称其为ISOCELL。不过最早将DTI技术应用到背照式CIS的企业是意法半导体（2010年的HTC One），可惜iPhone的崛起导致意法半导体下游客户相继没落，意法半导体也就没能在DTI这一局中有所斩获。
虽然三星的ISOCELL在市场宣传中更加广为人知，但索尼最早引入DTI也可以追溯到2013年，最初索尼采用B-DTI工艺，所用的界面氧化物包括了HfO、TaO和基于钛的衬底与钨金属；2015年，索尼开始改用更深层的电介质填充的B-DTI结构，更薄的界面氧化物：AlO，TaO，以及无掺杂的氧化物内核。
上面这张图就是索尼和三星最新的0.8μm像素，可以看到两者的像素隔断差别还是比较大的。DTI结构会根据所处工艺环节的不同而有异，更早阶段实施的叫F-DTI，工艺流程更靠后环节的叫B-DTI，实际这两者还有从像素哪一端构成的差异。这两者都被证明是有效的方案，而且也都需要投入大量研发成本，以减少来自DTI蚀刻工艺产生暗电流的影响。
索尼采用的是B-DTI，三星所用的F-DTI方案要求必须采用VTG（vertical transfer gates，索尼早期也曾用过这种方案），所以其隔断会比较完整——这似乎也是目前三星着力的宣传点。另外，索尼所用的氧化物填充B-DTI隔断为150nm宽度，三星则为110nm。
随着像素变小、active Si厚度变大，DTI结构本身也在持续进化中。DTI以及相应的钝化技术是目前像素越做越小的关键所在。如果说高像素真的如很多人所言只是个噱头，并且只会让画质变差的话，那么三星、索尼、OmniVision这些厂商又为何要非要投入大量成本研发此类技术呢？
除了DTI之外，近1-2年手机CIS领域的另一个热门技术就是芯片堆栈——这和索尼更早应用了“Stacked”堆栈式技术的Exmor RS图像传感器产品还不一样。当年的stacked技术是把像素周围的电路移到下层去，电路不需要占用像素表面的位置，让像素感光开口更大。现在的芯片堆栈是指，将CIS、ISP和DRAM（相当于图像传感器的一个缓存）三层堆叠在一起。
上面这张图呈现的就是在CIS之下堆叠的ISP。这里的ISP并非手机SoC层级的ISP，是个混合信号的图像信号处理器。值得一提的是，ISP部分索尼用的是自家的40nm技术工艺，而三星则采用28nm，但这种工艺差别在这个层级造成的差异也很难对比。此外，三星在此例中还倒装了一个DRAM die。CIS的专有DRAM也是个趋势，毕竟在像素那么多的情况下，数据吞吐量会成为一个大问题。
索尼的两层堆叠封装（CIS与ISP）依然很常见，堆叠的一个技术核心就是chip-to-chip的互连。在上述iPhone XS和华为P30 Pro的摄像头中，索尼用的是6.0μm间距的Cu-Cu混合连接（bonding），用以替代TSV（硅穿孔）互联方案，目前正在开发像素级互联技术。
三星加入DRAM的三层堆叠已经能够在Galaxy手机上见到，不过这个“三层”实际上，是把DRAM die以倒装芯片的方式置于ISP与CIS双die堆叠后方，DRAM融合了两层RDL层以及一个高厚径比的TSV贯穿到ISP，实现连接。而索尼的三层堆叠才是真三层互联，采用完整TSV互联的方式，连接DRAM后方的RDL层。
在手机这种小身材的设备内，是不可能塞进单反或微单级别的CIS的。所以这20年缩小像素尺寸的战役里，除了前文提到的增加像素阱深度，在像素之间增加DTI结构，期间还有很多具有标志性的技术出现：只不过这并非2018-2019年的热点。
如说背照式BSI技术，将像素内部的色彩filter和感光层中间的电路移到后方去，一定程度解决串扰和光利用率的问题；以及堆栈式技术，将像素周围的电路也移到后方去；还包括了像素最前方微透镜涉及的光学结构变化，如三星在ISOCELL Plus像素设计中（说起来，三星的市场部可真尽责，连像素都有自己的名字），已经采用薄至1.17μm的光学堆栈——如上图。
但即便有这么多的努力，像素表面积毕竟还是越来越小了，而且还需要考虑到PDAF对焦技术应用到CIS还需占据像素额外的空间。或许在光线充足的环境下拍照，0.8μm的像素尺寸问题还不大，但一旦来到夜景拍摄环节，小像素感光能力差的短板就会彻底暴露（这里我们不讨论摄像头的光学设计）。所以，从像素滤镜排列（CFA，彩色滤镜阵列）下手，是三星和索尼的又一个把戏。
上世纪70年代，柯达公司的Bryce Bayer发明了数字摄影的“拜耳阵列”彩色滤镜，他应该没想过这种方案会沿用至今。在我们现代的CIS方案中，为了让每个像素能够感知到色彩，每个像素前方（微透镜后方）都有一个彩色滤镜。有的像素感知红色，有的像素感知蓝色，还有的像素感知蓝色。
图片来源：wikipedia
在拜耳阵列的CFA系统下，每个像素都只能感知红绿蓝的一种色光，其色光感知的原始数据实际上是不完整的，最终出片需要通过某种“猜色”算法（反拜耳算法，或称demosaic算法）来还原每个像素的真实色彩。拜耳阵列的滤镜排列为，1个红色像素+2个绿色像素+1个蓝色像素，如上图所示，如此循环遍布整个CIS。
考虑到现如今单个像素实在太小了，所以索尼和三星同时想到改变这种滤镜布局，改为每四个像素都同时采用同一种色彩的滤镜。这样一来，每4个像素就相当于感知同一种色光，或者说它们就好像合成了一个面积达到单像素4倍的大像素一样，联合工作。这就是索尼宣传中的Quad Bayer阵列，而在三星的宣传中，这种CFA排列方式叫做Tetracell。
图片来源：三星
尤其在应对夜间拍摄场景时，实现这种“像素四合一”实际是相对弹性地实现了在小像素和大像素之间的切换。这种设计的好处，是一方面在光线充足时用大量的像素加强解析力，另一方面在光线昏暗时主动降低解析力，但增加了进光量。还有一点：在市场宣传中，6400万像素、1亿像素说起来又更好听。
不过也正是由于Quad Bayer这类CFA方案的存在，虽然像GW1这类CIS的确有6400万个像素，但在施行后期“猜色”算法时，还原真实色彩的难度会更大：或者说，它原本保有的色彩信息量就少于传统拜耳阵列CFA，这样一来画面的解析力实则不能达到6400万像素应有水平。
所以标称的4800万、6400万和1亿像素提升，相较从前1200/2000万像素，虽然在解析力上的确有提升，但解析力提升与像素提升并不成正比。与此同时，四像素合一的方案也并非0.8μm的像素突变成1.6μm大像素这么简单：四个像素的表面积的确比一个像素大，但它还是无法和一个真正的大像素相比，因为像素合成、ADC设计，以及像素间隔断牺牲的表面积，仍然带来了不少影响。
即便如此，Quad Bayer和Tetracell仍然称得上是解析力和感光能力的权宜之计。实际上，除了这种四合一设计，1亿像素的九合一方案也正在来的路上。而且这种设计也不光兼顾了感光和解析力，还能执行像素级HDR（3DHDR），四个像素分别应用不同的曝光参数，达到画面更高的动态范围。
不难预见，4800万、6400万和1亿像素，在CIS像素层面虽然都是0.8μm，但一亿像素这个量还是大了很多的。无论是CIS堆栈级别的ISP做remosaic，还是SoC级ISP进行反拜耳，以及一系列的图像数据处理，一亿个像素的算力要求都会空前增加——或许连显示在屏幕上都需要时间，那么1亿像素的CIS是否真的输出1亿像素的照片，大概都是个值得考虑的问题。而1亿像素实际还更考验三星在拍照技术上的一个短板：高速模拟电路设计。
从前文的技术解读中其实不难发现，在CIS和像素的细节制造上，三星在某些环节还是掌握了工艺优势的。这大概也是它能够抢发6400万像素甚至1亿像素产品的原因所在，而且规划中还有更小像素的节点：虽然这一点还有待大规模量产的市场考验，毕竟三星LSI在SoC制造领域也一直很擅长“提(fang)前(wei)量(xing)”。但成像技术并不单在像素设计和制造上。
当代手机SoC级的一般ISP是无法执行前述Quad Bayer CFA的“猜色”还原算法的，所以在CIS拍摄到原始信号之后，靠近CIS的ISP（即前文提到的堆栈在CIS下方的ISP）需要首先对数据进行一次remosaic（这个层级也可以放到SoC级ISP的pipeline中）——也就是先把Quad Bayer数据还原成传统拜耳数据，然后再把数据转交给SoC级ISP进行demosaic反拜耳。
某种可行的remosaic方案，图片来源：DPReview
三星较早发布的4800万像素GM1之所以被卷入“真假4800万像素”之争，就是因为这颗CIS并不会进行remosaic过程，而是在CIS堆栈的ISP内简单地将每四个同色像素合成一个，最终输出的也就是1200万像素信息量（所谓的binning）。
即便在CIS层面的确包含了4800万个像素，但实际在ADC和输出环节却掉了链子，GM1官方资料提到其输出最大为30fps的1200万像素，而没有全像素支持。
实际三星在今年5月终于推出原生4800万像素输出的GM2 CIS，也仅仅实现了全像素（4800万）10fps输出，参数中仍未见片上实时remosaic。索尼却在更早就IMX586中就实现了支持。这是索尼技术领先的一个例证。另外，我们未能找到三星最新GW1 6400万像素和计划中1亿像素CIS的具体参数，三星似乎也还没有公布这些数据。未来具体产品发布后，应该能够说明三星在短板部分投入了更大的努力。
TechInsights今年3月公布的数据显示，索尼在图像传感器领域拥有最多的专利数量，三星和佳能紧随其后。在具体类别的专利方面，索尼在模拟和数字方面的专利积累很多，上图蓝点表示的就是电路相关专利，黄色是制程工艺。三星似乎的确在像素、材料的制程工艺方面有着很强的储备，但在数字、模拟、后期校正等其他方面和索尼仍然有一定的距离。
不过三星的产品路线，以及这种抢发行为对市场有刺激作用。1亿、2亿像素的技术推进本来就是良性的，需要在设计和制造中投入大量成本，而非市场营销噱头。这也必然对索尼产生影响，并在未来的手机摄像头市场上带来更白热化的竞争。
最后稍微谈一谈高像素对拍照究竟有何益处——这部分实际上是数字成像相关的内容了，和半导体制造关系并不大：
• 最直观的，也就是前文提到的高像素能够加强照片的解析力，光照充足的环境下让拍摄对象更清晰；
• 很多人声称以显像设备如今至多4K的分辨率来看，成像设备解析力达到1亿像素已经没有价值。但实际上解析力加强最大的价值在于，照片放大或者截取其中一部分之后，画面仍有较高的可用性——对厂商而言，可实现更高倍率的数字变焦或配合光学变焦的“混合变焦”；
• 另外，就显像设备的分辨率为依据，拍照时多出的这些像素可作为“过采样”之用。而过采样的价值就很大了，比如说过采样的噪声抑制、HDR。同等尺寸的CIS，高像素和低像素相较，通过超采样可以实现更高的信噪比和画面更高的锐度。
不过更小的像素和更大的CIS，就手机这类小身材设备而言可能带来一些问题。比如当像素越小时，配套光学系统中更大的光圈才能杜绝成像中的衍射效应，高像素对光学镜头制造商也提出了更高的要求；CIS本身的增大当然也会让光圈孔径变得更大，如此一来摄像头的体积恐怕也会随之增大，或者说在光学系统不做出优化的情况下，画质可能因为光学系统的缺陷而产生劣化，比如画面边角失色、解析力明显下降等，不过这些就不在本文的讨论范围内了。
参考来源：
[1] Samsung Officially Unveils 108MP Sensor for Smartphones - Image Sensors World
(http://image-sensors-world.blogspot.com/2019/08/samsung-officially-unveils-108mp-sensor.html)
[2] The State of the art of smartphone imagers, Part 1: Chip-stacking and chip-to-chip interconnect
(https://techinsights.com/blog/part-1-chip-stacking-and-chip-chip-interconnect)
[3] The state of the art of smartphone imagers, Part 2: Pixel Scaling and Scaling Enablers
(https://techinsights.com/blog/part-2-pixel-scaling-and-scaling-enablers)
[4] The state of the art of smartphone imagers, Part 3: Back-Illuminated Active Si Thickness, Deep Trench Isolation (DTI)
(https://techinsights.com/blog/part-3-back-illuminated-active-si-thickness-deep-trench-isolation-dti)
[5] A Survey of Enabling Technologies in Successful Consumer Digital Imaging Products, Part 3: Pixel Isolation Structures
(https://www.techinsights.com/blog/survey-enabling-technologies-successful-consumer-digital-imaging-products-part-3-pixel)
[6] Yanta Research on 2018 CIS Market Shares - Image Sensors World
(http://image-sensors-world.blogspot.com/2019/05/yanta-research-on-2018-cis-market-shares.html)
[7] Techinsights Image Sensor Slides - Image Sensors World
(http://image-sensors-world.blogspot.com/2019/03/techinsights-image-sensor-slides.html)
[8] How Tetracell™ delivers crystal clear photos day and night - Samsung
(https://www.samsung.com/semiconductor/insights/tech-leadership/how-tetracell-delivers-crystal-clear-photos-day-and-night/)
责编：Yvonne Geng
本文为EET电子工程专辑 原创文章，禁止转载。
↓↓ 点击"阅读原文"申请试读 ↓↓
------------------------
与工程师一起改变世界
