摩尔定律停滞，1亿像素之外，摄像头CIS走向何方？

这个标题还是有哗众取宠之嫌，不过大众对于CIS（CMOS图像传感器）技术进化认知，应该主要就是分辨率——或者说像素数量的提升了。谁家手机摄像头1亿、2亿像素了，感觉就比4400万照亮我的美听起来霸气。

1亿像素摄像头普及的基础主要是把像素做小，这一点我们此前无数次提到过。如果形象地打比方，像素尺寸微缩有摩尔定律的功劳，那么显然在单像素尺寸0.7μm/0.8μm这个节点上，时代还是有所停留的，所以手机摄像头也没有很快奔着2亿、3亿像素去——当然CIS这类器件可不是像素越小越好的。不过我们玩笑地说当“摩尔定律停滞”，CIS的技术进步又靠什么？应该是3D堆叠吧，就跟半导体行业的more than Moore那样（当然这只是个形象的比方）…… 

似乎从索尼对大众科普BSI背照式CIS（尤其在iPhone 4首次采用BSI CIS后），以及三星这些年大肆宣传CIS的单像素尺寸以来，CIS这类器件的技术发展就得到了更多人的关注。除了要用手机拍出好照片，安防、汽车、工业领域对机器视觉技术的需求，也成为CIS技术发展的推力。

上面这张图是索尼在IEICE ESS Fundamentals Review发布的一篇paper中出现的（Evolving Image Sensor Architecture through Stacking Devices）。这是索尼眼中，CMOS图像传感器堆叠结构的变化和展望，不管是什么意思吧，都感觉叠层越来越多。

这篇paper从大方向总结了这些年CIS的结构发展。虽然大部分内容都是老调重弹了，而且主要是从索尼的角度来看堆栈式CIS结构进化，但它仍具有总结技术发展的价值——或可作为各位读者深入研究的导读索引。

本文部分参考索尼发布的这份paper，另外也期望对我们过往CIS技术介绍做个总结：可能有些略偏手机应用（毕竟这是索尼主场）。另外，本文探讨的主要是CIS堆栈结构的进化，不涉及像素微缩、DTI、PDAF等像素结构变化；且本文不涉及摄像头的其他光学系统设计，如镜头或更大外延：比如最近比较火的手机屏下摄像头（Camera Under Panel）。

背照式和堆栈式CIS技术背景

对CIS有了解的读者对于“背照式（BSI）”和“堆栈式（Stacked，亦有译作堆叠式、层积式的）”这两个词应该都不会陌生。iPhone 4、iPhone 5s的摄像头较早应用背照式CIS和堆栈式CIS，也把这俩技术的科普推向高潮。

对于背照式和堆栈式技术，这里做个简单的科普。CIS上的像素就一口口井一样。在工艺还没那么成熟的时候，前照式（FSI）CIS是主流。一般CIS上每个像素从外界获得光，光则会被光电二极管转为输出信号。

来源：Omnivision

早年的FSI结构下，入射光在抵达光电二极管之前，还需要穿过金属线路。入射光照在这些连线上还可能发生反射，造成效率损失。BSI也就是从金属连线的背面，获得入射光——或者说把金属连线移到像素后面，如上图所示。

此前我们特别探讨过BSI结构的价值，它实际不仅提升了像素的感光效率，而且有利于像素做小——BSI可认为是当今手机摄像头做到1亿像素的基础。

BSI之后，随之而来的就是堆栈式（stacked）技术。堆栈式CIS是把原本与像素处于同一平面的逻辑电路移到下方的substrate上。这样也就实现了图像传感器进一步的小型化（或者更准确的说，是像素的进一步小型化）。

从这个时候开始，CIS就至少分成了像素层和逻辑芯片层两层。这两层堆栈结构要互联，常规方案自然就是用TSV（硅通孔）了（图3）。不过索尼比较早开始应用Cu-Cu铜铜hybrid bonding互联，这一点我们此前也没在文章里少谈过。Cu-Cu互联实现了多点连接，而且两层芯片是更直接的连接。索尼在paper中提到，Cu-Cu互联“让3μm的bonding键合间距成为可能”。其实3μm就当代单像素尺寸而言，也不算是特别小的值，但相比TSV已经是极大进步了。

要实现高速拍摄，叠了3层

事实上，在像素层和逻辑层分开以后，当代CIS的这两层也经常采用不同的制造工艺，甚至不同的foundry厂来制造。比如iPhone 6的堆栈式CIS，逻辑芯片层是台积电造的，而像素层就来自索尼。图像传感器的3D堆叠，事实上实现了器件小型化，制造弹性化，以及功能的持续丰富化——比如后文会谈到的融入边缘计算。

3D堆栈结构带来比较早期的一个红利是，实现高速拍摄——比如现在某些手机摄像头支持960fps 1080p帧率的摄影功能，意即每秒要拍摄960张画面。这和CIS的3D堆栈结构是分不开的。

这类高速CIS的一个特点是并行ADC（模数转换）。列并行ADC（column-parallel ADC）应该是比较早就在做市场宣传的。在CIS上以列并行的方式，将每个像素的模拟信号输出转为数字信号——这个过程自然是越快越好。

堆栈式结构在此间是可以发挥作用的。一般ADC电路必须以低噪声、高速运行，要求低阻接触。像素阵列通常需要3-4层金属互联；但如果要搞高度集成的ADC，则就要用到大约10层的金属互联。像素与逻辑电路两者用的工艺，因此就需要做各种权衡。

如果采用堆栈式结构的话：如上面这张图展示堆叠结构中，下层包含了双列ADC（Double Column ADCs），上层是像素层。这一例中，像素层用90nm传感器工艺制造，常规的4层互联；下层则用65nm逻辑工艺，7层互联。相比于早前一体的结构，上下层就不需要考虑那么多工艺优化等问题。

值得一提的是，这一例用到的是WoW（Wafer-on-Wafer）堆栈工艺，就是从wafer层面将两者叠起来。另外还有一种CoC（Chip-on-Chip，或者而应该也可以叫Die-on-Die）的工艺。这两者的应用场景有差别。WoW堆叠工艺要求上下两层芯片尺寸一致；CoC则在堆叠选择上相对灵活——当前CoC在生产效率方面应该不及WoW。不过索尼认为随着CIS复杂性提升，CoC的高自由度可能令其重要性逐渐增加。

上面这张图展示的是CoC堆叠，逻辑芯片层和像素层以40μm间距的micro-bump连接。值得一提的是，这张图的例子是35mm全画幅图像传感器，似乎堆栈结构已经是大底相机实现高速拍摄特性的基本保证。

双列ADC的价值在于，可同时读出两行像素，做模数转换——回看图5的例子中，实现的是120fps高速拍摄。与此同时，用这样的CIS来拍摄一般的60fps视频，则一个像素信号给到2个ADC，还能实现降噪（paper中有大致提到降噪实现方法）。这种并行ADC方案因此就实现了高速拍摄或降噪——这部分红利也是由堆栈技术带来的。

而在列并行ADC之外，实现更高速的拍摄之路上，行业的既有方案是继续做堆叠。所以就有了现在也不算少见的3层堆叠CIS：其中一层是DRAM存储层，典型如上面这张图那样。DRAM层叠在中间，上层和下层分别是像素层和逻辑电路层——这是索尼的方案。

这一例的3层都通过TSV连接。像素输出信号有两级TSV连接到逻辑电路层。逻辑电路层把转换后的数字图像数据，传到DRAM芯片层做存储。DRAM层作为一个临时存储区，能够加速像素读出扫描，进一步实现高速拍摄。索尼展示的这个例子，实现从DRAM到图像处理器200MHz 512bit总线连接，102Gbps带宽；这是960fps 1080p高速拍摄的基础。这个数据量放在以前，应该是不可想象的。

来源：TechInsights

其实比较早做DRAM堆叠的应该是三星，不过三星在方案上并不是将DRAM置于中间夹层，而是以倒装的方式将DRAM层放在像素层和逻辑电路层后方，然后用一个高厚径比的TSV贯穿连接——这种方案会相对暴力一些。Galaxy S10的摄像头就已经在用这种方案。这一点我们在过去的多篇文章里也都提到过。

像素级并行带来的结构进化

其实我们在此前的文章里也不止一次提过，叠层间的互联要从TSV转往Cu-Cu互联——前文也提到了，这可能也是索尼要宣传自己在这方面的技术上领先于三星的重要课题。而Cu-Cu互联要发展的就是将互联间距逐渐缩小，最终目标是小到像素级别的尺寸。

前面就提到了ADC并行还限制在“行”这个单位上。如果Cu-Cu互联间距小到像素级别，实现全像素的并行：像素并行电路结构，直接连接到逻辑芯片上就成为目标了。索尼此前宣布的所谓第五代BSI CIS就是像素级别互联，实现全像素并行ADC。

不过最早可追溯像素级并行ADC技术的，应该是奥林巴斯在2013年就发布的。索尼和Omnivision是于2018年发布同类技术的。索尼着眼的是用这项技术来继续提升高速摄影的速度，而Omnivision倾向于用该技术提升HDR表现。

上面这张图是2018年的一篇paper中出现的146万像素图像传感器，单像素尺寸6.9μm。从结构不难发现，每个像素都通过Cu-Cu互联连接到光电二极管下方的逻辑芯片。所有的像素同时实现模数转换。这一例中，ADC与像素一一对应，下层逻辑芯片的其他外围电路部分就放在了外面——下层逻辑芯片就比上层像素层要大。

这种全像素同时ADC并行，也就从根本上实现了“全局快门（global shutter）”——全局快门这个词这两年在工业、交通、汽车领域出现频次还是挺高的。电子工程专辑7月刊封面故事还特别提到车载摄像头在这方面的需求（虽然现阶段全局快门实现的方法不止一种）。

像素级并行ADC的价值还包括：对于列并行ADC而言，每次AC转换需要在10μs以内完成，而像素级并行ADC即便用数百μs，也能确保高帧率。所以后者运行电流数量级相较低很多，能够缓解其峰值电流需求大的问题。索尼认为其总体能够实现图像传感器的功耗下降。

事实上，这种像素级互联方案是有商用的例子的，只不过比较偏门，就是我们这两年谈的比较多的基于事件（event-based）的视觉传感器。这个领域内比较活跃的Prophesee公司这两年和索尼合作一起推了产品，主要应用了索尼的BSI+3D堆叠方案，实现了基于事件的传感器的像素小型化。这类传感器和传统CIS的原理差别还是比较大的，不过这不是本文要谈的重点，这里就不再深入探讨了。

来源：Prophesee

基于事件的CIS是比较典型的像素并行数字转换结构，索尼的Cu-Cu互联技术对于Prophesee而言是个比较大的突破。尤其是这类传感器有着相对复杂的像素电路结构，采用Cu-Cu互联来做堆叠，对于基于事件的CIS获得相对较高的分辨率还是有相当的价值的。Prophesee的这一代传感器单像素尺寸为4.86μm——这种尺寸应该也是现在Cu-Cu互联得以应用的关键，毕竟它还是比现在市场上活跃的传统CIS小至0.7μm的量级大了不少的。

再叠一层AI芯片

随CV（计算机视觉）的发展，以及更多行业对于CV的需求，CIS固然变得很重要；另一方面则在于AI也变得很重要。所以这两年不少见到图像传感器厂商为其CIS产品融入AI算力的新闻，索尼、思特威都是其中的先行者。

Yole Developpement此前也预言过，在CV发展的大背景下，图像传感器制造商的角色在发生变化。索尼去年5月推出过两款“智能视觉传感器”IMX500/501，就是把CIS和可做边缘AI处理的CNN卷积神经网络加速器（DSP）做融合。当然这是面向工业界的，而非消费电子产品。

这类方案的思路是，为CIS加入一定的AI边缘算力，在像素层拍完画面以后，立刻就能由AI处理器做计算，降低数据处理时延和功耗。因为以前这些数据都是传往主处理器做数据处理的。

索尼在paper中提到，这种“智能图像传感器”融入了ISP、CNN加速器、DRAM，叠层位于像素层下方（应该不是在原有3层基础上再叠一层，而是有个比较完整的逻辑芯片层）。整个CIS会输出的元数据（metadata）就可以是对象识别的结果了，似乎AI inference的识别精度也挺高，如下图。

这其中肯定是找来了其他合作伙伴的，此前思特威就在搞类似的SmartSensor AI智能传感器芯片平台，拉更多合作伙伴加入。2019年思特威就提过研发下一代AI视觉传感器平台芯片，准备将智能化计算引入到传感器端。

半导体技术对CIS的推进

其实说摩尔定律推动CIS技术进步，这话也是一点都没错的，虽然这并非全部。除了像像素尺寸微缩这类时代发展的变化，BSI、堆栈式、像素级并行ADC、再网上堆这些技术的达成，无一没有半导体行业技术发展的功劳。

再回看一下文首的那张图，是不是感觉已经能看懂了？这本身也的确是这些年，CIS的技术演进方向。不过它只是索尼眼中的布局，或许在三星看来，像素尺寸的进一步微缩也势在必行。这就不是本文要探讨的内容了。不过CIS技术与应用需求的进步，都在推动堆栈式CIS技术“堆”出更优的组合。

最后值得一提的是，索尼的paper其实还提到了用于测距（ToF）的图像传感器，比如SPAD这类做光子计数的图像传感器（毕竟索尼也给苹果造LiDAR用的传感器嘛）——索尼认为光子技术图像传感器是真正的数字转换技术，不仅能够无视读出噪声（readout noise），而且HDR闪瞎钛合金眼。

“SPAD光子计数图像传感器有希望成为最终的数字成像架构，尽管目前还存在着像素数量、高功耗的挑战。”我们此前探讨ToF的文章多少也涉足到了SPAD传感器，不过并未仔细研究过——未来可在这方面做更深入的探讨。

Reference：Yusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review Vol.15, No.1, https://doi.org/10.1587/essfr.15.1_5

责编：Luffy Liu