3D FPGA技术：延续摩尔定律的黑科技，上篇

在英特尔正式发布并开始出货的Stratix10系列FPGA中，引入了一些全新的、且部分来自于英特尔半导体制造部门的“黑科技”，如EMIB、SiP等。这些技术使得Stratix10的架构与之前英特尔/Altera其他任何FPGA架构相比，都有着极大的区别，并随之带来各种优势和性能提升。

对于很多人而言，这些用于制造“3D FPGA”，或更广义可以称之为“3D IC”的技术，会显得相对比较陌生。于是产生了想法对业界主流的3D FPGA的制造和系统集成技术做一个简单的综述和介绍。全部内容打算写成两篇博文，本文写Xilinx的技术，下篇写英特尔的技术。正文如下。

FPGA的发展一直完美的遵从摩尔定律。如Xilinx院士Steve Trimberger在其文章《FPGA的三个时代》中所述（见下图），自1984年FPGA面世以来至今，FPGA的容量增长超过一万倍、速度增长超过一百倍，同时其成本和功耗均降低了超过一千倍。

虽然这些发展很大程度上归功于半导体工艺的不断进步，但实际上作为FPGA设计本身，也必须提出一系列新颖的系统和架构级创新，以不断延续这样的发展轨迹。

我们知道，FPGA从最初的简单的可编程结构，逐渐发展到大型的逻辑门阵列，再发展到片上集成各类资源和IP，如存储器、收发器、DSP等，逐步形成当前丰富的FPGA产品门类。然而，随着半导体工艺的进一步发展到10nm以下，继续使用传统的设计方法得到的FPGA芯片的性能指标已经渐渐不能满足摩尔定律的表述。那么，问题来了：

在本篇和下篇博文中，我将尝试回答这些问题。

目前看来，一个可能的答案是使用更先进的3D芯片封装和系统集成技术，有趣的是当前的FPGA厂家使用了截然不同的技术设计和生产3D FPGA。在本篇博文中，我会详细介绍Xilinx的堆叠硅片互联技术- SSI。在下篇博文中，我将介绍Intel的3D系统级封装-SiP，和嵌入式多芯片互联桥接技术-EMIB。

在每一代生产工艺早期，由于工艺和生产技术尚未成熟，因此很难达到较高的良品率，尤其对于面积较大的芯片而言更是如此。

研究表明，对于高端FPGA（如Virtex7系列等），如果裸片面积为6平方厘米，使用泊松良率模型推断后，其在工艺早期的良品率仅为0.25%；然而如果裸片面积只有1.5平方厘米，则良品率高达22%。换句话说，在一个12英寸的晶圆上仅能产出0.3个能正常工作的6平方厘米的裸片；相比之下，却能产出1.5平方厘米裸片的数量则为107个！由此可见在工艺早期，不同裸片面积大小所带来的巨大良品率落差。

在上述例子中，如果可以将四枚1.5cm2的裸片“组合”为一枚6cm2芯片，那么同样的晶圆可以产出平均26.75枚芯片（如下图），随之带来超过一百倍的产能提升。

这便是Xilinx 堆叠硅片互联技术（Stacked Silicon Interconnect – SSI）产生的主要背景。

SSI技术示意图如下图所示。

和传统封装技术相比，SSI技术在封装基板（Package Substrate）和FPGA裸片之间加入了一层无源硅中介层（Silicon Interposer），同时在硅中介层上可以放置多枚FPGA裸片。这些裸片通过在中介层里的硅通孔（Through Silicon Vias – TSV）、微凸块（Microbumps）以及大量连线进行相互连接。其中，各部分的作用简述如下：

• 微凸块：连接FPGA裸片上的各类引脚。

• 硅通孔TSV：将裸片的电源、接地以及IO通过C4凸块连接到封装基板。TSV是SSI技术的核心创新点与技术难点。值得注意的是TSV通过蚀刻工艺制造，而非激光钻孔，因此对制造工艺有着严格要求。

• 芯片连线：中介层可以提供上万条连线将相邻的两枚FPGA裸片进行互连。
  

  
  

通常而言，中介层会使用已较为成熟的工艺进行加工，比如本例中使用了65nm工艺，并且在硅中介层中不含晶体管等有源器件，这样可以保证较高的良率、降低制造风险，以及降低系统静态功耗。

综上所述，使用SSI这种基于硅中介层的FPGA封装集成技术的主要优点有：

在2017年的Hot Chips大会上，Xilinx发布了Virtex UltraScale+ HBM系列FPGA，其中仍然使用基于第四代硅中介层的技术来组合3枚16nm FPGA，以及2枚32GB的存储芯片（High Bandwidth Memory - HBM）， 如下图所示。

然而，SSI技术的缺点也同样明显，主要有以下四点。

首先，SSI技术特别适用于每代半导体工艺制造工艺早期，即制造大型裸片工艺不成熟导致良率极低时。然而，当工艺成熟后，良率会明显上升，此时再使用SSI技术并不会明显提升良率。

在本章开始的例子中，据研究表明，使用成熟的工艺制造6cm2裸片的良率会从一开始的0.25%猛增至55%，相比之下制造1.5cm2裸片的良率会从22%上升至86% 。这样以来，一块12英尺的晶圆可以产出66.9片6cm2的裸片，以及104.6片4x1.5cm2的裸片，产量差别已然不大。

同时，制造硅中介层、TSV以及在同一封装内组装多枚裸片的成本就会在此时逐步显现，导致整体的成本优势进一步减弱。

第二，和一片完整的大型FPGA裸片相比，将多枚FPGA裸片通过硅中间层组合可能会带来明显的性能降低。

这里对性能的影响来自于很多方面，比如在垂直方向上，由于硅中间层的引入，使得裸片引脚到封装引脚要先后经过硅通孔TSV，额外的C4凸块，以及封装基底内的导线。相比之下单芯片系统只需经过封装基底内的导线即可。

在水平方向上，硅中介层中的导线和微凸块会带来额外的延迟开销。研究表明，对于一个7x12mm的裸片而言，其微凸块可能分布在距离芯片边界2.25mm的“远方”，这样将两个裸片进行互连时，在中介层中的导线长度会非常可观，从而可能带来1ns左右的线路延时。相比之下，FPGA片上的延时才不过几百ps。

下图展示了Andre Pereira和Vaughn Betz在2014年的FPGA国际会议发表的文章中的结果，从中可见裸片间延时对系统性能的消极影响，其中蓝色线为使用单一硅片的对比组，即没有片间延时的情况。例如，当互连使得关键路径增加0.5ns，1ns或1.5ns时，系统性能会分别下降约20%，35%和50%。

此外，硅通孔TSV也可能会对性能造成负面影响。对于一个大型FPGA，可能存在成千上万个I/O引脚，而每个都需要有TSV与之对应，这样大大增加了制造难度。同时，高密度TSV也可能对信号一致性造成干扰，引发串扰和耦合，这增加了尤其对于高速模拟信号的设计和控制的难度和复杂性。

第三，该技术对FPGA配置的灵活性也可能会造成很大影响。采用多枚FPGA裸片相当于人为的划分了多个设计区域和边界，为了设计的优化实现，可能需要人为进行设计划分，增加了设计成本和周期。另一方面，这些无法改动的设计区域和边界也可能会造成额外的芯片使用，从而导致功耗的增加和性能的降低。

如下图所示，假设原本有一个设计包含模块A到F，其中F为内存控制器并连接了大量并行I/O。在单芯片系统中，该设计只使用2/3的芯片面积即可实现（见下图左）。然而在SSI器件中，由于两个裸片间的互连延时增加，将模块F分布于两个裸片已无法满足时序要求，因此只能将其放于单个裸片中。这样一来，模块ABCD要重新布局到整个芯片，造成不必要的资源使用（见右下图）。

第四，FPGA设计工具需要进行一定程度的改动和优化，以适应这种新的FPGA架构，从而可能会增加设计难度、延长了设计周期。

对于时序优化工具而言，片间延时的增加使得时序收敛的难度增加。对于布局布线工具而言，由于片间只存在相对有限的布局布线资源，因此增加了布局拥堵的可能性。和传统FPGA设计流程相比，在布局映射（Mapping）和布线（Routing）两步之间，可能会需要加入额外的人为或自动的设计区域划分，以协调各个裸片的资源使用和时序收敛。另外，全局的时序和布局布线的协同优化可能会变得更加复杂。

理论上Xilinx的Vivado设计工具会解决（或尝试解决）上述问题，但不清楚用户有多大的灵活性对设计工具进行控制和进行人为优化。由于没有找到相关文档，因此也不清楚和在单一FPGA硅片上使用传统设计流程进行开发相比，这种新的流程对系统性能和资源使用的影响。

然而，对于学术研究而言，诸如VPR这种在学术中广泛使用的设计工具需要进行架构层面的调整，以适应这种新的FPGA结构。这对于学术发展不一定是坏处。

本文主要介绍了Xilinx的SSI技术在制造3D FPGA上的主要原理及其主要优缺点。下篇博文将介绍业界另一个主流方案，即英特尔的EMIB技术。

1. Three Ages of FPGAs: A Retrospective on the First Thirty Years of FPGA Technology, Steve Trimberger, 2015.

2. CAD and routing architecture for interposer-based Multi-FPGA Systems, Andre Pereira and Vaughn Betz, FPGA 2014.
   

3. Xilinx whitepaper: Xilinx Large FPGA Methodolody Guide, 2012.
   

4. Xilinx whitepaper: Xilinx Stacked Silicon Interconnect Technology Delivers Breakthrough FPGA Capacity, Bandwidth, and Power Efficiency, 2012.
   

5. Assembly and Reliability Challenges in 3D Integration of 28nm FPGA Die on a Large
   High Density 65nm Passive Interposer, Raghunandan Chaware, Kumar Nagarajan, Suresh Ramalingam, 2012.

6. Xilinx 16nm Datacenter Device Family with In-Package HBM and CCIX Interconnect, Gaurav Singh et al. Hot Chips 2017.