mVision助力实现嵌入式视觉三大里程碑

咨询公司BDTI的联合创始人菲尔·拉普斯利(Phil Lapsley)曾撰文表示，当一项技术实现三大里程碑时，就表明该技术已经为从星星之火变为燎原之势做好了准备：首先，它具备完成重要任务的技术可行性；其次，它的成本足够低廉来实现这些任务；第三也是最重要的是，非专业人员用它来构建产品也非常容易。

对嵌入式视觉来说，以前的做法是依靠外部芯片和预写硬件互联，导致机器视觉发展进程缓慢。但现在，摩尔定律、市场经济学、特定领域的架构创新、以及深度神经网络的出现，让前两个里程碑得以实现。

例如，借助可编程技术，原本从摄像头获取数据信息到系统做出最终决策的复杂过程变得愈发简单——具有可编程逻辑的SoC芯片可创建功耗更低、效率更高的数据路径，使机器能够做出更高阶的决策。同时，也大大简化并降低了整个系统的开发难度与成本。

更重要的是，几乎每个月都有新的处理器出现，其价格、功率和性能点都不同，而且通常采用专门的体系架构来提高计算机视觉和神经网络推理任务的性能。

第三个里程碑比较麻烦——易用性，实现它是个难题。不过，在过去几年中这种状况发生了改变，主要有两大原因：首先，高质量、支持良好的视觉工具和库的广泛可用，让开发人员不再需要从头开始构建嵌入式视觉系统。而且大多数开发人员已不再设计神经网络，相反，他们更愿意选择一个免费现成的神经网络，针对特定任务对其进行训练。其次，专门用于简化创建嵌入式视觉和边缘AI系统设计过程的工具也越来越多。

正是因为嵌入式视觉开发的瓶颈被一个个的攻克，所以Allied Market Research的数据显示，2019年全球机器视觉系统市场规模为297亿美元，到2027年预计将达到749亿美元，年复合年增长率高达11.3％。

作为低功耗嵌入式视觉领域最具风向标性质的解决方案，Lattice mVision™系统解决方案集合从2020年推出的1.0版本开始，就以其高度灵活、小型模块化的特点，成为众多嵌入式视觉应用的首选。

总的来说，mVision使用了模块化硬件平台、IP构建模块、易于使用的FPGA设计工具、参考设计和演示以及定制设计服务网络，提供定制化的性能和灵活的接口互连(MIPI CSI-2、LVDS、PCIe、GigE)，并专为智能工厂、机器视觉、智慧城市和智能家居应用中的低功耗(150mW-1W)、小尺寸封装(2.5 x2.5mm-10x10mm)设计进行了优化，能应对传感器互连、桥接、聚合和图像信号处理等各类设计挑战。

2020年3月推出的mVision 1.0解决方案，主要是为需要快速构建原型系统的消费类嵌入式视觉设计人员而准备的。其视频接口平台(VIP)支持嵌入式视觉应用中常用的各种视频和I/O接口(包括MIPI、LVDS、DisplayPort、HDMI、USB等)，支持包括CrossLink™、ECP5™和基于莱迪思Nexus技术平台的CrossLink-NX FPGA。VIP通过简单的插拔即可轻松地实现输入和输出板互连，两个60引脚的高速板对板连接器用以减少物理连线，确保设计工程师可以复用现有经过验证的软硬件构建模块。

为了强化“易用性”特点，mVision中还包含了各类即时可用的IP核，可用于连接MIPI和LVDS图像传感器、ISP、通用连接标准(例如USB、千兆以太网)和HDMI、DisplayPort、GigE Vision等显示标准。同时，Lattice Diamond®和Lattice Radiant®这两款易于使用的FPGA设计工具则可以自动处理许多常见的设计任务，从而加速和简化莱迪思FPGA的编程。

为进一步加速系统开发，莱迪思mVision还为常见的嵌入式视觉应用提供了完整的参考设计(包括传感器桥接、传感器聚合和图像处理)和定制化设计服务，用户无论是开发单独的功能设计模块，还是需要一站式交钥匙解决方案，莱迪思都能快速实现。

一年后的2021年3月，在mVision 1.0的基础上，Lattice又推出了全新的mVision 2.0。该方案最显著的变化之一，是增加了对工业和汽车系统中使用的主流新型图像传感器的支持，以及全新图像信号处理(ISP)IP核和参考设计，帮助开发人员设计网络边缘智能视觉应用。此外，2.0版本还支持Lattice Propel设计环境，可简化使用嵌入式RISC-V处理器的视觉系统的开发。

与消费级嵌入式视觉方案不同，应用于工业、汽车和医疗领域的嵌入式视觉方案既要求低功耗、小尺寸，还对帧率准确度要求极为严苛，不允许丢帧现象发生。因此，莱迪思在mVision 2.0增加了全新的开发板，除了原有的CrossLink、CrossLink-NX、ECP5之外，还包括支持工业和医疗应用的主流图像传感器Sony IMX464/IMX568和安森美半导体的AR0234CS，开发人员可通过I2C、SPI或其他接口对摄像机传感器进行配置和操作。

以往的传感器产品都自带ISP驱动，但随着传感器复杂度的增加、分辨率的提升，传感器厂商很难调动一款受众面很广的驱动，因此往往不再提供ISP驱动，多数只提供传感或者原始数据，这部分工作就被渐渐转移给了方案开发者。Lattice此次增加了专门的ISP，为客户拓展了mVision解决方案的选择，可以帮助用户在产品设计中快速部署嵌入式视觉等应用提供便利。

以全新的莱迪思mVision ISP参考设计为例，它包括了莱迪思嵌入式视觉开发套件(EVDK)和传感器桥接板。其中，EVDK中又包含了CrossLink图像接口协议(VIP)输入桥接板、ECP5 VIP处理器板和HDMI VIP输出桥接板。

完整的ISP参考设计可以采集图像传感器数据、转换接口、实现ISP流水线、最后在HDMI显示器上显示视频。具体而言，ECP5器件从CrossLink器件上接收并行的传感器输入RAW原始图像，然后经过ISP流水线的转换和处理，将转换后的视频通过HDMI发送到显示器，显示实时图像。

支持莱迪思Propel设计环境与RISC-V架构也是mVision 2.0呈现出的核心特色。Propel是一款用于在低功耗、小尺寸莱迪思FPGA上加速基于嵌入式处理器开发的设计环境。该工具包括一套完整的图形和命令行工具，可创建、分析、编译和调试基于FPGA的处理器系统的硬件和软件设计。

而之所以新增对RISC-V架构的支持，其主要目的一是希望通过使用C代码而非RTL语言的方式简便整个方案的配置；二是RISC-V作为开源方案，得到了大多数用户的支持。未来，Lattice将计划在其他器件上逐步提供RISC-V软核支持。

对于刚刚推出的mVision 3.0来说，其最主要的更新是在接口桥接支持方面提供了更多的选择，包括：SLVS-EC转MIPI桥接；MIPI CSI-2转LVDS，新增支持RAW14；SubLVDS转MIPI CSI-2，新增支持RAW14；MIPI转PCIe桥接，从而在更广泛的嵌入式视觉应用中带来了更高的准确性和灵活性。

以MIPI CSI-2转LVDS为例，熟悉接口领域的人士都比较清楚，目前，消费市场上的大多数图像传感器和应用处理器(AP)主要使用MIPI CSI-2作为视频信号接口，OpenLDI LVDS作为显示界面的主要前身，在某些领域也仍然很受欢迎。当某些情况下设备间出现无法直连的情况时，接口或格式转换就拥有了用武之地。

下图展示了MIPI CSI-2转LVDS的框图流程。当进行MIPI DSI/CSI-2和OpenLDI LVDS接口桥接时，CertusPro-NX平台会将接收到的DSI或CSI-2 MIPI数据在LVDS上转换为OpenLDI格式。MIPI RX模块也可以通过使用通用DDR模块（D-PHY软IP）的软宏(soft macro)实现，而LVDS TX模块则通过使用通用DDR模块的软宏实现。

而在SubLVDS转MIPI CSI-2示意框图中，基于SubLVDS到MIPI CSI-2图像传感器接口桥接参考设计，成功解决了采用SubLVDS输出的图像传感器和采用CSI-2接口的ISP/AP之间的不匹配问题。

此外，基于CertusPro™-NX FPGA(可用于最新的嵌入式视觉应用)，莱迪思还推出了两款全新开发平台——CertusPro-NX Versa开发板和Trenz TEL003 PCIe开发板，预计将于2022年上半年面世。

CertusPro-NX是莱迪思在2021年6月推出的第四款基于Nexus技术平台的产品，在功耗设计、系统带宽、边缘处理、可靠性、封装多样性等多个方面得到了进一步提升。与竞品相比，CertusPro-NX最大的特点在于不仅功耗效率得到了大幅提高，还在最小的封装尺寸中提供了最高带宽，且是同类产品中唯一支持LPDDR4外部存储器的FPGA产品，能够很好的满足智能系统中的数据协同处理、5G通信基础设施中的高带宽信号桥接、以及ADAS系统中的传感器接口桥接等创新应用需要。