并购以色列3D视觉芯片公司，银牛强势登陆中国市场

“不像初创的初创公司，这是对银牛微电子最好的诠释。“

银牛微电子董事长兼CEO曲冠诚对《电子工程专辑》表示，2020年底，通过收购以色列3D视觉芯片设计领军企业Inuitive，银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下，至此开启了中以合作、双向反哺的创新模式。

银牛微电子董事长兼CEO曲冠诚

站在巨人的肩膀上

官方资料显示，Inuitive是世界上第一个在芯片内实现3D双目功能的公司，强大的3D engine可同时支持双目和结构光技术。不仅如此，Inuitive还是第一个能在芯片中同时实现3D engine + SLAM + AI功能的芯片设计公司，集计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等众多顶尖技术于一体。

Inuitive创始人Shlomo Gadot拥有38年半导体设计经验，属于连续成功创业者，曾是AT&T贝尔实验室资深专家，发明ADSL团队的核心成员。早在1998年，他就创立了专为第三代无线宽带电信开发可编程芯片的公司ModemART，后来在2005年被Agere收购；之后，他又创立了芯片设计公司Percello，于2010年被博通收购；而Inuitive则是他投入精力最多，时间最长，也是储备最丰富的一家企业。另一位联合创始人Dor Zepeniuk曾是PrimeSense公司(2013年被苹果以3.6亿美元收购)研发项目负责人，在3D芯片开发、SoC、单元计算等多个领域拥有丰富经验。

3D深度感知、SLAM实时定位与建图(Simultaneous Localization and Mapping, )和异步时间扭曲(Asynchronous Timewarp, ATW)，是Inuitive的三大核心技术：

• 3D深度感知技术，深度视觉引擎等专为3D感知功能设计的独特IP，它的性能功耗均比市场上的其他解决方案优异；
• “SLAM实时定位与建图”技术，主要是在运动过程中通过传感器探测并建立环境的模型地图，同时估计自己的运动并定位；
• 异步时间扭曲技术ATW, 能产生中间帧，从而有效减少画面的抖动，减少眩晕感。Inuitive将此部分功能以硬件实现的方式实现大幅度的降低延迟，从动作到画面的反应延迟小于1毫秒。

2020年11月17日，银牛微电子与Inuitive完成收购协议的工商变更，实现中国公司绝对控股。银牛微电子专为并购Inuitive而设立，通过一年的整合交流，银牛微电子已经将以色列优秀的芯片技术带到中国市场。

3D视觉与AI的完美融合

“3D机器视觉模组C158”是银牛微电子日前面向机器人行业重磅推出的全新产品。该模组基于银牛NU4000芯片设计，高度集成3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与强大的AI算力于一体，可为业界提供从实时3D感知、计算到系统一体化的解决方案。

Inuitive NU4000芯片

“近年来，在人工智能、机器人、物联网等产业快速发展的背景下，机器视觉对于三维深度感知能力的需求加大，传统的2D机器视觉正快速向3D机器视觉升级，这对目前处于行业爆发期的机器人行业来说更是如此。”银牛微电子联合创始人何火高表示，客户对3D机器视觉的需求是刚性的，非常切合公司的产品定位。

银牛微电子联合创始人兼副总裁何火高

相关数据显示，到2023年，仅中国机器视觉市场规模就将达到208.6亿元，其中3D视觉市场规模将达到34.28亿元，预计到2025年，这一数字将超过100亿元。

具体性能方面，得益于芯片强大的视觉处理系统，C158的深度分辨率可达1280 x 800 @60fps，感知距离从0.3m-6m，深度感知精度误差仅为1%，极大满足了对3D深度性能有高要求的应用。同时该产品拥有5-6TOPs的综合运算能力和灵活的配置，不但能有效地支撑从感知到运算的各种需求，还能减少主控芯片/系统的负担，提高实时性。

银牛3D机器视觉模组C158

考虑到AI运算对CNN网络架构的支持效果、DDR带宽的占用率、以及算法开发与部署是否容易一直是用户关注的重点，因此C158在面向视觉方向，内部支持Caffe框架，提供其他主流框架模型到Caffe框架模型的转换工作，并不断完善对各种模型及算法的支持以方便客户快速部署。

同时，由于目前AI主流框架众多，如Caffe、TensorFlow、ONNX等，基于各类框架的众多模型到嵌入式设备端的部署，都还面临易用及快速开发方面的难题。银牛后续会根据国内客户对SDK的使用习惯进行不断的优化，提供简单易用的工具，增加客户技术支持资源。

此外，该模组也是一款高度集成的产品，在其125mm x 40mm x 27mm的体积内，集成了3D深度、SLAM实时定位建图引擎、人工智能等功能，这使其支持120fps的2路摄像头以及6自由度坐标的重定位，能够实现实时高精度姿态跟踪。

在功耗方面，C158仅以0.5w即可实现5-6 TOPS算力，可轻松满足设备端功耗要求，内置的通用型ARM核支持系统的独立性，使系统可以同时兼顾协处理器和主控系统，为客户的设计提供极大的灵活性。不仅如此，C158还搭载的丰富接口和系统支持，使其无论是模组或外设皆可实现USB即插即用的效果。

下图左侧是深度视觉图，右侧是彩色图。在彩色图的左下角上，栏杆和门看上去是处于同一平面，但是从深度图可以看出，门和摄像头之间的距离近，所以红色较深；如果变成黄色、则表示栏杆跟摄像头之间的距离越来越远。真实场景中栏杆在门外一米以外。所以当机器人使用了3D深度视觉摄像头之后对环境的感知能力就非常直观，实时且能进行有效的判断。

为确保及时响应中国客户的需求，银牛还特意针对中国市场进行了调优，并承诺将根据中国客户需求实时调动以色列资源，为其提供高效、优质的本地化支持，以及多样化的选择。

在谈及“中国机器人市场和全球其他地区的市场需求有何不同”时？银牛微电子联合创始人兼首席战略官白逸指出，国内机器人的应用其实要比国外应用场景更广泛，更领先，有很多国外的产品在国内应用时需要在国内特定应用场景下进行不断优化，例如餐馆服务机器人，需要在狭窄的空间移动，对避障要求比较高。

银牛微电子联合创始人兼首席战略官白逸

因此，基于国内客户的需求，银牛在设计之初时就已经考虑系统集成的便捷性，高度集成NU4000 3个主要功能的C158模组通用性强，能方便、快速的集成到机器人上，更易于使用。

例如，C158高度集成机器人对避障、SLAM和更智能化应用方面的功能，单一模组更易于集成；内嵌的NU4000处理器包含通用ARM CPU，高性能VDSP，CNN加速引擎，方便客户定制算法的灵活移植。

总体而言，模组的好处是随着在个别市场的应用成熟，在某个市场通过量产、客户和市场的考验后，能够基于已有的完整的基础软件和开发环境继续完善。它可以用在任何一个市场的，一个市场需求成熟后，只需要快速迭代一个新的模组产品，就可以满足突然爆发的需求。

深耕3D机器视觉

目前，在3D深度技术中主要有三种技术方向：双目立体、结构光和飞行时间ToF。双目立体和结构光都应用了三角测距的原理，但双目主要依靠红外反射到摄像头上视差来计算对象物的深度数据，而结构光则是发射光源将带编码的光线发射出去，照到对象物再反射回来之后计算深度。相比之下，结构光容易受环境干扰，而双目立体则不容易受到室外光线的干扰，非常适合3D视觉并能够适应室内外的应用场景。

但是，3D机器视觉技术门槛高，涉及到光学、结构、散热等跨学科设计问题，再加上芯片、算法构成的复杂系统设计，需要一定的技术实力，投入足够的时间和人才，才可以研发相关方案。也就是说，技术门槛高、投入大、研发企业少，都是阻碍3D视觉快速普及的原因。

“我个人认为，如果我们把3D机器视觉作为一场演出，TOF、结构光只是暖场的，真正的主角和真正的演出将由双目主导，最终的解决方案发展到将来会是融合的方案。” 白逸说，即使是融合方案，也会有主有辅，而双目会是最主要的角色，比如配合结构光，或者是TOF，或者是激光测距等去做更完善的解决方案。

这就好比人类的眼睛，是感知世界最自然、最好的工具。所以银牛方面认为，未来，双目立体与AI的结合，就如同眼睛和大脑的组合，能够让整个机器能够更好地感知、理解以及执行任务。

白逸解释说，从技术角度来说，银牛芯片不但支持结构光，同样可以支持TOF技术，只不过从目前的市场需求来看，公司相信双目是更持久、更有生命力的技术，价值最大，所以并没有将有限的资源投入到结构光和TOF解决方案开发中去。但在长远规划中，银牛将推出支持所有主流3D感知技术的融合方案，以单芯片去支持系统模组，会是必然趋势。