热点丨清华团队研制出世界首款类脑互补视觉芯片

清华大学精密仪器系的类脑计算研究中心施路平教授团队，经过深入研究，成功提出一种新颖的基于视觉原语的互补双通路类脑视觉感知范式。

基于这一范式，团队成功研制出世界首款类脑互补视觉芯片——[天眸芯]。

此项研究成果的论文《面向开放世界感知具有互补通路的视觉芯片》已被本期《自然》（Nature）杂志收录，标志着中国在类脑计算和类脑感知领域取得了显著突破。

该研究成果由清华大学类脑计算中心团队完成，论文通讯作者为施路平教授和赵蓉教授。

清华大学类脑计算中心自2013年3月由施路平教授全职入职后组建，致力于从基础理论、类脑计算系统芯片和软件系统等多个维度进行深入研究。

值得一提的是，早在2019年，施路平教授及其团队便成功开发出全球首款同时支持[脉冲神经网络]和[人工神经网络]的AI芯片——[天机芯]。

这款芯片成功融合了两种互不兼容的AI技术，实现了多模态交互，内部数据访问带宽高达600gb/s，不仅降低了能耗，还显著提高了运算速度和精度。

这一成果在当时便引起了广泛关注，并再次展示了中国在类脑计算领域的领先地位。

综上所述，我国在类脑计算和类脑感知这两个关键领域均取得了重要的基础性突破。

向视觉感知技术的难点发起新一轮突破

视觉作为人类获取外部信息的主要渠道，其所占比重超过80%，充分表明人类对于视觉信息的依赖程度极高，从而确立了视觉在人类感知体系中的核心地位。

然而，当前视觉感知技术在复杂多变的开放环境中实现高效、精准且高鲁棒性的视觉感知方面仍面临严峻挑战。

特别是在自动驾驶等应用领域，传统的视觉感知技术常受限于带宽、功耗等因素，易导致失效、失真及高延迟等问题，对系统的稳定性和安全性构成严重威胁。

针对这一挑战，施路平团队致力于类脑视觉感知芯片技术的研发，提出了一种创新的视觉感知策略，即基于[视觉原语]的互补双通路类脑视觉感知方法。

视觉原语是对视觉信息中不同基本要素的抽象描述，包括颜色、精度、速度、灵敏度、空间分辨率等，为视觉信息的处理提供了有力工具。

该团队借鉴人类视觉系统的运作原理，将来自开放世界的视觉信息分解为基于视觉原语的信息表征，并通过有机组合这些视觉原语，模拟人类视觉系统的特征。

最终，形成了两条优势互补、信息完整的视觉感知通路，即认知导向的精准认知通路和快速响应的动作导向通路。

认知导向通路侧重于实现更为精准的认知，它基于空间分辨率、数据精度、颜色等视觉原语，对视觉信息进行深入分析和处理。

而动作导向通路则侧重于实现高鲁棒性的快速响应，它基于空间差、时间差、速度等视觉原语，有效减少延迟，提高系统响应速度。

这两条通路的有机结合，使得视觉感知系统能够在高动态范围、低延时、高精度的条件下进行视觉信息采集。

在此基础上，施路平团队成功开发出[天眸芯]这一全球首个类脑互补视觉芯片。

该芯片采用90 nm背照式CMOS技术制造，具备光电转换的混合像素阵列以及构建两个互补视觉通路的并行和异构读取架构。

其以极低的带宽和能耗实现高速、高精度和高动态范围的视觉信息采集，有效应对各种极端复杂场景，突破了传统视觉感知芯片在性能上的瓶颈。

传统视觉感知芯片的另一种解法

在开放世界的复杂环境中，智能系统不仅需应对海量的数据处理任务，还需灵活解决一系列[长尾问题]。

诸如自动驾驶过程中突发的安全威胁、隧道内外光线剧烈变化带来的挑战以及夜间强闪光对视觉感知的干扰等。

针对此类任务，传统视觉感知芯片受限于[功耗墙]与[带宽墙]的制约，时常遭遇图像失真、功能失效或高延迟等问题，进而对系统的稳定性和安全性构成严重威胁。

最新研究成果展示了一种受到人类视觉系统（HVS）多级特性启发的互补感知范式。

该范式借鉴了人类视觉的基本原理，将开放世界中的视觉信息分解为基于视觉原语的精细化信息表示。

通过有机整合这些原语，模拟人类视觉系统的运作特点，构建了两条互为补充、信息全面覆盖的视觉感知通道。

基于这一创新的感知范式，天眸芯能够在显著降低带宽（降低达90%）和功耗的条件下，实现每秒高达10000帧的高速视觉信息采集，同时保持10bit的高精度和130dB的高动态范围。

这一突破不仅超越了传统视觉感知技术的性能界限，而且能够高效应对各种极端场景，从而确保智能系统的稳定可靠运行。

天眸芯的成功研发标志着智能感知芯片领域取得了重大进展。它不仅为新一代人工智能技术的发展提供了强大的算力支撑，还为自动驾驶、具身智能等前沿应用领域开辟了新的道路。

天眸芯具备出色的复杂场景细节捕捉能力，同时能够迅速响应不可预测的突发情况和动态变化。

它集高速、高动态范围、高精度和低带宽自适应等特性于一身，展现了卓越的综合性能。

此外，天眸芯的高可扩展性使其能够通过先进的制造工艺实现高级空间分辨率，从而满足分辨率敏感应用对低功耗和带宽的严苛要求。

这一特性进一步拓展了其在多领域的应用前景，为智能感知技术的未来发展奠定了坚实基础。

结尾：

[天眸芯]的成功研发为视觉感知技术的发展开辟了新的道路，为解决复杂环境中视觉感知的挑战提供了有力支持，有望在未来推动自动驾驶等领域的快速发展。

根据团队在类脑计算芯片天机芯、类脑软件工具链以及类脑机器人等领域的丰富技术积累与实践经验，天眸芯的加入将为类脑智能生态注入新的活力。

部分资料参考：机器之心：《清华「天眸芯」登Nature封面：全球首款类脑互补视觉芯片》，量子位：《全球首款类脑互补视觉芯片，施路平团队最新成果》，问芯：《清华团队继[天机芯]后又开发出[天眸芯]，再登Nature封面》

推荐阅读：

商务合作请加微信勾搭：

18948782064

请务必注明：

「姓名 + 公司 + 合作需求」