Prophesee全球最小基于事件的视觉传感器,瞄准超低功耗边缘智能设备

原创 MEMS 2023-10-21 00:01

这款全球最小基于事件的最新款Metavision®视觉传感器GenX320,提供了全新的性能水平,包括:超低功耗、低延迟、高灵活性,可以高效嵌入增强现实/虚拟现实(AR/VR)设备、可穿戴设备、安防监控系统、无接触交互接口以及“永久在线(always-on)”物联网等应用。

据麦姆斯咨询报道,全球最先进神经形态视觉系统的发明者Prophesee近日宣布推出基于事件的新款Metavision视觉传感器:GenX320,这是业界首款专门为超低功耗边缘人工智能(Edge AI)视觉设备而开发的基于事件的视觉传感器。这款第五代Metavision传感器的芯片尺寸为3 mm x 4 mm,将Prophesee开创性的技术平台扩展到了一系列快速增长的Edge AI细分市场,包括:AR/VR设备、安防监控/检测系统、无需触摸显示器、眼动追踪、“永久在线”智能物联网设备等。

基于事件的视觉传感器GenX320基于Prophesee在该领域的专业积累,已经成功为各种应用提供基于事件视觉的速度、低延迟、动态范围、功率效率和隐私保护优势。

这款320 × 320 6.3 μm像素背照(BSI)堆叠式基于事件的视觉传感器,提供了微小的1/5”光学格式。这款视觉传感器特别针对嵌入式边缘视觉系统高效集成创新事件传感的独特需求而开发,这些系统往往在供能、计算和尺寸方面捉襟见肘。GenX320能够在超低功率及具有挑战性的工作和照明条件下实现稳健、高速的视觉传感。


Zinn Labs基于GenX320开发的眼动追踪系统

GenX320的优势包括:

- 具有灵活数据格式的低延迟微秒级分辨率事件时间戳。

- 片上智能电源管理模式可将功耗降至36 μW,并支持智能唤醒事件,还提供深度睡眠和待机模式。

- 易于与标准SoC集成/连接,具有多个集成事件数据预处理、过滤和格式化功能,可最大限度地减少外部处理需求。

- MIPI或CPI数据输出接口为嵌入式处理平台提供低延迟连接,包括低功耗微控制器和现代神经形态处理器架构。

- AI-ready:片上直方图输出兼容多种AI加速器。

- 得益于事件传感器固有的稀疏无帧事件数据和静态场景去除,实现了传感器端隐私保护。

- 与Prophesee Metavision Intelligence原生兼容,这是一款最全面、免费、基于事件的视觉软件套件,已被拥有10000多名用户的快速增长的社区使用。

Prophesee首席执行官、联合创始人Luca Verre表示:“低功耗Edge AI市场具有广泛的应用,事件传感器的功率效率和性能特性完美契合。我们基于在其他应用领域取得的商业成功,开发了这款新的基于事件的Metavision传感器,以满足边缘系统开发人员的需求,该传感器易于面向多种应用集成、配置并优化,包括运动和物体检测、存在感知、手势识别、眼动跟踪等高增长领域极具吸引力的用例。”

重点应用

- 在AR/VR/XR设备中实现无缝交互的高速眼动追踪;

- 消费类设备(电视、笔记本电脑、游戏机、智能家电和设备、智能显示器等)中的低延迟免触摸人机界面;

- 物联网摄像头和其它设备中的智能存在检测和人员计数;

- 超低功耗“永久在线”区域监控系统;

- 家庭和医疗机构中的跌倒检测摄像头。

供货情况

GenX320已可从Prophesee及其销售合作伙伴处购买。GenX320提供一系列易于探索和优化的开发工具支持,包括含板载芯片(COB)GenX320模块或紧凑型光学模块的综合评估套件。此外,Prophesee还提供一系列适配器套件,可以无缝连接到各种嵌入式平台,例如STM32 MCU,从而加快客户产品上市时间。


GenX320裸片及评估套件

Xperi公司首席技术官Petronel Bigioi评价称:“当我们的产品,如驾驶员监控解决方案(DMS)和电视服务等,应用基于视觉的技术时,隐私仍然是消费者最关心的问题之一。Prophesee基于事件的Metavision技术使我们能够在不需要对场景进行明晰视觉呈现的情况下理解场景,从而将我们的‘设计隐私’原则提升到更安全的水平。通过仅捕捉每个像素的变化,而非传统基于帧的成像传感器那样捕捉整个场景,我们的算法可以在无需详细呈现的情况下获得感知场景中内容的信息。我们开发了一个概念验证演示,证明使用神经形态传感器完全可以实现DMS。使用1MP神经形态传感器,我们可以推断出接近基于主动近红外照明2MP视觉传感解决方案的性能。展望未来,我们将重点关注GenX320神经形态传感器,该传感器可用于对隐私敏感的智能设备,以改善用户体验。”


Xperi公司基于GenX320开发的驾驶员监控解决方案(DMS)

关于普诺飞思(Prophesee)

Prophesee是全球最先进神经形态视觉系统的发明者,开发了一种突破性的基于事件的机器视觉方案。这种新兴的视觉技术可以显著降低功耗、延迟和数据处理要求,并揭示迄今为止传统基于帧的传感器所看不到的内容。Prophesee获得专利的Metavision®传感器和算法模拟了人眼和大脑的工作方式,极大地提高了自动驾驶汽车、工业自动化、物联网、移动和AR/VR等领域的效率。Prophesee总部位于巴黎,并在格勒诺布尔、上海、东京和硅谷设有办事处。

Prophesee由100多名富有远见的工程师组成的团队推动,拥有50多项国际专利,并得到了领先的国际股权和企业投资者的支持,包括360 Capital Partners、欧洲投资银行、iBionext、Inno Chip、英特尔资本、雷诺集团、博世创投、创新工场、Supernova Invest和小米。

延伸阅读:
《新兴图像传感器技术及市场-2024版》
《自动驾驶汽车、无人驾驶出租车和传感器技术及市场-2023版》
《光谱成像市场和趋势-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 65浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 65浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 67浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦