NeuraLink-N1神经网络芯片设计细节

原创 云深之无迹 2024-08-18 12:11

现在脑机接口的硬件部分就是Link和intan有实物了吧?Link其实也没有披露特别多的细节,但是作为构架的学习应该是够的。有微电子的基础可能做这个东西会好一些。

几代电路的样子

神经元脉冲的第一个问题是振幅,通常小于 10 微伏。放大只有 10 微伏的信号需要 43 dB 至 60 dB 的系统增益,以便将信号置于板载 ADC 的 10 位分辨率范围内(~ 1 mV)。
阻抗问题加剧了 ADC 分辨率的缩小,因为电极几何形状的减小意味着系统中的电阻率和噪声更大。Neuralink 研究了两种表面处理方法(聚苯乙烯磺酸盐和氧化铱),它们具有良好的阻抗特性.

也就是这个图

首先脑机接口第一步是信号到数字的转换:

这些通道的工作效果决定了信号质量和整个神经接口的特性。在设计模拟像素时,有三个主要考虑因素。

1.尺寸让它尽可能小,这样就可以容纳更多通道
2.尽可能降低功率,以便产生更少的热量并延长电池续航时间
3.噪音尽可能低,以获得最佳信号,但是这些是互相制约的。

Neuralink 专用集成电路 (ASIC) 构建,该集成电路由 256 个可单独编程的放大器(“模拟像素”)、片上模数转换器 (ADC) 和用于序列化数字化输出的外围控制电路组成。

标准的SOC架构

这是目前最新的N1 SOC

其实已经有过了三代的更迭

封装的传感器设备,也是目前最多出现的样子

(A)能够处理 256 个数据通道的独立神经处理专用集成电路。这种特殊的封装设备包含 12 个这样的芯片,总共 3072 个通道。

(B)聚对二甲苯-c 基板上的聚合物线。

(C)钛外壳(盖子已取下)。

(D)用于供电和传输数据的数字 USB-C 连接器。

记录通道的密度要求将信号放大和数字化模块放置在阵列组件内;否则,电缆和连接器的要求将过高。

记录模块放大小神经信号< 10 µV RMS),同时抑制噪声,对放大的信号进行采样和数字化,并将结果流式传输出去并进行实时处理。

Neuralink 能够通过单个 USB C 连接器和电缆传输整个宽带信号。为了消除电缆和连接器,因此修改了算法以适应硬件,使其既可扩展又低功耗。
目前,已经能够实现将神经数据压缩200多倍的算法,并且仅需900纳秒即可计算,这比大脑意识到这一点所需的时间还要快。(不知道啊)

模拟像素具有高度可配置性:可以校准增益和设置滤波器,以解决由于工艺变化和电生理环境导致的信号质量变化。

片上 ADC 以 19.3 kHz 的采样率和 10 位分辨率进行采样。每个模拟像素消耗 5.2 µW,整个 ASIC 消耗约 6 mW,包括时钟驱动器。

10bit的ADC

因为是多个芯片叠加的,所以专利里面出现了多个ASIC之间的通讯,可以看到是像接力一样。

第一个 ASIC从其各自的通道接收数据,对数据进行分组,并将处理后的信号以数据包的形式推送到下一个 ASIC。然后,第二个 ASIC从前一个 ASIC 及其各自的电极接收数据,并将新分组的数据与前一个 ASIC 的数据包一起传递到下一个芯片。
这个过程会重复进行,直到所有芯片的聚合数据包从最后一个 ASIC 卸载到另一个计算系统。传递给下一个 ASIC 的具体数据量取决于采用哪些数据管理技术来提高能效。
对于跨 ASIC 芯片系列的数据包管理,流量控制是必要的,确保从每个芯片出口到片外系统的信息量足够。如果每个芯片只是在收到所有数据包时就将其传递,那么从芯片组到计算机进行存储和处理的数据流可能会偏向最近的芯片(下一个芯片从传入通道接收一半数据包,另一个从之前的芯片接收一半数据包)。
有种全带宽模式,大概就是如果开始的芯片全力输出,后面的芯片吃不消。策略是:
包括在每个传输步骤中抵消偏差。例如,当芯片 2 将数据包传递给芯片 3 时,来自芯片 3 的数据包数量不会以 50% 的带宽传递,而是以 33% 的带宽传递,而来自第一和第二个芯片的数据包则以 66% 的带宽传递。第四个芯片将仅使用 25%,这导致前面的芯片也以 25% 的分割方式共享 75% 的带宽。

IEEE的N1构架

神经片上系统 (SoC),其尺寸仅为 5x4mm²,专为临床应用而设计,这意味着它需要体积小巧且节能。SoC 可以通过串行数字链路(类似于以前的设计)记录和刺激 1024 个植入电极,并且它包括可配置的尖峰检测,可以大大减少片外带宽。
该设计还集成了电源管理电路,具有上电复位和电压不足检测功能,总功耗仅为 24.7mW。这使其成为功耗最低、密度最高的交流耦合神经 SoC,可以记录带宽为 5Hz-10kHz 的局部场电位 (LFP) 和动作电位 (AP)。
  • 四个 256 通道图块,每个图块包含 256 个神经放大器
  • 16 个逐次逼近寄存器模数转换器 (SAR ADC)
  • 16 核刺激引擎,每核连接 16 个通道
  • 阻抗测量引擎
  • 本地电源管理模块
  • 具有集成尖峰检测功能的数字信号处理器
SoC 的输入开关矩阵允许动态配置通道模式,可设置为记录、刺激或测量阻抗。此外,可以根据实验设置调整参考连接,无论是参考电极、附近电极还是系统接地。
电路由这些组件构成:芯片间数据传输端口(左进,右出),模拟像素/神经放大器阵列,模数转换器 (ADC),数字多路复用器,控制器,配置电路,压缩引擎,合并电路,序列化/反序列化器:充当入站和出站数据包队列。

由模拟像素、动态偏置、16:1 MUX 和 10 位 SAR ADC 组成的全差分记录模块,这才是现在的样子,上面的构架是幻想。

电路图展示了这种先进技术的设置。模块内的模拟像素由电容反馈运算放大器 (OPAMP) 组成,可用作低噪声放大器 (LNA) 和可变增益放大器 (VGA)。这些组件协同工作,以可配置增益放大和配置 LFP 和 AP 频段。
为了确保 LNA 输入晶体管在正确的 DC 偏置操作区域内工作,输入 AC 耦合电容器用于阻止来自大脑电极的未知 DC 偏移。
反馈路径中的伪电阻 (PR) 在设置像素的高通滤波器 (HPF) 截止频率和 DC 输入偏置方面起着关键作用。借助可调 PR,可以相应地调整 LFP 和 AP 频段的 HPF 截止频率。
模块内的每个模拟像素都有自己的倒装芯片焊盘,该焊盘连接到 LNA 的正输入。为了实现面积高效的抗混叠低通滤波器 (LPF),为 VGA 选择了两级米勒补偿架构。
然后,VGA 的输出被多路复用到 10 位 SAR ADC 上,该 ADC 带有基于开关电容放大器的 16:1 MUX,提供足够的驱动能力,使 ADC 完全稳定在采样窗口内。
为了确保模块的效率,采用了动态偏置电路。该电路在输出采样后立即关闭 LNA 和 VGA,从而仅消耗 25% 的静态功耗。
由于模拟像素输出从无电状态到采样的稳定时间比通道采样周期短得多,因此整体模拟像素尺寸保持较小,尺寸为 65×71µm2,包括路由通道、输入开关矩阵、动态偏置和倒装芯片焊盘。
在模块的全局电源管理中,级联 LDO 的第一级采用 2.5V DC 或由 1MHz 2.5V AC 生成的有源整流器输出。
第二级 LDO 为本地电源管理、刺激引擎、pad 驱动器和数字生成单独的电源轨,以减少电源域之间的噪声耦合。每个 256 通道 Tile 都有自己的本地电源管理,以在整个 Tile 中均匀分配电源。
像素可以想成是通道的意思。
ASIC 中的数据流始于模拟像素,这些像素是可调放大器,排列成 8x8 网格。2019 年白皮书中描绘的 ASIC 拥有 4 个这样的放大器网格,总共 256 个模拟像素,与芯片接口的通道数之比为 1:1。低噪声信号放大对于获取和调节电极收集的微弱神经信号至关重要。此外,放大器阵列还可以通过对来自电极的原始数据应用配置电路设置的阈值来参与信号压缩。
信号放大后,ADC 会将其数字化。在专利中描述的设置中,有 8 个 ADC 接收来自八排放大器中的每一排的信号。在白皮书中的版本中,将有 32 个 ADC。

就这样,不然你以为真的有那么多ADC

数字化信号随后被传送到多路复用器,多路复用器将数据串行化,并针对放大器阵列中的特定行和列进行滤波。配置电路可通过扫描链或 JTAG 接口(一种将指令注入闪存的方法)进行编程,以启用所需模式,指示多路复用器从哪个模拟像素进行采样。
从底层角度来看,数字多路复用器通过实现多个 NAND 门(与非)来控制哪些输入信号传递到输出。在简单的 2 输入多路复用器中,单独的控制信号被发送到多路复用器以在模式之间切换:输入 1 或输入 2 传递到输出。模式数量与 2^n 成比例,其中 n 是控制输入的数量。
配置电路是 ASIC 的主要编程接口,它可以在几种操作模式之间切换芯片,包括跳过通道、预定列和事件电压尖峰。
这些模式本质上是一组指令,用于在 ASIC 的不同组件(包括压缩引擎、合并电路和多路复用器)中实现阈值。专利中的一行优雅地总结了配置电路的作用:“由于其余电路是管弦乐队中扮演特定角色的独特乐器,因此配置电路是指挥。”
配置电路还设置芯片的所有参数,包括安培设置(读出的安培数)、电极的轮询频率、压缩引擎阈值等。利用存储的程序指令,配置电路在运行期间继续向芯片的其余部分发送指令。
数据流,串行信号被发送到控制器,控制器与压缩引擎和合并电路通信。控制器的主要功能是打包数据。控制器可以通过通信从放大器的哪些列采样以及何时采样来协调模拟到数字的转换。此外,控制器会调节采样率或以选定的步骤停止从放大器采样。
控制器指令可以每 6.25 µs (160 kHz) 更改一次。
从此时起,数据流根据配置电路编程的模式而分流。数据包可能首先通过压缩引擎进行压缩,或者可能直接发送到合并电路。当放大器阵列不对传入数据应用阈值时,压缩引擎执行有效数据管理的关键功能。在这些情况下,压缩引擎从放大器接收原始的高带宽信号,在某些情况下可以以 20 kHz 采样。压缩策略主要涉及应用阈值来检测特定范围内的峰值、汇总统计数据(例如通道平均值)和/或基于事件的片外触发器。

应该是有8个独立的MCU来控制上面的内容

这些阈值可以设置在信号的电压或频率上。低频和高频信号可能对记录器没有价值,可以通过压缩引擎过滤掉。非尖峰信号被丢弃,本质上减少了数据包的大小,并压缩了信号。对于基于电压的阈值,可以使用一种称为非线性能量算子 (NEO) 的技术来自动找到准确检测尖峰的阈值。

NEO,它本质上是对尖峰频率和幅度快速变化的周期内的信号进行滤波,这些尖峰在 NEO 滤波输出中可以看作是短峰值。

此外,NEO 检测的阈值可以计算为 NEO 滤波输出的平均值乘以因子C。在这个等式中,N是信号样本的数量。C 是根据经验得出的,应该事先在几个神经数据集上进行测试,以获得最佳结果。
压缩引擎和控制器在限制每个芯片生成的数据量方面都发挥着至关重要的作用,限制可以提高 N1 系统的功率和性能效率。

DJ Seo(设计者) 介绍了一种新颖的片上脉冲检测算法,该算法直接描述脉冲的形状。这种方法能够将神经数据压缩 200 倍以上,并且仅需 900 纳秒即可完成计算,这比大脑意识到发生这种情况所需的时间还要快。该技术甚至可以根据形状识别来自同一电极的不同神经元。
最后,合并电路从控制器、压缩引擎和解串器接收数据包。解串器将数据包从片外链路转换为片内链路,本质上是将来自前一个 ASIC 的数据排队。合并电路本质上是从片上创建的数据包和来自前一个 ASIC 的数据包中选择要发送的数据包以及发送时间。然后,所选数据包通过串行器发送到片外。

还有一段关于带宽控制的,但是我不懂哪个背压是啥意思?有机会写,大概就是说输出的payload是实时控制的。来自每个芯片的数据包具有可变大小,而不是固定大小,因此相对容易预测何时生成数据以及生成多少数据。无需使用充满空数据集的有效载荷来实现长度标准化,而是可以最小化每个数据包的结构以提高效率。可以根据数据包所封装数据的需求对其进行定制,从而最大限度地减少空数据包和浪费的带宽,从而缓解拥塞。

显示了一个示例数据包结构以及一个时钟定时器。数据包由一个报头、数据包和尾部组成,尾部是下一个数据包的报头。本例中的数据包由 10 位字组成:1 个为报头,8 个为每行放大器的数值,1 个为尾部。

数据的样子

但是最终你能买到的也就是intan的芯片了

最后看一个电极插在老鼠头上的图吧

电极线路是印刷在这个上面的

一种长条的电极,这种应该是平铺的

束状是要垂直插入的

单个电极的线路,很细

NeuraLink植入式系统解读

Blackrock-Nerotech神经科学设备

Precision完成4096个脑电极植入工作

SCI-无线微型脑刺激器

https://intantech.com/
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6914248/

评论
  • 最近几年,新能源汽车愈发受到消费者的青睐,其销量也是一路走高。据中汽协公布的数据显示,2024年10月,新能源汽车产销分别完成146.3万辆和143万辆,同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看,比亚迪再度夺得了销冠宝座,其10月新能源汽车销量达到了502657辆,同比增长66.53%。众所周知,比亚迪是新能源汽车领域的重要参与者,其一举一动向来为外界所关注。日前,比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8,该款车型一上市就迅速吸引了消费者的目光,成为SUV
    刘旷 2024-12-02 09:32 68浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 69浏览
  • 艾迈斯欧司朗全新“样片申请”小程序,逾160种LED、传感器、多芯片组合等产品样片一触即达。轻松3步完成申请,境内免费包邮到家!本期热荐性能显著提升的OSLON® Optimal,GF CSSRML.24ams OSRAM 基于最新芯片技术推出全新LED产品OSLON® Optimal系列,实现了显著的性能升级。该系列提供五种不同颜色的光源选项,包括Hyper Red(660 nm,PDN)、Red(640 nm)、Deep Blue(450 nm,PDN)、Far Red(730 nm)及Ho
    艾迈斯欧司朗 2024-11-29 16:55 163浏览
  • 国产光耦合器正以其创新性和多样性引领行业发展。凭借强大的研发能力,国内制造商推出了适应汽车、电信等领域独特需求的专业化光耦合器,为各行业的技术进步提供了重要支持。本文将重点探讨国产光耦合器的技术创新与产品多样性,以及它们在推动产业升级中的重要作用。国产光耦合器创新的作用满足现代需求的创新模式新设计正在满足不断变化的市场需求。例如,高速光耦合器满足了电信和数据处理系统中快速信号传输的需求。同时,栅极驱动光耦合器支持电动汽车(EV)和工业电机驱动器等大功率应用中的精确高效控制。先进材料和设计将碳化硅
    克里雅半导体科技 2024-11-29 16:18 163浏览
  • 戴上XR眼镜去“追龙”是种什么体验?2024年11月30日,由上海自然博物馆(上海科技馆分馆)与三湘印象联合出品、三湘印象旗下观印象艺术发展有限公司(下简称“观印象”)承制的《又见恐龙》XR嘉年华在上海自然博物馆重磅开幕。该体验项目将于12月1日正式对公众开放,持续至2025年3月30日。双向奔赴,恐龙IP撞上元宇宙不久前,上海市经济和信息化委员会等部门联合印发了《上海市超高清视听产业发展行动方案》,特别提到“支持博物馆、主题乐园等场所推动超高清视听技术应用,丰富线下文旅消费体验”。作为上海自然
    电子与消费 2024-11-30 22:03 76浏览
  • 光耦合器作为关键技术组件,在确保安全性、可靠性和效率方面发挥着不可或缺的作用。无论是混合动力和电动汽车(HEV),还是军事和航空航天系统,它们都以卓越的性能支持高要求的应用环境,成为现代复杂系统中的隐形功臣。在迈向更环保技术和先进系统的过程中,光耦合器的重要性愈加凸显。1.混合动力和电动汽车中的光耦合器电池管理:保护动力源在电动汽车中,电池管理系统(BMS)是最佳充电、放电和性能监控背后的大脑。光耦合器在这里充当守门人,将高压电池组与敏感的低压电路隔离开来。这不仅可以防止潜在的损坏,还可以提高乘
    腾恩科技-彭工 2024-11-29 16:12 119浏览
  • 学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&
    youyeye 2024-11-30 14:30 65浏览
  • 在电子技术快速发展的今天,KLV15002光耦固态继电器以高性能和强可靠性完美解决行业需求。该光继电器旨在提供无与伦比的电气隔离和无缝切换,是现代系统的终极选择。无论是在电信、工业自动化还是测试环境中,KLV15002光耦合器固态继电器都完美融合了效率和耐用性,可满足当今苛刻的应用需求。为什么选择KLV15002光耦合器固态继电器?不妥协的电压隔离从本质上讲,KLV15002优先考虑安全性。输入到输出隔离达到3750Vrms(后缀为V的型号为5000Vrms),确保即使在高压情况下,敏感的低功耗
    克里雅半导体科技 2024-11-29 16:15 119浏览
  • 国产光耦合器因其在电子系统中的重要作用而受到认可,可提供可靠的电气隔离并保护敏感电路免受高压干扰。然而,随着行业向5G和高频数据传输等高速应用迈进,对其性能和寿命的担忧已成为焦点。本文深入探讨了国产光耦合器在高频环境中面临的挑战,并探索了克服这些限制的创新方法。高频性能:一个持续关注的问题信号传输中的挑战国产光耦合器传统上利用LED和光电晶体管进行信号隔离。虽然这些组件对于标准应用有效,但在高频下面临挑战。随着工作频率的增加,信号延迟和数据保真度降低很常见,限制了它们在电信和高速计算等领域的有效
    腾恩科技-彭工 2024-11-29 16:11 106浏览
  • 随着航空航天技术的迅猛发展,航空电子网络面临着诸多挑战,如多网络并行传输、高带宽需求以及保障数据传输的确定性等。为应对这些挑战,航空电子网络急需一个通用的网络架构,满足布线简单、供应商多、组网成本相对较低等要求。而以太网技术,特别是TSN(时间敏感网络)的出现,为航空电子网络带来了新的解决方案。本文将重点介绍TSN流识别技术在航空电子网络中的应用,以及如何通过适应航空电子网络的TSN流识别技术实现高效的航空电子网络传输。一、航空电子网络面临的挑战航空航天业专用协议包括AFDX、ARINC等,这些
    虹科工业智能互联 2024-11-29 14:18 100浏览
  • By Toradex胡珊逢简介嵌入式领域的部分应用对安全、可靠、实时性有切实的需求,在诸多实现该需求的方案中,QNX 是经行业验证的选择。在 QNX SDP 8.0 上 BlackBerry 推出了 QNX Everywhere 项目,个人用户可以出于非商业目的免费使用 QNX 操作系统。得益于 Toradex 和 QNX 的良好合作伙伴关系,用户能够在 Apalis iMX8QM 和 Verdin iMX8MP 模块上轻松测试和评估 QNX 8 系统。下面将基于 Apalis iMX8QM 介
    hai.qin_651820742 2024-11-29 15:29 151浏览
  • 《高速PCB设计经验规则应用实践》+PCB绘制学习与验证读书首先看目录,我感兴趣的是这一节;作者在书中列举了一条经典规则,然后进行详细分析,通过公式推导图表列举说明了传统的这一规则是受到电容加工特点影响的,在使用了MLCC陶瓷电容后这一条规则已经不再实用了。图书还列举了高速PCB设计需要的专业工具和仿真软件,当然由于篇幅所限,只是介绍了一点点设计步骤;我最感兴趣的部分还是元件布局的经验规则,在这里列举如下:在这里,演示一下,我根据书本知识进行电机驱动的布局:这也算知行合一吧。对于布局书中有一句:
    wuyu2009 2024-11-30 20:30 91浏览
  • 学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&
    youyeye 2024-11-29 14:30 118浏览
  • RDDI-DAP错误通常与调试接口相关,特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法: 1. 硬件连接问题:     检查调试器(如ST-Link)与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接,没有松动或短路。 2. 电源问题:     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题: &n
    丙丁先生 2024-12-01 17:37 57浏览
  • 在现代科技浪潮中,精准定位技术已成为推动众多关键领域前进的核心力量。虹科PCAN-GPS FD 作为一款多功能可编程传感器模块,专为精确捕捉位置和方向而设计。该模块集成了先进的卫星接收器、磁场传感器、加速计和陀螺仪,能够通过 CAN/CAN FD 总线实时传输采样数据,并具备内部存储卡记录功能。本篇文章带你深入虹科PCAN-GPS FD的技术亮点、多场景应用实例,并展示其如何与PCAN-Explorer6软件结合,实现数据解析与可视化。虹科PCAN-GPS FD虹科PCAN-GPS FD的数据处
    虹科汽车智能互联 2024-11-29 14:35 151浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦