“投毒”字节大模型的实习生,不是“一般人”?

作者 | 新智元

来源 | 新智元

导语:这位曾因恶意行为被辞退的实习生,却在NeurIPS 2024荣获最佳论文奖,而这篇论文正是他在字节跳动实习期间与团队共同发表的。


刚刚,恶意攻击字节训练集群的实习生田柯宇,获得了NeurIPS 2024的最佳论文奖。


更巧的是,这篇获奖论文,恰恰就是他在字节商业化技术部门实习期间与团队合作发表的。

甚至,这篇论文还是NeurIPS 2024第六高分的论文(7,8,8,8)。


事情在网上曝出的时候,网友们都震惊了:太有戏剧性了,这是什么短剧的大反转剧情!

根据网友的说法,田柯宇的这篇论文也是国内第二篇NeurIPS Best Paper,含金量很高。

在此之前,他就已经有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」,就是ICLR 2023的Spotlight。此外还有,NeurIPS 2021和2020的Poster,ECCV 2020的Poster。


据笔者了解,字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向,团队规划了VAR为高优项目,投入研究小组和大量资源。

除了VAR,团队还发表了LlamaGen等相关技术论文,新的研究成果也将在近期陆续放出。


事件始末:恶意注入代码,投毒模型训练

回看整件事情,可谓反转又反转。

两个月前,圈内人都被这样一条消息惊掉下巴:「字节跳动大模型训练被北大实习生攻击,损失巨大」。

什么仇什么怨,要做这样的事?

网友们扒出来,事情起因是这位北大高材生在字节实习期间对团队感到不满,一气之下选择了「投毒」。

具体来说,他利用了Huggingface的load ckpt函数漏洞,craft了一个看似正常的ckpt文件,但其实是加了payload进去,然后就可以远程执行代码,修改参数了。

这种攻击方式,可以通过修改或注入恶意代码,使模型在加载时被篡改模型权重、修改训练参数或截取模型数据。

根据大V「Jack Cui」猜测,这位实习生所用的大概就是这个方法,注入代码动态修改别人的optimer,修改参数梯度的方向,以及在各种地方随机sleep了一小段时间。

修改梯度方向,意味着模型反向传播过程中计算出的梯度被篡改,就导致模型一直朝错误的方向优化;而sleep操作,也会明显降低模型训练的速度。

甚至有人提到,该实习生可能修改了自己的预训练模型,因为模型参数是用ckpt文件保存的,其他人训练时会加载这个注入恶意代码的ckpt文件,因此也会导致模型训练出问题。

就在全网叹为观止之时,田本人却出来「辟谣」称这事和自己没关系——他发完论文后已经从字节离职了,此时有另一个人钻了漏洞修改模型代码,然后趁他离职把锅扣在他头上。

结果一个多月后,此事再一次迎来反转。

有媒体报道称,法院已经正式受理字节跳动对前实习生田某某的起诉。

法院判令田某某赔偿侵权损失800万元及合理支出2万元,同时要求其公开赔礼道歉。

字节官方也澄清说,涉事实习生破坏的是团队研究项目,并不影响商业化正式项目,也不涉及字节跳动大模型等其他业务。

最终,这位实习生被字节辞退,交由校方处理。


资料显示,田柯宇本科毕业于北航软件学院,研究生就读于北大,师从王立威教授,研究兴趣为深度学习的优化与算法。

自2021年起,开始在字节跳动实习研究,具体包括超参数优化、强化学习算法、自监督的新型算法。




超越扩散,VAR开启视觉自回归模型新范式


这项研究中,他们提出了一种全新范式——视觉自回归建模(Visual Autoregressive Modeling,VAR)。


论文地址:https://arxiv.org/abs/2404.02905


与传统的光栅扫描「下一个token预测」方法有所不同,它重新定义了图像上的自回归学习,采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归(AR)Transformer能够快速学习视觉分布,并且具有较好的泛化能力:VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。


当前,自回归模型(AR)主要用于语言模型从左到右、逐字顺序生成文本token。同时,也用于图像生成中,即以光栅扫描的顺序从左到右,从上到下顺序生成图像token。


不过,这些AR模型的scaling law未得到充分的探索,而且性能远远落后于扩散模型,如下图3所示。

与语言模型所取得成就相比,计算机视觉中的自回归模型的强大能力却被「禁锢」了起来。


而自回归建模需要定义数据的顺序,北大字节团队研究中重新考虑了如何「排序」图像:人类通常以分层方式感知或创建图像,首先捕获全局结构,然后捕获局部细节。

这种多尺度、由从粗到细的本质,为图像提供了一种「秩序」。

同样,受到广泛使用的多尺度设计的启发,研究人员将图像的自回归学习定义为图2(c)中的「下一个尺度预测」,不同于传统图2(b)中的「下一个token的预测」。

VAR方法首先将图像编码为多尺度的token映射,然后,自回归过程从1×1token映射开始,并逐步扩展分辨率。

在每一步中,Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。

由此,研究人员将此称为视觉自回归建模(VAR)。

VAR包括两个独立的训练阶段:在图像上训练多尺度VQVAE,在token上训练VAR Transformer。

第一阶段,多尺度VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K),并通过复合损失函数进行训练。

第二阶段,通过下一尺度预测对VAR Transformer进行训练:它以低分辨率token映射 ([s],r_1,r_2,…,r_K−1)作为输入,预测更高分辨率的token映射 (r_1,r_2,r_3,…,r_K)。训练过程中,使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数,用于优化预测精度。


田柯宇团队在ImageNet 256×256和512×512条件生成基准上测试了深度为16、20、24和30的VAR模型,并将其与最先进的图像生成模型家族进行比较,包括生成对抗网络(GAN)、扩散模型(Diff.)、BERT 风格的掩码预测模型(Mask.)和 GPT 风格的自回归模型(AR)。

在ImageNet 256×256基准测试中,VAR显著提高了AR基准性能,将Fréchet Inception距离(FID)从18.65降低到1.73,Inception得分(IS)从80.4提高到350.2,同时推理速度提高了20倍。


如上表所示,VAR不仅在FID/IS上达到了最佳成绩,还在图像生成速度上表现出色。VAR还保持了良好的精度和召回率,证明了其语义一致性。

这些优势在512×512合成基准测试中同样得到了体现。


实验证明,VAR在多个维度上超越了扩散Transformer(DiT),包括图像质量、推理速度、数据效率和可扩展性。

VAR模型的扩展表现出了类似于大语言模型(LLM)的清晰幂律缩放规律,线性相关系数接近−0.998,这提供了强有力的证据。


VAR还在下游任务中展示了零样本泛化能力,包括图像修复、图像外延和图像编辑等。


这些结果表明,VAR初步模仿了大语言模型的两个重要特性:缩放规律和零样本泛化能力。

田柯宇团队已在GitHub上发布了所有模型和代码,现已斩获4.4k星。

项目地址:https://github.com/FoundationVision/VAR

AI顶会NeurIPS,录用率25.8%


NeurIPS全称神经信息处理系统大会(The Conference on Neural Information Processing Systems),是人工智能(AI)、机器学习(ML)和数据科学领域最负盛名且最具影响力的会议之一。

它于1987年首次举办,当时名字是「神经信息处理系统」(NIPS),主要为快速兴起的神经网络领域提供一个交流思想的平台。

随着会议范围逐渐扩大,涵盖了人工智能和机器学习更广泛的主题,会议名称于2018年更改为NeurIPS。

今年,是NeurIPS第38届年会,将于下周12月9日-15日在温哥华召开。


NeurIPS顶会同样以严格的同行评审过程而著称,2023年录用率为26.1%,2022年为25.6%。

NeurIPS历年接收率

今年,顶会一共接受了15671篇论文,录用率为25.8%,其中评审最低分2.2,最高分8.7,具体来说:

- Oral 61篇(0.39%)


- Spotlight 326篇(2.08%)


- Poster 3650篇(23.29%)

阿尔法工场研究院 阿尔法工场旗下研究院.定期发布覆盖A股、美股、港股的上市公司研究报告.
评论
  • 学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4,对比 FPGA、GPU、CPU 的性能,助力 AIoT 边缘计算应用。(文末有彩蛋)一、 为什么选择 FPGA:应对 7nm 制程与 AI 限制在全球半导体制程限制和高端 GPU 受限的大环境下,FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用,其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。米尔的 ZU3EG 开发板凭借其可重
    米尔电子嵌入式 2024-12-06 15:53 45浏览
  • 自20世纪60年代问世以来,光耦合器彻底改变了电子系统实现电气隔离和信号传输的方式。通过使用光作为传输信号的媒介,光耦合器消除了直接电气连接的需求,确保了安全性和可靠性。本文记录了光耦合器技术的发展,重点介绍了关键创新、挑战以及这一不可或缺组件的未来发展。 过去:起源和早期应用光耦合器的发明源于处理高压或嘈杂环境的系统对安全电气隔离的需求。早期的光耦合器由LED和光电晶体管的简单组合组成,可提供可靠的隔离,但具有明显的局限性:低速:早期的光耦合器速度慢,频率响应有限,不适合高速数字通信
    腾恩科技-彭工 2024-12-06 16:28 52浏览
  • RK3506单板机(卡片电脑)是一款高性能三核Cortex-A7处理器,内部集成Cortex-M0核心,RK3506单板机具有接口丰富、实时性高、显示开发简单、低功耗及多系统支持等特点,非常适合于工业控制、工业通信、人机交互等应用场景。 多核异构3xCortex-A7+Cortex-M0 外设接口丰富,板载网络、串口、CAN总线 支持Buildroot、Yocto系统,支持AMP混合部署 支持2D硬件加速,适用于轻量级HMI目前RK3506主要分为3种型号
    万象奥科 2024-12-05 16:59 76浏览
  • 随着各行各业对可靠、高效电子元件的需求不断增长,国产光耦合器正成为全球半导体市场的重要参与者。这些元件利用先进的制造工艺和研究驱动的创新,弥补了高性能和可负担性之间的差距。本文探讨了国产光耦合器日益突出的地位,重点介绍了其应用和技术进步。 关键技术进步国产光耦合器制造商在提高性能和多功能性方面取得了重大进展。高速光耦合器现在能够处理快速数据传输,使其成为电信和工业自动化中不可或缺的一部分。专为电力电子设计的栅极驱动器光耦合器可确保电动汽车和可再生能源逆变器等高压系统的精确控制。采用碳化
    克里雅半导体科技 2024-12-06 16:34 55浏览
  • 在Python中,线程的启动和管理是一个复杂而关键的过程。通过上述代码截图,我们可以深入了解Python中线程启动和处理的具体实现。以下是对图1中内容的详细解析: 4.3.3、启动线程 当调用`rt_thread_startup`函数时,该函数负责将指定线程的状态更改为就绪状态,并将其放入相应优先级的队列中等待调度。这一步骤确保了线程能够被操作系统识别并准备执行。如果新启动的线程的优先级高于当前正在运行的线程,系统将立即切换到这个高优先级线程,以保证重要任务的及时执行。 //```c /*
    丙丁先生 2024-12-06 12:30 39浏览
  • 光耦合器对于确保不同电路部分之间的电气隔离和信号传输至关重要。通过防止高压干扰敏感元件,它们可以提高安全性和可靠性。本指南将指导您使用光耦合器创建一个简单的电路,介绍其操作的基本原理和实际实施。光耦合器的工作原理光耦合器包含一个LED和一个光电晶体管。当LED接收到信号时,它会发光,激活光电晶体管,在保持隔离的同时传输信号。这使其成为保护低功耗控制电路免受高压波动影响的理想选择。组件和电路设置对于这个项目,我们将使用晶体管输出光耦合器(例如KLV2002)。收集以下组件:光耦合器、1kΩ电阻(输
    克里雅半导体科技 2024-12-06 16:34 62浏览
  • DIP开关(双列直插式封装开关)是一种常见的机电设备,广泛应用于各种电子设计中。其多样的形式、配置、尺寸和开关机制使得设计师可以灵活地满足不同的需求。什么是DIP开关?DIP开关由多个开关单元组成,通常并排排列(图1)。这些开关需要手动操作以设置其功能。它们主要安装在PCB上,用于配置设备的操作模式。DIP开关以其可靠性、灵活性和经济性成为原始设备制造商(OEM)和最终客户的首选之一。图1.常见的DIP开关配置极点与掷数:DIP开关的基本规格极点(Pole): 指开关的输入数量。掷数(
    大鱼芯城 2024-12-06 10:36 48浏览
  • 光耦合器以其提供电气隔离的能力而闻名,广泛应用于从电源到通信系统的各种应用。尽管光耦合器非常普遍,但人们对其特性和用途存在一些常见的误解。本文将揭穿一些最常见的误解,以帮助工程师和爱好者做出更明智的决策。 误解1:光耦合器的使用寿命较短事实:虽然光耦合器内部的LED会随着时间的推移而退化,但LED材料和制造工艺的进步已显著提高了其使用寿命。现代光耦合器的设计使用寿命为正常工作条件下的数十年。适当的热管理和在推荐的电流水平内工作可以进一步延长其使用寿命。误解2:光耦合器对于现代应用来说太
    腾恩科技-彭工 2024-12-06 16:29 61浏览
  • 在阅读了《高速PCB设计经验规则应用实践》后,对于PCB设计的布局经验有了更为深入和系统的理解。该书不仅详细阐述了高速PCB设计中的经验法则,还通过实际案例和理论分析,让读者能够更好地掌握这些法则并将其应用于实际工作中。布局是走线的基础,预先的规划再到叠层的选择,电源和地的分配,信号网络的走线等等,对布局方面也是非常的关注。布局规划的重要性: 在PCB设计中,布局规划是至关重要的一步。它直接影响到后续布线的难易程度、信号完整性以及电磁兼容性等方面。因此,在进行元件布局之前,我们必须对PCB的平
    戈壁滩上绽放 2024-12-05 19:43 89浏览
  • ~同等额定功率产品尺寸小一号,并保证长期稳定供应~全球知名半导体制造商ROHM(总部位于日本京都市)在其通用贴片电阻器“MCR系列”产品阵容中又新增了助力应用产品实现小型化和更高性能的“MCRx系列”。新产品包括大功率型“MCRS系列”和低阻值大功率型“MCRL系列”两个系列。在电子设备日益多功能化和电动化的当今世界,电子元器件的小型化和性能提升已成为重要课题。尤其是在汽车市场,随着电动汽车(xEV)的普及,电子元器件的使用量迅速增加。另外,在工业设备市场,随着设备的功能越来越多,效率越来越高,
    电子资讯报 2024-12-05 17:03 73浏览
  • 应用环境与客户需求蓝牙设备越来越普及,但在高密度使用环境下,你知道里面潜藏的风险吗?用户在使用蓝牙配件(如键盘、鼠标和耳机)时,经常面临干扰问题,这主要是因为蓝牙设备使用的2.4GHz频段与许多其他无线设备(如Wi-Fi、Thread等)重迭,导致频段拥挤,进而增加干扰的可能性。【常见干扰情境】客服中心:客服中心通常有大量的工作站,每个工作站可能都配备有蓝牙键盘、鼠标和耳机。由于这些设备都使用4GHz频段,客服中心内部的频段拥挤会增加讯号干扰的可能性。再加上中心内部可能有多个无线网络设备和其他电
    百佳泰测试实验室 2024-12-05 16:17 78浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦