“投毒”字节大模型的实习生,不是“一般人”?

作者 | 新智元

来源 | 新智元

导语:这位曾因恶意行为被辞退的实习生,却在NeurIPS 2024荣获最佳论文奖,而这篇论文正是他在字节跳动实习期间与团队共同发表的。


刚刚,恶意攻击字节训练集群的实习生田柯宇,获得了NeurIPS 2024的最佳论文奖。


更巧的是,这篇获奖论文,恰恰就是他在字节商业化技术部门实习期间与团队合作发表的。

甚至,这篇论文还是NeurIPS 2024第六高分的论文(7,8,8,8)。


事情在网上曝出的时候,网友们都震惊了:太有戏剧性了,这是什么短剧的大反转剧情!

根据网友的说法,田柯宇的这篇论文也是国内第二篇NeurIPS Best Paper,含金量很高。

在此之前,他就已经有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」,就是ICLR 2023的Spotlight。此外还有,NeurIPS 2021和2020的Poster,ECCV 2020的Poster。


据笔者了解,字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向,团队规划了VAR为高优项目,投入研究小组和大量资源。

除了VAR,团队还发表了LlamaGen等相关技术论文,新的研究成果也将在近期陆续放出。


事件始末:恶意注入代码,投毒模型训练

回看整件事情,可谓反转又反转。

两个月前,圈内人都被这样一条消息惊掉下巴:「字节跳动大模型训练被北大实习生攻击,损失巨大」。

什么仇什么怨,要做这样的事?

网友们扒出来,事情起因是这位北大高材生在字节实习期间对团队感到不满,一气之下选择了「投毒」。

具体来说,他利用了Huggingface的load ckpt函数漏洞,craft了一个看似正常的ckpt文件,但其实是加了payload进去,然后就可以远程执行代码,修改参数了。

这种攻击方式,可以通过修改或注入恶意代码,使模型在加载时被篡改模型权重、修改训练参数或截取模型数据。

根据大V「Jack Cui」猜测,这位实习生所用的大概就是这个方法,注入代码动态修改别人的optimer,修改参数梯度的方向,以及在各种地方随机sleep了一小段时间。

修改梯度方向,意味着模型反向传播过程中计算出的梯度被篡改,就导致模型一直朝错误的方向优化;而sleep操作,也会明显降低模型训练的速度。

甚至有人提到,该实习生可能修改了自己的预训练模型,因为模型参数是用ckpt文件保存的,其他人训练时会加载这个注入恶意代码的ckpt文件,因此也会导致模型训练出问题。

就在全网叹为观止之时,田本人却出来「辟谣」称这事和自己没关系——他发完论文后已经从字节离职了,此时有另一个人钻了漏洞修改模型代码,然后趁他离职把锅扣在他头上。

结果一个多月后,此事再一次迎来反转。

有媒体报道称,法院已经正式受理字节跳动对前实习生田某某的起诉。

法院判令田某某赔偿侵权损失800万元及合理支出2万元,同时要求其公开赔礼道歉。

字节官方也澄清说,涉事实习生破坏的是团队研究项目,并不影响商业化正式项目,也不涉及字节跳动大模型等其他业务。

最终,这位实习生被字节辞退,交由校方处理。


资料显示,田柯宇本科毕业于北航软件学院,研究生就读于北大,师从王立威教授,研究兴趣为深度学习的优化与算法。

自2021年起,开始在字节跳动实习研究,具体包括超参数优化、强化学习算法、自监督的新型算法。




超越扩散,VAR开启视觉自回归模型新范式


这项研究中,他们提出了一种全新范式——视觉自回归建模(Visual Autoregressive Modeling,VAR)。


论文地址:https://arxiv.org/abs/2404.02905


与传统的光栅扫描「下一个token预测」方法有所不同,它重新定义了图像上的自回归学习,采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归(AR)Transformer能够快速学习视觉分布,并且具有较好的泛化能力:VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。


当前,自回归模型(AR)主要用于语言模型从左到右、逐字顺序生成文本token。同时,也用于图像生成中,即以光栅扫描的顺序从左到右,从上到下顺序生成图像token。


不过,这些AR模型的scaling law未得到充分的探索,而且性能远远落后于扩散模型,如下图3所示。

与语言模型所取得成就相比,计算机视觉中的自回归模型的强大能力却被「禁锢」了起来。


而自回归建模需要定义数据的顺序,北大字节团队研究中重新考虑了如何「排序」图像:人类通常以分层方式感知或创建图像,首先捕获全局结构,然后捕获局部细节。

这种多尺度、由从粗到细的本质,为图像提供了一种「秩序」。

同样,受到广泛使用的多尺度设计的启发,研究人员将图像的自回归学习定义为图2(c)中的「下一个尺度预测」,不同于传统图2(b)中的「下一个token的预测」。

VAR方法首先将图像编码为多尺度的token映射,然后,自回归过程从1×1token映射开始,并逐步扩展分辨率。

在每一步中,Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。

由此,研究人员将此称为视觉自回归建模(VAR)。

VAR包括两个独立的训练阶段:在图像上训练多尺度VQVAE,在token上训练VAR Transformer。

第一阶段,多尺度VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K),并通过复合损失函数进行训练。

第二阶段,通过下一尺度预测对VAR Transformer进行训练:它以低分辨率token映射 ([s],r_1,r_2,…,r_K−1)作为输入,预测更高分辨率的token映射 (r_1,r_2,r_3,…,r_K)。训练过程中,使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数,用于优化预测精度。


田柯宇团队在ImageNet 256×256和512×512条件生成基准上测试了深度为16、20、24和30的VAR模型,并将其与最先进的图像生成模型家族进行比较,包括生成对抗网络(GAN)、扩散模型(Diff.)、BERT 风格的掩码预测模型(Mask.)和 GPT 风格的自回归模型(AR)。

在ImageNet 256×256基准测试中,VAR显著提高了AR基准性能,将Fréchet Inception距离(FID)从18.65降低到1.73,Inception得分(IS)从80.4提高到350.2,同时推理速度提高了20倍。


如上表所示,VAR不仅在FID/IS上达到了最佳成绩,还在图像生成速度上表现出色。VAR还保持了良好的精度和召回率,证明了其语义一致性。

这些优势在512×512合成基准测试中同样得到了体现。


实验证明,VAR在多个维度上超越了扩散Transformer(DiT),包括图像质量、推理速度、数据效率和可扩展性。

VAR模型的扩展表现出了类似于大语言模型(LLM)的清晰幂律缩放规律,线性相关系数接近−0.998,这提供了强有力的证据。


VAR还在下游任务中展示了零样本泛化能力,包括图像修复、图像外延和图像编辑等。


这些结果表明,VAR初步模仿了大语言模型的两个重要特性:缩放规律和零样本泛化能力。

田柯宇团队已在GitHub上发布了所有模型和代码,现已斩获4.4k星。

项目地址:https://github.com/FoundationVision/VAR

AI顶会NeurIPS,录用率25.8%


NeurIPS全称神经信息处理系统大会(The Conference on Neural Information Processing Systems),是人工智能(AI)、机器学习(ML)和数据科学领域最负盛名且最具影响力的会议之一。

它于1987年首次举办,当时名字是「神经信息处理系统」(NIPS),主要为快速兴起的神经网络领域提供一个交流思想的平台。

随着会议范围逐渐扩大,涵盖了人工智能和机器学习更广泛的主题,会议名称于2018年更改为NeurIPS。

今年,是NeurIPS第38届年会,将于下周12月9日-15日在温哥华召开。


NeurIPS顶会同样以严格的同行评审过程而著称,2023年录用率为26.1%,2022年为25.6%。

NeurIPS历年接收率

今年,顶会一共接受了15671篇论文,录用率为25.8%,其中评审最低分2.2,最高分8.7,具体来说:

- Oral 61篇(0.39%)


- Spotlight 326篇(2.08%)


- Poster 3650篇(23.29%)

阿尔法工场研究院 阿尔法工场旗下研究院.定期发布覆盖A股、美股、港股的上市公司研究报告.
评论
  • ①辐射发射测试(RE):评估电子、电气产品或系统在工作状态下产生的电磁辐射干扰程度,确保其不会干扰其他电子设备,同时可以确保产品的电磁辐射水平在安全范围内,从而保护用户免受电磁辐射的危害。消费类常见测试标准:EN55032 (RE&CE)、 CLASS A和CLASS B ②传导发射测试(CE):评估电子、电气产品或系统在工作状态下传导电磁骚扰的水平,是确保产品符合电磁兼容性(EMC)要求的重要步骤,保护其他设备免受干扰。常见测试标准:国标18655(RE&CE) 分为5个等级,常规的是过3等级
    时源芯微 2024-12-05 15:16 51浏览
  • CS5466AUUSB-C  (2lanes)to HDMI2.1 8K@30HZ(4K@144) +PD3.1  CS5563DP  (4lanes) to HDMI2.1 10k@60Hz CS5565USB-C  (4lanes) to HDMI2.1 10k@60Hz CS5569USB-C (4lanes) to HDMI2.1 10k@60Hz +PD3.1CS5228ANDP++ to HDMI(4K
    QQ1540182856 2024-12-05 15:56 88浏览
  • 2024年12月3日至5日,中国电信2024数字科技生态大会在广州举行,通过主题峰会、多场分论坛、重要签约及合作发布等环节,与合作伙伴共绘数字科技发展新愿景。紫光展锐作为中国电信的战略合作伙伴受邀参会,全面呈现了技术、产品创新进展,以及双方在多领域的合作成果。紫光展锐董事长马道杰受邀出席大会主论坛,并在大会期间发表视频致辞。  深化战略合作,共建数字未来马道杰董事长在视频致辞中指出,紫光展锐作为世界一流芯片设计企业,依托在芯片、通信和软硬件集成领域的深厚积累,与中国电信密切合
    紫光展锐 2024-12-05 14:04 51浏览
  • 在阅读了《高速PCB设计经验规则应用实践》后,对于PCB设计的布局经验有了更为深入和系统的理解。该书不仅详细阐述了高速PCB设计中的经验法则,还通过实际案例和理论分析,让读者能够更好地掌握这些法则并将其应用于实际工作中。布局是走线的基础,预先的规划再到叠层的选择,电源和地的分配,信号网络的走线等等,对布局方面也是非常的关注。布局规划的重要性: 在PCB设计中,布局规划是至关重要的一步。它直接影响到后续布线的难易程度、信号完整性以及电磁兼容性等方面。因此,在进行元件布局之前,我们必须对PCB的平
    戈壁滩上绽放 2024-12-05 19:43 68浏览
  • RK3506单板机(卡片电脑)是一款高性能三核Cortex-A7处理器,内部集成Cortex-M0核心,RK3506单板机具有接口丰富、实时性高、显示开发简单、低功耗及多系统支持等特点,非常适合于工业控制、工业通信、人机交互等应用场景。 多核异构3xCortex-A7+Cortex-M0 外设接口丰富,板载网络、串口、CAN总线 支持Buildroot、Yocto系统,支持AMP混合部署 支持2D硬件加速,适用于轻量级HMI目前RK3506主要分为3种型号
    万象奥科 2024-12-05 16:59 67浏览
  • 延续前一篇「抢搭智慧家庭生态圈热潮(一) 充满陷阱的产品介绍」系列文章,购买智能家电时需留意是否标有Works With Alexa (WWA)标章,然而,即使有了WWA标章后,产品难道就不会发生问题了吗?本篇由百佳泰将重点探讨在Alexa智能家居设备应用的实验中所遭遇到的问题。智能家庭隐忧浮现:智能家电APP使用状态不同步在先前的文章中,我们有提过建构Alexa智能家庭的三个主要元素:Alexa Built-in Devices(ABI)、Alexa Connected Device,以及Al
    百佳泰测试实验室 2024-12-05 15:26 43浏览
  • ~同等额定功率产品尺寸小一号,并保证长期稳定供应~全球知名半导体制造商ROHM(总部位于日本京都市)在其通用贴片电阻器“MCR系列”产品阵容中又新增了助力应用产品实现小型化和更高性能的“MCRx系列”。新产品包括大功率型“MCRS系列”和低阻值大功率型“MCRL系列”两个系列。在电子设备日益多功能化和电动化的当今世界,电子元器件的小型化和性能提升已成为重要课题。尤其是在汽车市场,随着电动汽车(xEV)的普及,电子元器件的使用量迅速增加。另外,在工业设备市场,随着设备的功能越来越多,效率越来越高,
    电子资讯报 2024-12-05 17:03 68浏览
  • 应用环境与客户需求蓝牙设备越来越普及,但在高密度使用环境下,你知道里面潜藏的风险吗?用户在使用蓝牙配件(如键盘、鼠标和耳机)时,经常面临干扰问题,这主要是因为蓝牙设备使用的2.4GHz频段与许多其他无线设备(如Wi-Fi、Thread等)重迭,导致频段拥挤,进而增加干扰的可能性。【常见干扰情境】客服中心:客服中心通常有大量的工作站,每个工作站可能都配备有蓝牙键盘、鼠标和耳机。由于这些设备都使用4GHz频段,客服中心内部的频段拥挤会增加讯号干扰的可能性。再加上中心内部可能有多个无线网络设备和其他电
    百佳泰测试实验室 2024-12-05 16:17 67浏览
  • 现在最热门的AI PC,泛指配备了人工智能AI的个人电脑,虽然目前的AI功能大多仅运用于增加个人电脑的运算力及用户使用体验。然而,各家AI PC厂商/品牌商却不约而同针对Webcam的AI功能大作文章,毕竟这是目前可以直接让消费者感受到、最显著、也是最有感觉的应用情境!目前各家推出Webcam 的AI功能包括有:● 背景虚化● 面部识别和追踪。● 自动调节● 虚拟化和滤镜● 安全和隐私面临的困境:惊吓大于惊喜的AI优化调校由于每款AI PC的相机都有自己的设定偏好及市场定位,一旦经过AI的优化调
    百佳泰测试实验室 2024-12-05 15:30 48浏览
  • 热电偶是zui常用的温度传感器类型。它们用于工业、汽车和消费应用。热电偶是自供电的,可以在很宽的温度范围内工作,并且具有快速的响应时间。热电偶是通过将两条不同的金属线连接在一起制成的。这会导致塞贝克效应。塞贝克效应是两种不同导体的温差在两种物质之间产生电压差的现象。正是这种电压差可以测量并用于计算温度。有几种类型的热电偶由各种不同的材料制成,允许不同的温度范围和不同的灵敏度。不同的类型由zhi定的字母区分。zui常用的是K型。热电偶的一些缺点包括测量温度可能具有挑战性,因为它们的输出电压小,需要
    锦正茂科技 2024-12-05 14:22 39浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦