“投毒”字节大模型的实习生,不是“一般人”?

作者 | 新智元

来源 | 新智元

导语:这位曾因恶意行为被辞退的实习生,却在NeurIPS 2024荣获最佳论文奖,而这篇论文正是他在字节跳动实习期间与团队共同发表的。


刚刚,恶意攻击字节训练集群的实习生田柯宇,获得了NeurIPS 2024的最佳论文奖。


更巧的是,这篇获奖论文,恰恰就是他在字节商业化技术部门实习期间与团队合作发表的。

甚至,这篇论文还是NeurIPS 2024第六高分的论文(7,8,8,8)。


事情在网上曝出的时候,网友们都震惊了:太有戏剧性了,这是什么短剧的大反转剧情!

根据网友的说法,田柯宇的这篇论文也是国内第二篇NeurIPS Best Paper,含金量很高。

在此之前,他就已经有多篇论文中稿顶会。

比如被引次数最多的「Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling」,就是ICLR 2023的Spotlight。此外还有,NeurIPS 2021和2020的Poster,ECCV 2020的Poster。


据笔者了解,字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向,团队规划了VAR为高优项目,投入研究小组和大量资源。

除了VAR,团队还发表了LlamaGen等相关技术论文,新的研究成果也将在近期陆续放出。


事件始末:恶意注入代码,投毒模型训练

回看整件事情,可谓反转又反转。

两个月前,圈内人都被这样一条消息惊掉下巴:「字节跳动大模型训练被北大实习生攻击,损失巨大」。

什么仇什么怨,要做这样的事?

网友们扒出来,事情起因是这位北大高材生在字节实习期间对团队感到不满,一气之下选择了「投毒」。

具体来说,他利用了Huggingface的load ckpt函数漏洞,craft了一个看似正常的ckpt文件,但其实是加了payload进去,然后就可以远程执行代码,修改参数了。

这种攻击方式,可以通过修改或注入恶意代码,使模型在加载时被篡改模型权重、修改训练参数或截取模型数据。

根据大V「Jack Cui」猜测,这位实习生所用的大概就是这个方法,注入代码动态修改别人的optimer,修改参数梯度的方向,以及在各种地方随机sleep了一小段时间。

修改梯度方向,意味着模型反向传播过程中计算出的梯度被篡改,就导致模型一直朝错误的方向优化;而sleep操作,也会明显降低模型训练的速度。

甚至有人提到,该实习生可能修改了自己的预训练模型,因为模型参数是用ckpt文件保存的,其他人训练时会加载这个注入恶意代码的ckpt文件,因此也会导致模型训练出问题。

就在全网叹为观止之时,田本人却出来「辟谣」称这事和自己没关系——他发完论文后已经从字节离职了,此时有另一个人钻了漏洞修改模型代码,然后趁他离职把锅扣在他头上。

结果一个多月后,此事再一次迎来反转。

有媒体报道称,法院已经正式受理字节跳动对前实习生田某某的起诉。

法院判令田某某赔偿侵权损失800万元及合理支出2万元,同时要求其公开赔礼道歉。

字节官方也澄清说,涉事实习生破坏的是团队研究项目,并不影响商业化正式项目,也不涉及字节跳动大模型等其他业务。

最终,这位实习生被字节辞退,交由校方处理。


资料显示,田柯宇本科毕业于北航软件学院,研究生就读于北大,师从王立威教授,研究兴趣为深度学习的优化与算法。

自2021年起,开始在字节跳动实习研究,具体包括超参数优化、强化学习算法、自监督的新型算法。




超越扩散,VAR开启视觉自回归模型新范式


这项研究中,他们提出了一种全新范式——视觉自回归建模(Visual Autoregressive Modeling,VAR)。


论文地址:https://arxiv.org/abs/2404.02905


与传统的光栅扫描「下一个token预测」方法有所不同,它重新定义了图像上的自回归学习,采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。

这种简单直观的方法使得自回归(AR)Transformer能够快速学习视觉分布,并且具有较好的泛化能力:VAR首次使得类似GPT的AR模型在图像生成中超越了扩散Transformer。


当前,自回归模型(AR)主要用于语言模型从左到右、逐字顺序生成文本token。同时,也用于图像生成中,即以光栅扫描的顺序从左到右,从上到下顺序生成图像token。


不过,这些AR模型的scaling law未得到充分的探索,而且性能远远落后于扩散模型,如下图3所示。

与语言模型所取得成就相比,计算机视觉中的自回归模型的强大能力却被「禁锢」了起来。


而自回归建模需要定义数据的顺序,北大字节团队研究中重新考虑了如何「排序」图像:人类通常以分层方式感知或创建图像,首先捕获全局结构,然后捕获局部细节。

这种多尺度、由从粗到细的本质,为图像提供了一种「秩序」。

同样,受到广泛使用的多尺度设计的启发,研究人员将图像的自回归学习定义为图2(c)中的「下一个尺度预测」,不同于传统图2(b)中的「下一个token的预测」。

VAR方法首先将图像编码为多尺度的token映射,然后,自回归过程从1×1token映射开始,并逐步扩展分辨率。

在每一步中,Transformer会基于之前所有的token映射去预测下一个更高分辨率的token映射。

由此,研究人员将此称为视觉自回归建模(VAR)。

VAR包括两个独立的训练阶段:在图像上训练多尺度VQVAE,在token上训练VAR Transformer。

第一阶段,多尺度VQ自动编码器将图像编码为K个token映射R=(r_1,r_2,…,r_K),并通过复合损失函数进行训练。

第二阶段,通过下一尺度预测对VAR Transformer进行训练:它以低分辨率token映射 ([s],r_1,r_2,…,r_K−1)作为输入,预测更高分辨率的token映射 (r_1,r_2,r_3,…,r_K)。训练过程中,使用注意力掩码确保每个r_k仅能关注 r_≤k。训练目标采用标准的交叉熵损失函数,用于优化预测精度。


田柯宇团队在ImageNet 256×256和512×512条件生成基准上测试了深度为16、20、24和30的VAR模型,并将其与最先进的图像生成模型家族进行比较,包括生成对抗网络(GAN)、扩散模型(Diff.)、BERT 风格的掩码预测模型(Mask.)和 GPT 风格的自回归模型(AR)。

在ImageNet 256×256基准测试中,VAR显著提高了AR基准性能,将Fréchet Inception距离(FID)从18.65降低到1.73,Inception得分(IS)从80.4提高到350.2,同时推理速度提高了20倍。


如上表所示,VAR不仅在FID/IS上达到了最佳成绩,还在图像生成速度上表现出色。VAR还保持了良好的精度和召回率,证明了其语义一致性。

这些优势在512×512合成基准测试中同样得到了体现。


实验证明,VAR在多个维度上超越了扩散Transformer(DiT),包括图像质量、推理速度、数据效率和可扩展性。

VAR模型的扩展表现出了类似于大语言模型(LLM)的清晰幂律缩放规律,线性相关系数接近−0.998,这提供了强有力的证据。


VAR还在下游任务中展示了零样本泛化能力,包括图像修复、图像外延和图像编辑等。


这些结果表明,VAR初步模仿了大语言模型的两个重要特性:缩放规律和零样本泛化能力。

田柯宇团队已在GitHub上发布了所有模型和代码,现已斩获4.4k星。

项目地址:https://github.com/FoundationVision/VAR

AI顶会NeurIPS,录用率25.8%


NeurIPS全称神经信息处理系统大会(The Conference on Neural Information Processing Systems),是人工智能(AI)、机器学习(ML)和数据科学领域最负盛名且最具影响力的会议之一。

它于1987年首次举办,当时名字是「神经信息处理系统」(NIPS),主要为快速兴起的神经网络领域提供一个交流思想的平台。

随着会议范围逐渐扩大,涵盖了人工智能和机器学习更广泛的主题,会议名称于2018年更改为NeurIPS。

今年,是NeurIPS第38届年会,将于下周12月9日-15日在温哥华召开。


NeurIPS顶会同样以严格的同行评审过程而著称,2023年录用率为26.1%,2022年为25.6%。

NeurIPS历年接收率

今年,顶会一共接受了15671篇论文,录用率为25.8%,其中评审最低分2.2,最高分8.7,具体来说:

- Oral 61篇(0.39%)


- Spotlight 326篇(2.08%)


- Poster 3650篇(23.29%)

阿尔法工场研究院 阿尔法工场旗下研究院.定期发布覆盖A股、美股、港股的上市公司研究报告.
评论
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 44浏览
  • 本文介绍Linux系统(Ubuntu/Debian通用)挂载exfat格式U盘的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。修改对应的内核配置文件# 进入sdk目录cdrk3562_linux# 编辑内核配置文件vi./kernel-5.10/arch/arm64/configs/rockchip_linux_defconfig注:不清楚内核使用哪个defc
    Industio_触觉智能 2024-12-10 09:44 74浏览
  • 肖特基具有很多的应用场景, 可以做同步整流,防止电流倒灌和电源反接等,但是随着电源电流的增大,肖特基导通正向压降0.3~0.7v的劣势也越发明显,产生了很多的热,对于工程师的散热设计是个考验,增加了工程师的设计难度和产品成本,目前一种新的理想二极管及其控制器,目前正在得到越来越广泛的应用- BMS,无人机,PLC,安防,家电,电动工具,汽车等都在快速普及理想二极管有三种架构,内置电荷泵的类似无锡明芯微MX5050T这种,驱动能力会弱点,静态功耗200uA,外置电荷泵MX74700T的这种驱动能力
    王萌 2024-12-10 08:51 76浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 42浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 42浏览
  •         霍尔传感器是根据霍尔效应制作的一种磁场传感器。霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。后来发现半导体、导电流体等也有这种效应,而半导体的霍尔效应比金属强得多,利用这现象制成的各种霍尔元件,广泛地应用于工业自动化技术、检测技术及信息处理等方面。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子
    锦正茂科技 2024-12-10 11:07 38浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 31浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 35浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 39浏览
  • 在驾驶培训与考试的严谨流程中,EST580驾培驾考系统扮演着至关重要的数据角色。它不仅集成了转速监控、车速管理、转向角度测量、转向灯光控制以及手刹与安全带状态检测等多项功能,还通过高精度的OBD数据采集器实时捕捉车辆运行状态,确保学员在模拟及实际驾驶中的每一步操作都精准无误。EST580驾培驾考转速车速转向角转向灯光手刹安全带OBD数据采集器系统的重要性及其功能:1、提高评判效率:通过原车CAN协议兼容,不同车型通过刷写固件覆盖,不仅提高了考试的数字化、自动化程度,还减少了人为干预的安装需要,从
    lauguo2013 2024-12-09 16:51 95浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 53浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦