ChatGPT构建离不开PyTorch，LeCun言论引热议，模型厂商不开放权重原来为此

OpenCV学堂 2023-12-19 16:53

【应用手册】TI 全新MCU及C29内核的电动汽车应用方案 构建AI未来，Arm计算平台无处不在

点击上方↑↑↑“OpenCV学堂”关注我

来源：公众号机器之心授权

其实，开源、闭源各有其道理，关键看如何抉择。

这两天，有关开源的话题又火了起来。有人表示，「没有开源，AI 将一无所有，继续保持 AI 开放。」这个观点得到了很多人的赞同，其中包括图灵奖得主、Meta 首席科学家 Yann LeCun。

想象一下，如果工业界的 AI 研究实验室仍然封闭、没有开源代码，并为所有内容申请和执行专利，那么今天的 AI 行业将会变成什么样子？

想象一个没有 PyTorch 的世界，并且 Transformer、ResNet、Mask-RCNN、FPN、SAM、DINO、seq2seq、wav2vec、内存增强网络、Tansformers、BatchNorm、LayerNorm、Adam、去噪自动编码器、联合嵌入架构以及大量的 SSL 方法都被施加专利，AI 行业又会变成什么样子？

图源：https://twitter.com/ylecun/status/1735704308891484248

LeCun 观点引起更多人共鸣，有人认为，「如果谷歌不开源 Transformers，OpenAI 甚至发明不了 GPT。真是虚假的『OpenAI』。」

图源：https://twitter.com/ai_for_success/status/1735705570500640871

LeCun 还不忘说一句，「ChatGPT 的构建也离不开 PyTorch。」

这就出现了一个值得探讨的问题，为什么像 OpenAI、Anthropic 这样的公司不愿意开源大模型权重呢？外媒 VentureBeat 撰写了一篇深度长文，采访了一些高管人士，剖析了个中缘由。

我们知道，在机器学习尤其是深度神经网络中，模型权重被认为至关重要，它们是神经网络学习和做出预测的机制。训练后权重的最终值决定了模型性能。

同时，非盈利机构兰德公司的一项研究指出，虽然权重不是大模型需要保护的唯一组成部分，但它们与模型的大量计算、收集和处理的训练数据和算法优化息息相关。获取权重可以让恶意行为者以非常小的训练成本来利用完整的模型。

论文地址：https://www.rand.org/pubs/working_papers/WRA2849-1.html

大模型公司更加注重权重安全。Jason Clinton 是 Anthropic 首席信息安全官，他的主要任务是保护自家模型 Claude 的 TB 级权重文件免遭他人之手。「我可能将自己一半时间用来保护权重文件。这是我们最为关注和优先考虑的事情，也是投入资源最多的地方」，他在 VentureBeat 的采访中这样说道。

模型权重可不能落入「坏人」之手

Jason Clinton 强调，有人认为公司对模型权重的担忧是因为这些权重代表着极高价值的知识产权。其实不然，Anthropic 更重要的考虑在于防止这些强大技术落入「坏人」之手，产生不可估量的负面影响。

对谁能获取基础模型权重深表担忧的远不止克林顿一人。事实上，白宫最近发布的关于「安全、可靠地开发和使用人工智能」的行政命令就要求基础模型公司向联邦政府提供文件，报告模型权重的所有权、占有情况以及采取的保护措施。

OpenAI 也表达了类似的立场。在 2023 年 10 月的一篇博文中，OpenAI 表示正在继续投资网络安全和内部威胁防护措施，以保护专有和未发布的模型权重。

40 种攻击向量正在被执行

Rand 的报告《Securing Artificial Intelligence Model Weights》由 Sella Nevo 和 Dan Lahav 共同撰写。报告强调了人工智能模型权重面临的安全威胁和未来风险。

Nevo 在接受 VentureBeat 采访时表明，当前最大的担忧不是这些模型现在能做什么，而是未来可能发生什么，尤其是在国家安全方面，例如被用于开发生物武器的可能性。

该报告的目的之一是了解行为者可能采用的攻击方法，包括未授权的物理访问、破坏现有凭证和供应链攻击等。报告最终确定了 40 种不同的攻击向量，并强调它们不是理论上的，而是已有证据表明它们正在被执行，甚至在某些情况下已被广泛部署。

开放基础模型的风险

需要注意的是，并非所有专家都能在人工智能模型权重泄露的风险程度以及需要限制的程度上达成一致，尤其是在涉及开源人工智能时。这再次印证了人工智能领域治理的复杂性和诸多挑战。

斯坦福大学人工智能学院政策简报《Considerations for Governing Open Foundation Models》强调，尽管开放基础模型（即权重广泛可用的模型）可以对抗市场集中、促进创新并提高透明度，但其相对于封闭模型或现有技术的边际风险尚不明确。

简报链接：https://hai.stanford.edu/issue-brief-considerations-governing-open-foundation-models

这份简报以事实为基础，没有刻意煽动恐惧，得到了人工智能治理高级顾问 Kevin Bankston 的「好评」。

该简报以 Meta 的 Llama 2 为例，该模型于 7 月发布，其模型权重广泛可用，使得下游修改和审查成为可能。虽然 Meta 公司曾承诺确保其未发布模型权重的安全，并限制能够访问模型权重的人员范围，但在 2023 年 3 月 Llama 的模型权重泄露还是让人印象深刻。

乔治城大学人工智能评估高级研究员 Heather Frase 指出，开源软件和代码历来都非常稳定和安全，因为它可以依靠一个庞大的社区。在强大的生成式人工智能模型出现之前，普通的开源技术造成危害的几率也十分有限。她提到，与传统的开源技术不同，开源模型权重的风险在于，最可能受到伤害的不是用户，而是被故意当作伤害目标的人，例如深度伪造骗局的受害者。

安全感通常来自开放

不过，也有其他人表达了相反的观点。在接受 VentureBeat 采访时，Hugging Face 机器学习工程师 Nicolas Patry 强调，运行任务程序固有的风险同样适用于模型权重，但并不意味着应该封闭。

当谈到开源模型时，他们的想法是开放给尽可能多的人，比如最近 Mistral 的开源大模型。Nicolas Patry 认为，安全感通常来自开放，透明意味着更安全，任何人都可以查看它。封闭的安全会让人们不清楚你在做什么。

VentureBeat 同样采访了开源框架 PyTorch Lightning 背后公司 Lightning AI 的首席执行官 William Falcon，他认为如果公司担心模型泄露，那就为时已晚。开源社区追赶的速度难以想象，并且开放研究可以衍生当前 AI 网络安全所需的各种工具。在他看来，模型开放程度越高，能力越民主化，可以开发更好的工具来对抗网络安全威胁。

对于 Anthropic 而言，该公司一方面寻求支持领域研究，另一方面要保证模型权重的安全，比如聘用优秀的安全工程师。

原文链接：https://venturebeat.com/ai/why-anthropic-and-openai-are-obsessed-with-securing-llm-model-weights/