经济学人的文章说,开源人工智能发展迅速,带来了好和坏两方面影响。
技术人员通过编写软件改变世界,但这帮人也乐意用长篇备忘录来秀文字,其中最著名的几篇,可以代表计算机时代的一些转折。
想想比尔·盖茨1995年的 "互联网浪潮 "备忘录,一把就让微软的方向转向了网络;还有贝佐斯2002年的 "API授权 "备忘录,开放了亚马逊的数字基础设施,为现代云服务铺平了道路。
现在,科技圈又开始讨论另一份,这一次是从谷歌内部泄露出来的,标题是 "我们没有护城河"。备忘录作者未知,但是其中详细介绍了人工智能(AI)领域正在取得的惊人进展,并对这个快速发展的行业中一些公认的设想提出了质疑。
2022年底,随着会像人一样聊天的ChatGPT推出,AI突然进入公众的视野,OpenAI制造了这个由 "大型语言模型"(LLM)驱动的聊天机器人,而OpenAI又与微软密切相关。
ChatGPT一火,谷歌和其他科技公司都慌了,赶快发布他们自己的智能聊天机器人,各家公司生怕自己的产品不会聊天。这类系统可以生成文本并进行看上去很真实的对话,主要是基于互联网上提取的数万亿词汇进行的训练。
训练一个LLM需要数月时间,至少数千万美元。钱如流水,人们开始担心人工智能将被少数财大气粗的公司所垄断。
但谷歌的备忘录说,这种假设是错误的,指出开源社区的研究人员使用免费在线资源,现在正在取得与最大专有模型相媲美的结果。
事实证明,LLM可以使用一种叫做低秩适应("Low-rank Adaptation,LoRa)的技术进行 "微调",使得现有的LLM能够为一项特定的任务进行优化,这要比从头开始训练一个LLM要快得多,也便宜得多。
Low-rank Adaptation"(LORA)是一种机器学习中用于数据适应的技术。它通过构建一个低秩(low-rank)结构,对原始数据进行变换和适应。这种低秩结构能有效地捕捉和利用数据中的底层结构,从而提高模型的预测性能。
开源AI在3月爆发,当时由Facebook母公司Meta创建的模型LLaMA 在网上泄露。虽然比最大的LLMS要小(最小的版本有70亿个参数,而谷歌的PaLM有5400亿个参数),但这个模型很快被微调,在某些任务上产生了与ChatGPT原始版本相当的结果。
谷歌备忘录作者写道:"随着开源研究人员在LLaMA基础上相互合作,随之而来的会是大量创新涌现"。
"这可能会对人工智能行业的未来产生地震般的影响,"谷歌备忘录说,"培训和实验的门槛,已经从一个主要研究机构的总产出,降至一个人、一个晚上和一台强大的笔记本电脑。一个LLM现在可以在几个小时内以100美元的价格进行微调。"
凭借快速移动、协作和低成本的模式,备忘录中说,"开源有一些我们无法复制的显著优势"。因此,备忘录的标题是:这可能意味着面对开源竞争对手,谷歌没有 "护城河"。
对谷歌来说,好消息是OpenAI也是如此。
并非所有人都同意这一点。互联网确实是在开源软件上运行,但人们也在使用付费的专有软件,从Adobe Photoshop到微软的Windows,都是如此。
此外,对AI系统进行基准测试,众所周知的难。然而,即使备忘录的内容只有部分是正确的。强大的LLMS可以在笔记本电脑上运行,任何想要的人现在都可以微调自己的AI。
这有积极和消极的影响。
从正面看,将使少数公司垄断控制人工智能的可能性大大降低,使获得人工智能的成本大大降低,加速整个领域创新,研究人员可以更容易分析人工智能系统的行为(他们对专有模型的访问是有限的),提高透明度和安全性。
但是,更容易获得人工智能,也意味着动机不良者将能够为邪恶目的对系统进行微调,如产生虚假信息。这会使人工智能更难监管,因为精灵已经出了瓶子。
谷歌及同类领先公司,是否真的失去了在人工智能领域的护城河,很快我们就可以看清楚。但与之前的备忘录一样,这个未知作者似乎写出了电脑时代的另一个转折点。
加入阿尔法工场投资者交流社群 | 添加微信:dlfxs2