OpenAI模型提升速度放缓

原创科创板日报 2024-11-10 20:56

【TI资料】专为高压系统设计的新型MCU 【TI资料】基于新型C29内核的MCU技术资料

新模型Orion性能提升幅度显著缩小。这意味着，随着高质量新数据减少，AI模型改进速度或将放缓。OpenAI成立了一个团队，研究能让AI模型保持改进的新方法。

高质量数据不够用，拖累AI模型改进速度——OpenAI这位AI领头羊又遇到了难题。

据The Information今日消息，一些测试过Orion的OpenAI员工发现，虽然Orion的性能超过了OpenAI现有的所有模型，但其性能质量提升程度远远小于从GPT-3到GPT-4的飞跃。这意味着，随着高质量数据趋于有限，AI模型的改进速度可能会放缓。

不仅如此，Orion的训练中涉及来自旧模型（例如GPT-4与一些推理模型）的AI生成数据，这可能导致其重现旧模型的一些行为。

为此，OpenAI成立了一个“基础”团队，以在高质量新数据供应减少的情况下，研究能让AI模型保持改进的新方法。据悉，公司计划基于AI合成数据训练Orion，并在后期训练中对模型作出更多改进。

目前，OpenAI正在推进Orion的安全测试，计划于明年年初发布这一模型，其可能会打破“GPT-X”的命名惯例，以反映模型开发的变化。

值得注意的是，OpenAI在今年收购了Chat.com域名，该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。

▌“撞上数据墙”

早在2020年，OpenAI就曾在一篇论文中提出Scaling law定律，意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。换言之，仅仅增加模型规模和训练数据，就能显著提升人工智能能力，而无需取得根本性的算法突破。

AI界许多公司都一度将Scaling Law奉为圭臬，但如今，也有越来越多的质疑声出现。

Meta AI人工智能研究院(FAIR)研究员及高级经理田渊栋指出，“我画过一张图，一开始数据量越大，模型性能表现越好，但模型离人类越近就越难获得新的数据，模型就越来越难以改进，最后总会有些corner case（边角案例，即无法想到的或不常见的案例）解决不了，这是data driven（数据驱动）最大的问题。”

非营利研究机构Epoch AI在今年7月更新的一篇论文中指出，未来数年内，（原始）数据增长的速度将难以支撑AI大模型扩展发展的速度，在2026-2032年之间的某个时间点，数据存量将耗尽。