The Information:OpenAI下一模型改进速度有所放缓

🤖 由 文心大模型 生成的文章摘要

据The Information报道,OpenAI下一代旗舰人工智能模型与之前的版本相比改进较小,这表明蓬勃发展的生成人工智能行业可能正进入平台期。

据The Information援引一些使用或测试过该模型的员工的话称,ChatGPT制造商的下一个模型Orion仅比GPT-4略有改进。该报道还称,Orion的进步比GPT-3和GPT-4之间的进步要小,尤其是在编码任务方面。

这重新引发了关于开发日益先进的模型和人工智能缩放定律(关于模型如何改进的理论规则)的可行性的争论。

OpenAI首席执行官Sam Altman二月份在X平台表示,“缩放定律由上帝决定;常数由技术人员决定。”

Altman引用的“定律”表明,随着人工智能模型的规模不断扩大以及获得更多数据和算力,它们会变得更加智能。

Altman可能仍然赞同这样的观点,即预先确定的公式决定了人工智能可以变得多么智能,但The Information的报道显示,在硅谷针对越来越多的证据表明领先模型正遇到性能瓶颈而展开激烈争论的背景下,技术人员正在质疑这些定律。

The Information称,虽然Orion的训练尚未完成,但OpenAI已采取额外措施来提高性能,例如根据人类反馈进行训练后改进。

该模型于一年前首次亮相,在正式发布之前仍有可能出现显著改进。但这表明,未来几代可助力企业筹集数十亿美元并获得高估值的人工智能模型可能在每次迭代中都显得不那么令人印象深刻。

数据是缩放定律方程的一个重要元素,但随着网上可用的数据迅速耗尽,数据变得越来越难获取。

企业收集了大量人工数据(包括文本、视频、研究论文)来训练AI工具和功能模型,但这些数据供应有限。研究公司Epoch AI在6月份预测,到2028年,企业可能会耗尽可用的文本数据。企业正试图通过转向AI本身生成的合成数据来克服限制,但这也带来了问题。

企业软件公司Databricks联合创始人兼执行主席Ion Stoica告诉 The Information:“对于常识性问题,你可以说目前我们看到LLM的表现处于停滞状态”,并补充“事实数据”比合成数据更有用。

算力是提升人工智能性能的另一个因素,但它也并非无限的。上个月,在Reddit论坛“问我任何事情”主题中,Altman承认公司在分配计算资源方面面临“许多限制和艰难的决定”。

「93913原创内容,转载请注明出处」