- +1
人工智能是否已经达到瓶颈?据报道,GPT-5可能遭遇了困境
(爱云资讯消息)据一份新报告称,备受期待的OpenAI下一代Orion ChatGPT模型有传闻称将于今年年底推出,但可能并没有人们想象的那么强大。
该报告援引了匿名的OpenAI员工的话,称Orion模型相对于其GPT-4前代产品所表现出的改进幅度要小得多,而GPT-4相对于GPT-3所表现出的改进幅度要大得多。这些消息来源还指出,虽然该新模型在诸如总结文件或生成电子邮件等通用语言能力方面表现更为出色,但是Orion在处理某些任务时并不比其前代产品(GPT-4)表现得更为可靠,尤其是在编写应用程序方面几乎没有进展。
该报告指出,新模型无法取得显著进展的一个主要原因是可用于训练新模型的高质量文本和其他数据的供应正在减少。简而言之,人工智能行业正迅速陷入训练数据瓶颈,已经从X、Facebook和YouTube等网站清除了容易获取的社交媒体数据。因此,这些公司越来越难以找到有助于将模型提升至超出当前能力水平的棘手编码挑战,从而减缓了其在发布前的训练速度。
这种降低了的训练效率有着巨大的生态和商业影响。随着前沿级LLMs的不断发展,其参数数量进一步增加至万亿级别以上,预计未来十年所需的能源、水和其他资源将增加六倍。这就是为什么我们看到微软试图重启三英里岛核电站,亚马逊购买了960兆瓦的发电厂,谷歌购买了七个核反应堆的发电量,因为它们不断增长的人工智能数据中心提供所需的电力越来越大,目前美国的电力基础设施无法满足需求了。
据报道,OpenAI成立了一个基础团队来解决缺乏适当的训练数据的问题。这些技术可能包括使用合成训练数据,比如英伟达的Nemotron系列模型生成的数据。该团队还在研究如何在模型训练后提高其性能。
Orion最初被认为是OpenAI的GPT-5的代号,目前预计它将在2025年才能推出。
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。
- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2024 上海东方报业有限公司