“尺度定律”天花板已现？青年科学家：尺度定律不能显著提高模型因果推理能力

·幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答，使得人们在一些关键的认知上产生疑虑，一定程度上会阻碍大模型落地。

·由于过分注重尺度定律，人力、算力等大量资源资源投入到尺度定律，导致基层研究人员没有足够多的计算资源研究新的模型路线，挤压创新空间。

青年科学家共同探讨大模型技术架构的未来可能性。

人工智能大模型技术架构是否已经收敛？未来是否有新的技术可能性？大模型与具身智能如何结合？7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。在大会科学前沿全体会议上，青年科学家们探讨下一代人工智能架构的革新与挑战。

从ChatGPT到GPT-4，一系列生成式大模型的涌现，似乎昭示着人类正在走向通往通用人工智能的道路上。但上海人工智能实验室领军科学家、教授林达华表示，也有研究者发现，尽管现在的模型能力强大，但也出现了一些问题，其中幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答，使得人们在一些关键的认知上产生疑虑，一定程度上会阻碍大模型落地，另一方面即便是最强大的大模型在真实应用场景中还存在很多局限。

基于当前所探讨的大模型发展技术道路，如依靠尺度定律（Scaling Law）形成越来越强的智能体的模式，最终能否解决大模型面临的问题？是否还存在能够走得更远的新路径？

滑铁卢大学计算机学院助理教授张弘扬表示，从短期来看，尺度定律出现后，大模型能力出现了新变化。尺度定律由数据和算力两驾马车拉动，算力、模型的参数量和数据量成一个比例，模型才会有质的提升。“现在最大的一个问题就是数据荒，GPT-4基本上已经把市面上能够吸收的大部分数据都使用了，我们面临数据和算力上的瓶颈。”

张弘扬表示，从长期来看，尺度定律存在问题，“人类早上吃一个鸡蛋就可以有很多能量做很多事。我们一生中读不了多少本书，但我们却有着比大模型优秀得多的能力，比如大模型高考会不及格，但我们却能考到高分。这是一个开放的问题，现在我也没有一个具体的答案，但我们应该尝试交叉学科，比如研究清楚人类是怎样学习、进化、做任务，这也会启发大模型。”

上海人工智能实验室青年科学家陆超超团队正在研究如何提高大模型的因果推理能力。因果推理能力有助于大模型落地，“一旦一个多模态大模型具有了因果推理能力，它可以作为一个世界模型使用，也可以作为一个具身智能体使用，甚至因为有了因果推理能力，它就具有了反思能力，可以作为一个具有自我意识的智能体。”

陆超超举例，人坐在椅子上，如何确保机器人不会冲过去踢倒椅子？“首先要确定人和椅子之间的因果关系。我们在这上面做了一些工作，如何定义人和人之间、人和物体之间，甚至物体和物体之间的因果关系，多模态大模型只有理解这些因果关系，才能做出决策，不会伤害人。”其次要赋予AI反思的能力，每次作出决策前，大模型要能反思做出决策后会产生的后果，只有这样才能做出正确决策，这种反思能力完全可以在因果框架中定义。但陆超超表示，尺度定律并没有显著提高模型的因果推理能力。

谷歌DeepMind研究科学家张晗表示，由于现在过分注重尺度定律，人力、算力等大量资源资源投入到尺度定律，导致基层研究人员没有足够多的计算资源研究新的模型路线，挤压创新空间，这是一个损失。

针对具身智能与大模型的结合，加州大学洛杉矶分校计算机系助理教授周博磊表示，可利用大模型为具身智能生成训练场景，提升具身智能的能力。清华大学交叉信息研究院助理教授许华哲表示，从模型训练来看，这取决于能否训练具身大模型来做决策，与世界交互。

“我们最近做了一些小的科学实验，我在地上画一个长条的格子，让机器人沿着格子往前走，每一个格子里要么有一元钱，要么没有钱，机器人走在格子里就会把钱吸进来，走到格子末尾时，我问它收到的钱是奇数还是偶数。GPT等主流大模型以Transformer为基础，我们发现Transformer需要非常多的数据才能回答这个问题，而RNN（循环神经网络）就很容易得到奇偶性。”许华哲表示，团队在做这一实验时就在考虑，用于机器人的模型是否需要新的架构，“也许并不是新的架构，而是新旧架构的结合。”

从模型应用来看，许华哲团队也利用大模型生成环境训练机器人。“我们直接让大模型输出人手的轨迹，在轨迹之上再叠加强化学习，做更精细的操作等，机器人和大模型的这些结合还蛮好的，但这主要是靠大模型目前的能力，未来能否更直接输出到底层的动作层上，是我们想看到的。”