幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答，使得人们在一些关键的认知上产生疑虑，一定程度上会阻碍大模型落地。

由于过分注重尺度定律，人力、算力等大量资源资源投入到尺度定律，导致基层研究人员没有足够多的计算资源研究新的模型路线，挤压创新空间。

青年app家共同探讨大模型技术架构的未来可能性

人工智能大模型技术架构是否已经收敛？未来是否有新的技术可能性？大模型与具身智能如何结合？7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。在大会app前沿全体会议上，青年app家们探讨下一代人工智能架构的革新与挑战。

从ChatGPT到GPT-4，一系列生成式大模型的涌现，似乎昭示着人类正在走向通往通用人工智能的道路上。但上海人工智能实验室领军app家、教授林达华表示，也有研究者发现，尽管现在的模型能力强大，但也出现了一些问题，其中幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答，使得人们在一些关键的认知上产生疑虑，一定程度上会阻碍大模型落地，另一方面即便是最强大的大模型在真实应用场景中还存在很多局限。

基于当前所探讨的大模型发展技术道路，如依靠尺度定律（ScalingLaw）形成越来越强的智能体的模式，最终能否解决大模型面临的问题？是否还存在能够走得更远的新路径？

滑铁卢大学计算机学院助理教授张弘扬表示，从短期来看，尺度定律出现后，大模型能力出现了新变化。尺度定律由数据和算力两驾马车拉动，算力、模型的参数量和数据量成一个比例，模型才会有质的提升。“现在最大的一个问题就是数据荒，GPT-4基本上已经把市面上能够吸收的大部分数据都使用了，我们面临数据和算力上的瓶颈。”

张弘扬表示，从长期来看，尺度定律存在问题，“人类早上吃一个鸡蛋就可以有很多能量做很多事。我们一生中读不了多少本书，但我们却有着比大模型优秀得多的能力，比如大模型高考会不及格，但我们却能考到高分。这是一个开放的问题，现在我也没有一个具体的答案，但我们应该尝试交叉学科，比如研究清楚人类是怎样学习、进化、做任务，这也会启发大模型。”

上海人工智能实验室青年app家陆超超团队正在研究如何提高大模型的因果推理能力。因果推理能力有助于大模型落地，“一旦一个多模态大模型具有了因果推理能力，它可以作为一个世界模型使用，也可以作为一个具身智能体使用，甚至因为有了因果推理能力，它就具有了反思能力，可以作为一个具有自我意识的智能体。”

陆超超举例，人坐在椅子上，如何确保机器人不会冲过去踢倒椅子？“首先要确定人和椅子之间的因果关系。我们在这上面做了一些工作，如何定义人和人之间、人和物体之间，甚至物体和物体之间的因果关系，多模态大模型只有理解这些因果关系，才能做出决策，不会伤害人。”其次要赋予AI反思的能力，每次作出决策前，大模型要能反思做出决策后会产生的后果，只有这样才能做出正确决策，这种反思能力完全可以在因果框架中定义。但陆超超表示，尺度定律并没有显著提高模型的因果推理能力。

谷歌DeepMind研究app家张晗表示，由于现在过分注重尺度定律，人力、算力等大量资源资源投入到尺度定律，导致基层研究人员没有足够多的计算资源研究新的模型路线，挤压创新空间，这是一个损失。

针对具身智能与大模型的结合，加州大学洛杉矶分校计算机系助理教授周博磊表示，可利用大模型为具身智能生成训练场景，提升具身智能的能力。清华大学交叉信息研究院助理教授许华哲表示，从模型训练来看，这取决于能否训练具身大模型来做决策，与世界交互。

“我们最近做了一些小的app实验，我在地上画一个长条的格子，让机器人沿着格子往前走，每一个格子里要么有一元钱，要么没有钱，机器人走在格子里就会把钱吸进来，走到格子末尾时，我问它收到的钱是奇数还是偶数。GPT等主流大模型以Transformer为基础，我们发现Transformer需要非常多的数据才能回答这个问题，而RNN（循环神经网络）就很容易得到奇偶性。”许华哲表示，团队在做这一实验时就在考虑，用于机器人的模型是否需要新的架构，“也许并不是新的架构，而是新旧架构的结合。”

从模型应用来看，许华哲团队也利用大模型生成环境训练机器人。“我们直接让大模型输出人手的轨迹，在轨迹之上再叠加强明升手机习，做更精细的操作等，机器人和大模型的这些结合还蛮好的，但这主要是靠大模型目前的能力，未来能否更直接输出到底层的动作层上，是我们想看到的。”

（原标题：“尺度定律”天花板已现？青年app家：尺度定律不能显著提高模型因果推理能力）