Is Scaling is 训练All you Need？

在Ilya讨论之后「预训练即将结束」之后，关于Scaling，训练 Law的训练讨论再次引发热议。

NeurIPS将被铭记为预训练结束的会议

OpenAI大神，o1核心成员Noam，训练在最新的训练研讨会上 brown表示，o1代表了以推理计算为代表的训练全新Scaling。

网民们说：好好的训练，Scaling Law还没死！训练Scaling Law还在继续。训练

演讲实录：Is Scaling is 训练All you Need？

Noam Brown，OpenAI大神，训练去年7月离开Meta，训练开发了第一款在战略游戏中达到人类水平的训练AI。此前，训练游戏AI领域的相关研究成果已登上Science封面。

如今，OpenAI致力于多步推理、自我博弈和多智能人工智能相关研究。

此前在o1发布的直播中露面。

据网友@swyx分享，Noam Brown首先谈到Scaling Law过去的演变。

从2019年到现在，人工智能，GPT-从数据和计算能力规模的扩大到GPT-4，这是不可思议的成就。

然而，大语言模型仍然无法解决井字棋等简单问题，

接下来的一个问题是，Is Scaling is All you Need？我们真的需要花更高的成本来训练更好的人工智能吗？

被低估的其实是推理的成本，它在过去的扩张（Scaling）要少得多。o1带来了Scaling的新维度。

随后，他追溯了过去模型中显示的类似规律。

例如，扑克模型在2012年至2015年扩展。模型规模每年扩大5倍，但效果不大。但根据「人类需要更长的时间思考更困难的问题」这一观点增加了20个模型 搜索时间秒，效果大致相当于将模型规模扩大1万倍。

还有在棋牌中拓展推理的历史，backgammon- 国际象棋 - 围棋。AlphaGo 在原始NN的基础上，Zero实现了从3000到52000 Elo增长是因为testt-time search(推理时间搜索)。

此外，他还引用了Andy L.关于Scalingng的Jones Laws of games图表-可以用10倍的预训练计算量换取15倍的测试时间计算量。

假如游戏结果扩展到 LLMs，也会是这样吗？

那么接下来关于o1，会有更高的推理计算能力。过去 5 LLM的概念是聊天机器人。所以他们可以做得更好。”

最终他还做了一个小广告，现在他的多智能体团队还在招人ing。

网友评论

如果再和昨天的Ilya谈谈，「预训练时代即将结束」。所以对于市场来说，这一波对英伟来说并不好（Doge）。

然而，一些从业者站出来反对他的观点：推理时间计算（Inference Time Computation）并不新鲜，本来想把它去掉，但出于需要让它回来。

他还纠正说，许多游戏的时间顺序是错误的，许多游戏（包括国际象棋和围棋）一开始只关注推理时间计算。但后来，每个人都倾向于离线学习策略，这节省了大量的在线计算时间。

因此，减少用户的推理时间计算是一个深思熟虑的选择，甚至导致该领域开始改变考虑计算复杂性的方式。

这一趋势在 LLMs 它也得到了延续——所有的重点都集中在预训练上，所以推理时间的计算可以忽略不计。这对终端用户来说非常低，甚至可以在当地的边缘设备上完成。

当谈到未来超级智能的想象时，Ilya也提到了当前推理的不可预测性：

推理越多，系统就越不可预测，这在一些复杂的任务中尤为突出。

他还提到：

目前的人工智能系统还不能真正理解和推理。虽然它们可以模拟人类的直觉，但未来的人工智能将在推理和决策方面表现出更不可预测的能力。

然而，大型模型的扩展能力取决于这些科学家的不断探索。

One More Thing

本来，从现场repo的角度来看，这原本是一个关于数学AI的研讨会，他硬生生地把它变成了讨论大模型推理Scaling Law。

现场也有很多人，据说门口有20多人在排队等候。当然，部分原因是房间太小。

参考链接：

[1]https://x.com/swyx/status/1867990396762243324
[2]https://x.com/e__honig/status/1868002417045840243
[3]https://x.com/drapersgulld/status/1868023022390485052