继李飞飞、Bengio、何恺明之后，在昨天的 NeurIPS 2024 中，Ilya Sutskever 最新演讲也来了。

天然时长仅有 15 分钟阁下，但本体依旧看头全齐。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预磨砺行将闭幕。

而之于明天，Ilya 还揣度说念：

what comes next is superintelligence: agentic， reasons， understands and is self aware. 接下来将是超等智能：代理、推理、领路和自我通晓。

为何会有如斯发言？咱们通盘来望望齐全演讲。

回首十年技艺发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时，深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初度提议了如今成为 AI 范围基石的深度学习理念。

Ilya 展示了其时的一张 PPT，揭示了他和团队的中枢责任：自记忆模子、大型神经收罗和大数据集的结合。

在十年前，这些元素并不被无为看作告捷的保证，而今天，它们仍是成为东说念主工智能范围最弥留的基础。

举例在谈到深度学习假定时，Ilya 强调了一个弥留不雅点：

要是有一个 10 层的大型神经收罗，它就能在一秒钟内完成东说念主类能作念的任何事情。

他讲明说，深度学习的中枢假定是东说念主工神经元与生物神经元的相似性。

基于这一假定，要是东说念主类大概在 0.1 秒钟内完成某项任务，那么雷同的任务，一个磨砺致密的 10 层神经收罗也能完成。

这一假定股东了深度学习的继续，并最终杀青了其时看似斗胆的指标。

Ilya 还先容了自记忆模子的中枢想想：通过磨砺模子揣度序列中的下一个 token，当模子揣度得填塞准确时，它就能捕捉到统统序列的正确漫衍。

这一想想为其后的言语模子奠定了基础，绝顶是在天然言语解决范围的哄骗。

天然除了"押对宝"的技艺除外，也有"押错"的。

LSTM（辱骂期悲伤收罗）就是其中之一。

Ilya 提到，LSTM 是深度学习继续者在 Transformer 之前使用的主要技艺之一。

尽管 LSTM 在其时为神经收罗提供了刚劲的智商，但它的复杂性和局限性也不言而喻。

另一个等于并行化（parallelization）。

尽管当今咱们知说念，pipeline 并不是一个好主意，但其时，他们通过在每个 GPU 上启动一层收罗，杀青了 3.5 倍的速率普及。

Ilya 合计，范围假定（scaling hypothesis）是深度学习告捷的关节。

这一假定标明，要是你有一个绝顶大的数据集，并磨砺一个填塞大的神经收罗，那么告捷确凿是不错意想的。

这个不雅点仍是成为今天深度学习范围的中枢规章。

Ilya 进一步证据了联结方针的想想，合计东说念主工神经元与生物神经元之间的相似性给了咱们信心，合计即使不完全师法东说念主脑的结构，庞大的神经收罗也能完成与东说念主类相似的任务。

预磨砺期间行将收尾

上述技艺的发展也让咱们迎来了预磨砺的期间。

预磨砺是股东通盘逾越的能源，包括大型神经收罗和大范围数据集。

但 Ilya 接下来揣度说：

天然筹画智商在不休增长，硬件和算法的逾越使得神经收罗的磨砺后果获取了普及，但数据的增长却已接近瓶颈。

他合计，数据是 AI 的化石燃料，跟着大门户据的截止，明天东说念主工智能将濒临数据瓶颈。

天然刻下咱们仍然不错使用现存数据进行有用磨砺，但 Ilya 合计，这一增长趋势终将放缓，预磨砺的期间也会冷静收尾。

超等智能将是明天

在谈到明天的发展标的时，Ilya 提到了" Agent "和"合成数据"的见解。

好多大家齐在究诘这些话题，合计 Agent 系统和合成数据将是冲突预磨砺瓶颈的关节。

Agent 系统指的是大概自主推理和方案的东说念主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补推行寰球数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物体魄与大脑大小的关连，默示不同生物可能通过不同的"范围规章"进化出不同的智能证据。

这一想想为深度学习范围的进一步蔓延提供了启示，标明东说念主工智能也许不错通过不同的方式冲突目下的范围截止。

Ilya 终末谈到了超等智能的出路。

他指出，天然刻下的言语模子和 AI 系统在某些任务上证据出超东说念主类的智商，但它们在推理时仍显得不踏实和不可揣度。

推理越多，系统变得越不可揣度，这极少在一些复杂任务中证据得尤为凸起。

他还提到：

目下的 AI 系统还弗成委果领路和推理，天然它们能模拟东说念主类的直观，但明天的 AI 将会在推理和方案方面展现出愈加不可揣度的智商。

Ilya 进一步算计，明天的 AI 将不单是是推行任务的器具，而会发展成" Agent "，大概自主进行推理和方案，以至可能具备某种方法的自我通晓。

这将是一个质的飞跃，AI 将不再是东说念主类的蔓延，而是一个具有颓败智能的存在。

参考结合：https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位🦄九游下载中心_九游游戏中心官网，作家：金磊