继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。

诚然时长仅有 15 分钟支配，但推行依旧看头都备。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预进修行将赶走。

而之于将来，Ilya 还预计谈：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超等智能：代理、推理、明白和自我意志。

那么为何会有如斯？咱们一齐来望望完好演讲。

回想十年时期发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时辰深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初度建议了如今成为 AI 边界基石的深度学习理念。

Ilya 展示了其时的一张 PPT，揭示了他和团队的中枢责任：自回首模子、大型神经积蓄和大数据集的结合。

在十年前，这些元素并不被好坏看作顺利的保证，而今天，它们依然成为东谈主工智能边界最迫切的基础。

举例在谈到深度学习假定时，Ilya 强调了一个迫切不雅点：

要是有一个 10 层的大型神经积蓄，它就能在一秒钟内完成东谈主类能作念的任何事情。

他解说说，深度学习的中枢假定是东谈主工神经元与生物神经元的相似性。

基于这一假定，要是东谈主类或者在一秒钟内完成某项任务，那么通常的任务，一个进修素雅的 10 层神经积蓄也能完成。

这一假定推进了深度学习的斟酌，并最终罢了了其时看似果敢的方针。

Ilya 还先容了自回首模子的中枢想想：通过进修模子预计序列中的下一个 token，当模子预计得实足准确时，它就能捕捉到通盘序列的正确散播。

这一想想为其后的话语模子奠定了基础，稀薄是在天然话语责罚边界的讹诈。

天然除了"押对宝"的时期除外，也有"押错"的。

LSTM（哀痛期顾忌积蓄）就是其中之一。

Ilya 提到 LSTM 是深度学习斟酌者在 Transformer 之前的主要时期之一。

尽管 LSTM 在其时为神经积蓄提供了强劲的能力，但它的复杂性和局限性也不言而谕。

另一个即是并行化（parallelization）。

尽管当今咱们知谈 pipeline 并不是一个好主意，但其时他们通过在每个 GPU 上运转一层积蓄，罢了了 3.5 倍的速率擢升。

Ilya 以为，限制假定（scaling hypothesis）是深度学习顺利的关节。

这一假定标明，要是你有一个终点大的数据集，并进修一个实足大的神经积蓄，那么顺利险些是不错预见的。

这个不雅点依然成为今天深度学习边界的中枢顺序。

Ilya 进一步推崇了联接方针的想想，以为东谈主工神经元与生物神经元之间的相似性给了咱们信心，以为即使不完全师法东谈主脑的结构，宏大的神经积蓄也能完成与东谈主类相似的任务。

预进修期间行将扫尾

基于上述时期的发展，也让咱们迎来了预进修的期间。

预进修是推进扫数率先的能源，包括大型神经积蓄和大限制数据集。

但 Ilya 接下来预计说：

诚然诡计能力在束缚增长，硬件和算法的率先使得神经积蓄的进修后果获取了擢升，但数据的增长却已接近瓶颈。

他以为，数据是 AI 的化石燃料，跟着大流派据的欺压，将来东谈主工智能将濒临数据瓶颈。

诚然现时咱们仍然不错使用现存数据进行有用进修，但 Ilya 以为这一增长趋势终将放缓，预进修的期间也会迟缓扫尾。

超等智能将是将来

在谈到将来的发展场所时，Ilya 提到了" Agent "和"合成数据"的认识。

很多民众都在扣问这些话题，以为 Agent 系统和合成数据将是狂放预进修瓶颈的关节。

Agent 系统指的是或者自主推理和有猜测打算的东谈主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补现实宇宙数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物肉体与大脑大小的权衡，清楚不同生物可能通过不同的"限制顺序"进化出不同的智能阐扬。

这一想想为深度学习边界的进一步蔓延提供了启示，标明东谈主工智能也许不错通过不同的花样狂放目下的限制欺压。

Ilya 终末谈到了超等智能的出路。

他指出，诚然现时的话语模子和 AI 系统在某些任务上阐扬出超东谈主类的能力，但它们在推理时仍显得不褂讪和不可预计。

推理越多，系统变得越不可预计，这少量在一些复杂任务中阐扬得尤为卓绝。

他还提到：

目下的 AI 系统还不可确实明白和推理，诚然它们能模拟东谈主类的直观，但将来的 AI 将会在推理和有猜测打算方面展现出愈加不可预计的能力。

Ilya 进一步推测，将来的 AI 将不单是是实践任务的器具，而会发展成" Agent "，或者自主进行推理和有猜测打算，甚而可能具备某种表情的自我意志。

这将是一个质的飞跃，AI 将不再是东谈主类的蔓延，而是一个具有寂然智能的存在。

参考结合：

https://x.com/vincentweisser/status/1867719020444889118

—  完  —

点这里� � 关心我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~