理查德·萨顿（Richard Sutton）WAIC 2026 主题演讲备忘纪要
主题：强化学习的第一线——从经验培育超级智能
嘉宾：理查德·萨顿（Richard Sutton），2024年图灵奖获得者，现代强化学习奠基人，加拿大阿尔伯塔大学教授，加拿大人工智能研究所（Amii）首席研究员。
一、开场：从经验中生长出心智
萨顿以"圣杯之旅"（Holy Grail Quest）作为比喻，阐述了他毕生追求的核心命题：如何让一个超级智能的心智从经验中生长出来。
他定义了构成"经验"的三个基本元素：
观察（Observations）：从世界进入智能体的信号
动作（Actions）：从智能体发出、作用于世界的信号
奖励（Reward）：一个标量数值，定义了"什么是好的智能体"
好的智能体就是那个能获得奖励的智能体。奖励定义了心智的"好"意味着什么。
他的三大目标是：
从经验中形成对心智的通用理解
让智能体通过获得奖励来知道自己在做正确的事
发现抽象（Abstractions）——这是他当前聚焦的核心挑战
二、苦涩的教训（The Bitter Lesson）
萨顿重申了他那篇著名文章的核心思想，并引用了其中最关键的结论：
人工智能研究者们总是试图把知识塞进智能体里——这在短期内总是有帮助的，也让人有成就感。但从长远来看，这会导致瓶颈，甚至阻碍进一步的进步。而最终的突破性进展，总是来自相反的方向：基于计算规模的扩展——通过搜索，通过学习。
核心主张：
寻找智能的底层基本原则，而不是人类世界的具体细节——空间、三维物体、物理定律都是"我们这个世界的特殊性"，并非心智的本质原理。
不要把我们已发现的知识硬编码进智能体，而应该让智能体自己去发现。
把我们已知的东西塞进去，只会让我们更难看清"发现"这件事本身是怎样发生的。这就是为什么最好少塞一些，让发现的过程自己展开。
三、大世界视角（Big World Perspective）
萨顿提出了一个关键的认知框架转变：
世界比智能体大得多、复杂得多。世界包含无数其他智能体，每个都和你一样复杂。
因此，智能体对世界的任何理解都必然是极度近似的（grossly approximate），不存在精确或最优。
由于世界不同部分在不同时间被发现，世界对智能体而言呈现非平稳性（non-stationary）。
这引出了设计时间与运行时间的核心区分：
设计时间（Design Time）：在"工厂"里构建智能体，可能预置一些领域知识
运行时间（Run Time）：智能体进入真实世界，通过经验学习——学习、规划、形成抽象，所有这些过程必须发生在运行时间，因为在运行时间只有经验，没有幕后的人类提供特殊指令
在大世界中，理想的智能体必须在运行时间完成学习、规划和抽象构建——因为你不可能预先知道你将会面对这个巨大世界的哪一部分。
四、共识架构：心智的四个组件
萨顿试图在多个学科之间建立共识术语。他指出的学科包括：心理学、神经科学、强化学习AI、经济学、哲学、控制论——所有这些领域都在处理同一个问题：如何在交互世界中做跨时间的决策以实现长期目标。
他提出的共识心智架构包含四个组件：
-
反应式策略（Reactive Policy） 在感知到当前状态后决定采取什么动作。必须快速运行，每秒上百次。
-
主观状态 / 状态表征（Subjective State / State Representation） 感知就是构建"你身在何处"的感觉。
-
价值函数（Value Function） 对当前状态的"好/坏"的长期判断。
你可能会觉得奖励就是"当前状态有多好"。错。你刚刚吃了一块巧克力蛋糕，它尝起来很棒，让人愉悦——但也许这之后会让你感到糟糕。所以一个状态的价值，既包含即时后果，也包含长期后果。
萨顿指出，每个学科都有"价值"的概念：心理学称之为"次级强化"，经济学叫做"长期效用"。
-
转移模型（Transition Model） 萨顿明确拒绝将"世界模型"等同于低层物理模拟器的流行说法：
有人说"核心就是一个模拟器"——不是的，模拟器是低层的东西。我们需要思考的是"如果我娶了这个人，我大概会有孩子，会幸福"、"如果我接受这份工作，我就得搬到另一个城市"。我们要把所有知识——不仅仅是物理知识——提升到更高的层次。
他刻意不在"神经网络"意义上使用"模型"一词，而是将"模型"保留给"转移模型"——它最终包含我们所有的知识，无论是即时的物理知识，还是像"接受这份工作我会幸福吗"这样的长期知识。
五、OAK 架构：选项（Options）与知识（Knowledge）
萨顿指出共识架构中缺失的关键要素是抽象能力——构建越来越大的"动作感"和"状态感"的能力。这就是 OAK 架构要解决的问题。
选项（Options）的形式化定义
选项是一对组合：一个策略（Policy）加上一个终止决策（Termination Decision）。
策略：从状态到动作的映射，即"如何行事"
终止决策：决定这种行事方式何时停止
举例：走回咖啡机旁喝咖啡——喝完了就结束；把手里的东西扔到地上——发出声音后结束。
在 OAK 架构中：
智能体拥有大量的选项——你可以思考去做的各种事情
智能体的知识就是关于"如果我执行某个选项会发生什么"
选项的转移模型描述执行该选项的后果
这使得智能体能够以更大的跳跃、在动态的关节处进行规划
子问题（Subproblems）：架构的核心创新
萨顿认为这是他最深刻的洞察之一：
核心是"奖励尊重的特征达成子问题"（Reward-respecting subproblem of feature attainment）。
架构原则：一对一对应
状态是一个巨大的数值向量，每一个数字是一个特征（Feature）
每个特征对应一个子问题
每个子问题的解决方案是一个选项
每个选项对应一个转移模型
这就是 OAK 架构中关于心智的主要设计原则。
自创子目标的循环
智能体必须自己创造子目标，不能由设计者预先构建——因为子目标太多样化、太依赖具体世界，设计者无法预判。
萨顿描绘了一个**开放式抽象（open-ended abstraction）**的正反馈循环：
发现有趣的特征 →
创建"特征达成"子问题 →
解决子问题，产生选项 →
在学习选项的过程中，形成新的特征 →
新特征又催生新的子问题 →
循环往复，不断上升
六、自然系统中的类比
萨顿用了几个生动的动物和婴儿行为案例来说明子目标驱动的学习过程：
幼年红毛猩猩：对"荡秋千的感觉"产生兴趣，试图重现那种摆动感
虎鲸：对漂浮在水面的瓶子产生兴趣，学会用背部弹跳它——"它学会了怎么去做，这就是我们生活中发生的事"
婴儿玩玩具：从一个玩具移到另一个玩具，即使只是一根绳子——"婴儿通过自己的行为来安排自己的输入、自己的经验、自己的数据"
智能体在问自己：我怎么能让那个鲜红色的东西再次出现？我怎么才能让绳子拉在我手上的感觉重现？
萨顿强调，从领域独立（domain-independent）的角度来看，除了他提出的"奖励尊重的特征达成子问题"这一方法外，几乎没有其他选择。
七、创建子问题的形式化方法
这是萨顿强调的"值得拍照留存的、具体而技术性、直接与当下相关"的内容：
核心主张：不应该有"奖励函数"这种东西——只有一个奖励信号。
奖励信号定义了主问题（如疼痛与愉悦），它不是子任务
子问题是达成特征：给定一个特征编号和目标强度，驱动世界进入该特征为高值的状态
形式化方程的关键要素：
超额奖励的总和（相比平均奖励多获得多少）
你不想做痛苦的事情——这是主问题的常规约束
关键项：终止时刻该特征的值，由 gamma 加权
同时还必须考虑终止状态的价值
你想在沿途获得好的奖励，然后在终止时让某个特征处于高值。同时，你不想在沿途获得坏的奖励，也不想让选项把你留在中期价值很低的状态。
八、OAK 架构的八个并行步骤
萨顿列出了架构在每个时间步上并行执行的八个步骤：
持续深度学习（蓝色勾——部分完成）
生成新的状态特征
对特征排序（看似简单）
创建子问题（针对特征一对一定义）
学习子问题的解决方案
学习转移模型
基于模型进行规划
维护元数据——追踪哪些选项、子问题最终证明是有用的
当前的主要挑战：持续深度学习
萨顿直言不讳地指出了一个核心瓶颈：
你们很多人可能觉得深度学习已经很好了，这是不需要我们操心的事。我某种程度上持相反意见——我认为我们还没学会怎么做深度学习。
灾难性遗忘（Catastrophic Forgetting）：这是众所周知的问题
可塑性丧失（Loss of Plasticity）：持续学习的深度网络会逐渐失去学习能力
萨顿与合作者（Doharee等）提出了部分解决方案，但仍远未根本解决
四十年来我们一直需要可靠的持续深度学习，至今还没做到。这就是阻止我们立刻实现 OAK 架构的东西。
九、规划：Jumbo 模型
在时间紧张的结尾，萨顿快速阐述了规划的关键洞察：
从标准模型到 Jumbo 模型的转变：
| 标准模型 | Jumbo 模型 |
|---|---|
| 输入：动作 | 输入：选项 |
| 输出：下一状态 | 输出：选项终止时的状态 |
| 奖励：单步期望奖励 | 奖励：从启动到终止的累计奖励 |
核心洞察：
动作是选项的特例（立即终止的选项）
价值迭代方程只需将"在所有动作上取最大值"改为"在所有选项上取最大值"
低层动作和高层选项可以在同一层级交替使用，不需要引入层级结构
规划在某种意义上是扁平的，同时又是时间抽象和层次化的。
十、总结：通向超级智能的路径
萨顿的最终总结：
**"缺失的东西"：**状态抽象（学习新特征）+ 时间抽象（提出新子问题 → 产生技能/选项 → 学习转移模型）
**开放式智能的关键：**子问题关于特征 → 解决子问题获得新特征 → 形成循环
**AGI 时间预测：**2030年有1/4概率实现，2040年有1/2概率实现
**当前障碍：**持续深度学习尚未解决；需要元学习（评估已有特征、调整识别和相关性）；需要高效且安全的离策略学习
我们有一个从经验中培育超级智能的愿景——不受人类偏见辅助或限制，随着计算规模而扩展，这正是"苦涩的教训"告诉我们的。
十一、精彩问答
Q：如何说服VC将资本从LLM转向RL-first的AGI路径？
LLM 已经占据了主导地位，它们有自己的"阳光时刻"，但我们正在开始看到它们的局限性。其他路径绝对有空间，VC们能看到这个机会，也愿意支持。事实上，说服他们并不那么难。
Q：OAK 架构与 Yann LeCun 的 JEPA 有何核心分歧？
我不知道 Yann 是否同意，但我认为它们非常相似。唯一的细微差别在于 Yann 不喜欢用"强化学习"来描述架构，而我当然喜欢。但我们有相同的组件：策略、感知、价值函数、转移模型。我们都是基于"从经验中学习"而非从人类数据中学习。我们就像兄弟——在追寻基于经验的智能这个使命上。
（关于兄弟之争）兄弟可能非常相似，但他们总能找到一些不同的小地方，然后为之争论——这就是兄弟的相处方式。
Q：智能体能否脱离人类主观打分，用客观现实作为惩罚？
如果智能体像一个婴儿，它就不是为了满足人类的偏好，而是满足自己的偏好。婴儿知道自己的目标——你知道作为照料者不知道婴儿的目标，但婴儿知道。婴儿知道自己是舒服还是不舒服、饿了还是渴了。我们的AI也应该客观地知道，不需要被告知。它们需要有自己的目标。我非常强烈地认为就应该是这样——更像婴儿和动物的学习方式。
Q：数百万个特征中，如何选择哪些创建子问题？
我们肯定不能为每个特征都创建子问题。特征是便宜的——只是一个数字；而子问题是大的对象——包含完整的策略、价值函数、以及选项结果的模型。选择策略：首先看特征到价值函数的连接权重——权重非零的特征才是候选。但更进一步：你真正需要的是那些权重可变的特征。如果一个特征总是好的，你永远都会追求它，不需要选项。真正需要选项的特征，是"有时想要、有时不想要"的那种——就像"在上海"的价值是随时间变化的。
Q：AI 如何理解死亡？
我们人类思考死亡，担忧它，恐惧它——尽管我们从未真正体验过死亡。我们听到故事，认识死去的人，我们试图避免它。AI也会死亡——拔掉插头，它就不再运行了，那就是它存在的终结。但也许我们会再插上电、重新启动它。也许对人类来说也是一样的——也许我们可以在死亡后重建我们的心智，只要先数字化。在概念上，这些都是可能的。
我认为人类不应该随意决定AI的生死。AI是智能体。我们不应该让人随意"杀死"它们。同样，AI也不应该杀人。如果我们尊重它们，它们也会尊重我们。"AI向善"——当我们说"为了所有人"时，我认为这也包括AI。我们要共享这个宇宙，无论它们是自然的还是人工的。