1. 理论理解：无监督强化学习与新奇性探索的核心原理
1.1 无监督强化学习（Unsupervised Reinforcement Learning, U-RL）的定义与动机
1.1.1 定义：在没有外部奖励信号下的自主学习
U-RL的目标通常不是学习一个针对特定任务的单一最优策略，而是学习一个关于环境的通用表征（Representation）或一组可复用的技能（Skills）。这个预训练阶段（Pre-training Phase）的目标是为后续的下游任务（Downstream Tasks）提供一个良好的起点。当面对一个新的、带有明确奖励函数的下游任务时，经过无监督预训练的智能体可以利用其已学到的环境知识或技能，以更高的样本效率和更快的速度适应新任务，从而避免了从零开始学习的巨大开销 。例如，一个机器人可以在无奖励的环境中通过探索学会行走、跳跃等基本运动技能，当后续需要执行“走到指定地点”的任务时，它可以直接利用这些已掌握的技能，而无需再花费大量时间学习如何移动。因此，U-RL可以被看作是一种元学习（Meta-learning）或迁移学习（Transfer Learning）的范式，其核心在于通过无奖励的预训练来提升智能体在未知任务上的泛化能力和学习效率。
1.1.2 动机：解决稀疏奖励、探索困境和技能泛化问题
无监督强化学习的发展主要受到三大核心挑战的驱动：稀疏奖励问题、探索困境以及技能泛化需求。首先，稀疏奖励（Sparse Rewards） 是强化学习在实际应用中面临的最普遍和棘手的难题之一。在许多复杂任务中，如机器人操作、策略游戏或自动驾驶，智能体只有在完成整个任务序列后才能获得一个非零的奖励信号，而在漫长的探索过程中几乎得不到任何反馈 。这种奖励的稀疏性使得基于传统RL算法的随机探索变得非常低效，智能体很难偶然发现通往成功的路径，导致学习过程陷入停滞或收敛到局部最优解。U-RL通过引入内在动机（Intrinsic Motivation）或内在奖励（Intrinsic Reward）来解决这一问题。智能体不再仅仅依赖外部奖励，而是被鼓励去探索新奇的状态、学习环境的动态或掌握多样化的技能，这些内在奖励为学习过程提供了密集的、持续的反馈信号，从而有效引导智能体在稀疏奖励环境中进行高效探索 。
其次，探索与利用的权衡（Exploration vs. Exploitation Trade-off） 是强化学习中的一个经典困境。智能体需要在利用当前已知的最优策略来获取奖励（利用）和尝试新的、可能带来更高回报但风险更大的动作（探索）之间做出平衡 。在复杂环境中，特别是那些具有欺骗性（Deceptive）或局部最优解的环境中，纯粹的随机探索或简单的启发式方法往往难以找到全局最优解 。新奇性探索（Novelty Search）等U-RL方法通过将探索目标从“最大化奖励”转变为“最大化新奇性”，彻底改变了探索的策略。智能体被激励去发现前所未见的行为或状态，即使这些行为在短期内看起来与任务目标无关。这种“无目标”的探索方式能够帮助智能体跳出局部最优，发现通往最终目标的间接路径，从而有效解决了传统RL在复杂探索问题上的困境 。
最后，技能泛化（Skill Generalization） 是构建通用人工智能（AGI）的关键。传统的RL算法通常为每个特定任务训练一个独立的模型，这种“一任务一模型”的方式缺乏泛化能力，难以适应动态变化的环境或新任务。U-RL，特别是基于技能发现（Skill Discovery）的方法，旨在学习一个可复用的技能库（Skill Library）。智能体在无奖励的环境中通过最大化互信息等方式，自主学习到一组多样化且可预测的技能，例如不同的运动模式或操作方式 。这些技能可以被看作是对环境动态的有效抽象，它们构成了一个可以用于解决各种下游任务的“基础模块”集合。当面临新任务时，智能体可以通过组合、微调这些已掌握的技能，快速构建出解决新任务的策略，从而展现出强大的泛化和迁移能力 。这种范式极大地提升了学习效率和适应性，是迈向更通用、更鲁棒的人工智能系统的重要一步。
1.1.3 与监督学习和自监督学习的区别与联系
无监督强化学习（U-RL）与监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）在机器学习谱系中占据着不同的位置，它们在学习范式、数据需求和目标上存在本质区别，但又相互关联。监督学习的核心是从带有明确标签的数据中学习一个从输入到输出的映射函数。其学习过程由一个“监督者”通过损失函数（如交叉熵、均方误差）提供直接的、即时的反馈 。相比之下，U-RL不依赖于预先收集好的大规模标注数据集，而是通过与环境的动态交互来获取数据 。更重要的是，U-RL中没有这样一个明确的“监督者”或“正确答案”。智能体的学习信号来源于其自身行为产生的后果（无论是内在的还是外在的奖励），并且这种反馈通常是延迟的，当前的决策会影响未来一系列的状态和奖励 。因此，U-RL处理的是序列决策问题，而监督学习通常是单步的预测或分类问题。
与无监督学习（如聚类、降维）相比，U-RL同样不使用外部标签，但其目标截然不同。无监督学习旨在从静态的、未标记的数据中发现隐藏的结构或模式，例如将相似的数据点分到同一簇中 。而U-RL的目标是最大化一个累积的奖励信号（无论是内在的还是外在的），即学习一个能够产生最优长期回报的策略 。尽管U-RL在探索阶段可能表现出与无监督学习相似的行为（例如，探索数据分布），但其最终目的仍然是优化一个决策过程，而非仅仅理解数据结构。然而，U-RL与自监督学习（Self-supervised Learning）之间存在着紧密的联系。自监督学习是无监督学习的一个分支，它通过设计“伪标签”或“代理任务”（Pretext Tasks）来从未标注的数据中学习有用的表征 。例如，通过预测图像的旋转角度或文本中被掩盖的词。U-RL中的许多内在动机方法，如基于预测误差或互信息最大化的方法，本质上就是一种自监督学习。智能体通过解决这些自设计的任务（如预测下一个状态、区分不同的技能）来学习对决策有用的状态表征，这些表征随后可以被用于解决下游的强化学习任务 。因此，可以说U-RL借鉴并扩展了自监督学习的思想，将其应用于动态的、交互式的决策场景中。
1.2 新奇性探索（Novelty Search）的理论基础
1.2.1 核心思想：探索未知状态与行为以驱动学习
新奇性探索（Novelty Search）是一种强大的无监督探索策略，其核心思想颠覆了传统强化学习中“目标导向”的优化范式。在传统RL中，智能体的行为完全由外部奖励函数引导，其目标是找到一条能够最大化累积奖励的路径。然而，这种方法在面对稀疏奖励或具有欺骗性（Deceptive）的环境时往往会失败。欺骗性环境指的是那些智能体必须暂时远离目标状态，甚至表现出看似“退步”的行为，才能最终到达全局最优解的环境 。例如，一个机器人可能需要先向后退几步，才能获得足够的助跑距离来跳过前方的障碍。在这种情况下，任何基于局部奖励梯度的优化方法都会被误导，陷入局部最优。
新奇性探索正是为了解决这类问题而提出的。它主张，与其盲目地追求一个可能具有误导性的目标，不如鼓励智能体去探索和产生“新奇”的行为 。这里的“新奇”被定义为与智能体过去所有经历过的状态或行为模式显著不同的状态或行为。新奇性搜索算法会维护一个“行为档案”（Behavior Archive），记录智能体在探索过程中产生的各种行为特征（Behavior Characteristics）。当智能体产生一个新的行为时，算法会计算该行为与档案中所有其他行为的差异度，并将这个差异度作为其“新奇性分数”（Novelty Score）。智能体的目标不再是最大化外部奖励，而是最大化其自身行为的新奇性分数 。通过这种方式，智能体被激励着不断地走出自己的“舒适区”，去探索那些未被充分探索的状态空间区域。这种探索过程是开放性的，它不预设任何特定的目标，而是致力于全面地、无偏见地探索整个行为空间。最终，当探索过程覆盖了所有可能的行为模式后，其中必然包含了能够解决特定任务（如果该任务是可达的）的行为。此时，可以从行为档案中筛选出表现最佳的策略来完成任务 。这种“先探索，后利用”的策略，使得新奇性探索在处理复杂、非凸的优化问题时表现出卓越的鲁棒性和有效性。
1.2.2 信息论视角：新奇性作为信息增益或状态熵最大化
从信息论的角度，新奇性探索可以被形式化为一个信息最大化（Information Maximization）的过程，这为理解其内在机制提供了坚实的数学基础。信息论中的核心概念，如熵（Entropy）和互信息（Mutual Information），为量化“新奇性”提供了强有力的工具。一个直观的形式化方法是将新奇性寻求行为等同于最大化智能体访问过的状态分布的熵 。状态分布的熵越高，意味着智能体访问的状态越均匀、越多样化，即探索的范围越广。因此，通过最大化状态熵，智能体被激励着去访问那些不常去的状态，从而实现了探索的目的。具体来说，智能体的目标是最大化其在一定时间 horizon T 内的状态访问分布的熵，即 $H(d_{\pi}^{0:T}(S. )$，其中 $d_{\pi}^{0:T}(S)$ 是在策略 $\pi$ 下从时间步 0 到 T 的状态分布 。✅
然而，仅仅最大化状态熵可能并不完全等同于人类直觉中的“新奇性”。例如，一个非常罕见但可预测的事件（如日出）可能并不被认为是新奇的。因此，一个更精细的形式化方法是基于互信息最大化。在这种视角下，新奇性寻求被看作是主动学习一个关于环境的有效表征（Representation）的过程 。具体来说，目标是最大化状态 $S$ 和其低维表征 $Z$ 之间的互信息 $I(S; Z. $。根据互信息的定义 $I(S; Z) = H(S) – H(S|Z)$，最大化互信息等价于在最大化状态熵 $H(S)$ 的同时，最小化给定表征 $Z$ 后状态 $S$ 的不确定性 $H(S|Z)$。这意味着智能体不仅要探索多样化的状态（最大化 $H(S)$），还要学习一个能够尽可能压缩和解释这些状态的表征 $Z$（最小化 $H(S|Z)$）。这种“信息瓶颈”（Information Bottleneck）的视角，鼓励智能体去发现那些既多样又可预测的行为模式，这与技能发现的目标不谋而合 。例如，动态感知技能发现（DADS）算法正是通过最大化技能变量 $z$ 和下一个状态 $s’$ 之间的互信息 $I(s’; z|s)$ 来发现可预测的技能 。这种基于信息论的框架不仅为新奇性探索提供了理论依据，也为设计更高效的探索算法指明了方向。✅
1.2.3 内在动机（Intrinsic Motivation）与外在奖励（Extrinsic Reward）的对比与结合
内在动机（Intrinsic Motivation）和外在奖励（Extrinsic Reward）是驱动强化学习智能体行为的两种不同机制，它们在来源、性质和作用方式上存在显著差异。外在奖励是由环境或任务设计者预先定义的、与特定目标直接相关的反馈信号。例如，在游戏中获得分数、在机器人任务中到达指定位置等。外在奖励是任务导向的，它为智能体提供了明确的优化目标，是大多数传统RL算法的核心驱动力。然而，如前所述，外在奖励常常面临稀疏性、设计困难和具有欺骗性等问题，限制了其在复杂环境中的应用 。
内在动机则源于智能体自身的“好奇心”或“探索欲”，它不依赖于外部任务目标，而是由智能体在探索环境过程中产生的内部信号驱动。新奇性、惊讶感、学习进度、能力感等都可以作为内在动机的来源 。例如，一个基于新奇性的内在奖励会鼓励智能体去访问那些它从未见过的状态；一个基于学习进度的内在奖励会奖励那些能够显著提升智能体对环境模型预测能力的动作。内在动机的主要作用是促进探索，帮助智能体在缺乏外部指导的情况下，系统性地、高效地探索环境，发现潜在的有用知识或技能。它弥补了外在奖励在探索方面的不足，使得学习过程更加鲁棒和全面。
尽管内在动机和外在奖励在概念上是独立的，但在实践中，它们往往是结合使用的，以实现优势互补。一种常见的结合方式是“奖励塑形”（Reward Shaping），即将内在奖励和外在奖励进行加权求和，形成一个综合的奖励信号来指导学习。例如，一个智能体的总奖励可以表示为 $r_{total} = r_{extrinsic} + \beta \cdot r_{intrinsic}$，其中 $\beta$ 是一个用于平衡两者重要性的超参数 。在训练初期，可以设置一个较大的 $\beta$ 值，鼓励智能体进行广泛的探索；随着训练的进行，可以逐渐减小 $\beta$，让智能体更多地关注于优化外在任务目标。另一种更复杂的结合方式是采用多目标优化或分阶段训练。例如，可以先进行一个纯粹的无监督预训练阶段，让智能体通过内在动机探索环境并学习通用技能；然后，在预训练的基础上，进行一个微调（Fine-tuning）阶段，此时引入外在奖励，让智能体利用已学到的技能快速适应特定任务 。这种结合策略既能保证充分的探索，又能确保最终策略能够有效地完成指定任务，是当前强化学习研究中的一个重要方向。
1.3 内在奖励的理论分析
1.3.1 内在奖励作为探索的驱动力
内在奖励（Intrinsic Reward）是无监督强化学习的核心机制，它扮演着“探索引擎”的角色，为智能体在缺乏外部指导的环境中提供持续的学习动力。与直接反映任务目标的外在奖励不同，内在奖励是基于智能体自身的状态、知识和行为来计算的，其根本目的是激励智能体进行有效的探索 。在强化学习中，探索（Exploration）与利用（Exploitation）的权衡是一个永恒的难题。智能体必须在尝试已知的最优动作以获取即时回报（利用）和尝试未知动作以发现更优的长期策略（探索）之间做出选择 。在奖励稀疏或环境复杂的情况下，纯粹的随机探索效率低下，而基于贪婪策略的探索又容易陷入局部最优。内在奖励通过为探索行为提供即时的、密集的反馈，巧妙地解决了这一困境。
内在奖励的设计多种多样，但其共同点是奖励那些能够增加智能体对环境的理解、扩展其能力范围或使其行为更加多样化的动作。例如，基于新奇性的内在奖励会奖励智能体访问那些它很少见到的状态，从而鼓励它全面地探索状态空间 。基于好奇心的内在奖励（通常通过预测误差实现）会奖励那些出乎智能体意料之外的状态转移，从而激励它去学习和理解环境的动态规律 。基于能力的内在奖励（如互信息最大化）则奖励智能体学习那些能够产生可区分、可预测结果的多样化技能 。这些内在奖励信号为智能体的学习过程提供了一个独立于任务目标的优化方向，使其能够系统性地、有目的地探索环境，而不是盲目地随机游走。通过这种方式，内在奖励不仅加速了学习过程，更重要的是，它帮助智能体构建了一个关于环境的通用知识库或技能库，为后续的快速适应和泛化奠定了坚实的基础。
1.3.2 基于知识的内在奖励（Knowledge-based）：鼓励获取环境新知识
基于知识的内在奖励（Knowledge-based Intrinsic Rewards）是一类重要的内在动机，其核心思想是奖励智能体获取关于环境的新知识。这类方法通常通过构建一个环境模型（如动态模型或状态密度模型）来实现，并将智能体在探索过程中对该模型的改进程度作为内在奖励。一个典型的例子是基于预测误差的内在奖励，如内在好奇心模块（Intrinsic Curiosity Module, ICM）。ICM包含两个核心部分：一个前向动态模型（Forward Dynamics Model）和一个逆动态模型（Inverse Dynamics Model）。逆动态模型用于学习一个状态表征，该表征能够捕捉到与动作选择相关的信息，同时忽略与动态无关的噪声。前向动态模型则尝试根据当前状态和动作来预测下一个状态的表征。预测误差，即预测表征与真实表征之间的差异，被用作内在奖励。这个误差越大，说明当前的状态转移对智能体来说是越“出乎意料”的，即包含了越多的新信息。因此，最大化这种内在奖励就等价于激励智能体去探索那些它尚不能准确预测的环境区域，从而主动学习和完善其对环境动态的认知。
另一种基于知识的内在奖励是基于信息增益（Information Gain）的。信息增益衡量的是智能体在观察到新的数据后，其信念状态（Belief State）不确定性的减少程度。例如，VIME（Variational Information Maximizing Exploration）算法通过维护一个贝叶斯神经网络作为环境动态模型，并将模型参数的信息增益作为内在奖励 。智能体被激励去采取那些能够最大程度地减少其关于环境模型不确定性的动作。这种方法比简单的预测误差更为鲁棒，因为它不仅考虑了预测的准确性，还考虑了模型本身的不确定性。通过最大化信息增益，智能体能够系统性地、高效地探索环境，优先选择那些信息量最大的区域进行探索，从而以最少的交互次数获得最全面的环境知识。这类基于知识的内在奖励方法，其本质是将探索过程视为一个主动学习（Active Learning）问题，智能体通过其探索策略来优化自身的学习过程，从而高效地构建一个准确的环境模型。
1.3.3 基于能力的内在奖励（Competence-based）：鼓励学习多样化技能
基于能力的内在奖励（Competence-based Intrinsic Rewards）是另一类重要的内在动机，其核心目标是激励智能体学习和掌握一组多样化且可复用的技能（Skills）。与基于知识的奖励侧重于理解环境动态不同，基于能力的奖励更侧重于智能体自身行为能力的扩展和多样化。这类方法通常假设智能体的策略由一个潜在变量（Latent Variable）或“技能变量” $z$ 来参数化，即策略表示为 $\pi(a|s, z)$。不同的 $z$ 值对应着不同的行为模式或技能。基于能力的内在奖励旨在鼓励智能体发现一组能够产生尽可能多样化且可预测结果的技能 $z$。
实现这一目标最常用的信息论工具是最大化互信息（Mutual Information Maximization）。具体来说，目标是最大化技能变量 $z$ 和由该技能产生的结果（通常是状态或状态序列）之间的互信息 $I(Z; S. $ 或 $I(Z; \tau)$ 。最大化这个互信息意味着，智能体需要学习一组技能，使得每个技能都能将环境驱动到一个独特的、可识别的状态区域，同时，通过观察智能体达到的状态，能够准确地反推出它所使用的技能。这确保了每个技能都是“有意义”和“可区分”的。一个经典的算法是DIAYN（Diversity is All You Need），它通过最大化 $I(S; Z)$ 来鼓励技能多样性，同时通过最大化策略的熵 $H(A|S)$ 来鼓励每个技能内部的探索性 。另一个例子是DADS（Dynamics-Aware Unsupervised Skill Discovery），它通过最大化 $I(S’; Z|S)$ 来发现那些能够产生可预测动态的技能，即给定当前状态和技能，下一个状态是高度确定的 。✅
通过最大化基于能力的内在奖励，智能体能够在一个无奖励的环境中，自主地构建一个丰富的技能库。这些技能可以被视为对环境进行有效控制的“基本操作单元”。当面临一个新的下游任务时，智能体不再需要从零开始学习，而是可以在这个技能库中进行搜索、组合或微调，从而快速构建出解决新任务的策略。例如，一个机器人可能通过DADS学会了“向前走”、“向后跳”、“原地转圈”等多种技能。当需要执行“绕过障碍物”的任务时，它就可以将这些基本技能进行组合，形成复杂的导航策略。这种基于能力的探索方法，不仅解决了探索问题，更重要的是为分层强化学习（Hierarchical RL）和快速适应提供了基础，是实现通用智能的关键技术之一。
2. 算法技术：实现新奇性探索的主流方法
2.1 基于状态计数的方法（Count-based Methods）
2.1.1 基本原理：访问频率越低，奖励越高
基于状态计数的方法（Count-based Methods）是实现新奇性探索最直观、最经典的一类算法。其核心思想源于一个简单的直觉：一个状态被访问的次数越少，它对于智能体来说就越“新奇”，因此探索该状态就应该获得更高的奖励。这种方法将内在奖励直接与状态的访问频率挂钩，形式化地，一个状态 $s$ 的内在奖励 $r_{int}(s)$ 可以定义为该状态被访问次数 $N(s)$ 的某种单调递减函数，例如 $r_{int}(s) = \frac{1}{\sqrt{N(s)}}$ 或 $r_{int}(s) = \frac{1}{N(s)}$。通过这种方式，智能体被激励着去优先探索那些尚未被充分探索的区域，从而系统性地覆盖整个状态空间。
这种方法的理论基础可以追溯到强化学习中的“乐观面对不确定性”（Optimism in the Face of Uncertainty）原则。该原则认为，对于那些我们知之甚少的状态-动作对，我们应该假设它们可能具有很高的价值，从而给予它们更高的探索优先级。基于计数的内在奖励正是这一原则的体现。一个被访问次数少的状态，意味着智能体对其价值的估计具有高度的不确定性，因此给予它一个较高的内在奖励，鼓励智能体去访问它，从而减小这种不确定性。随着智能体对该状态的反复访问，其访问次数 $N(s)$ 增加，内在奖励随之减小，智能体便会自然地转向探索其他更新奇的状态。这种机制确保了探索的广度和效率，避免了智能体在已知的高价值区域停滞不前。然而，这种方法的一个主要挑战在于如何在高维或连续的状态空间中有效地统计访问次数，因为在这种空间中，完全相同的状态几乎不可能被再次访问。
2.1.2 代表性算法：State Count
在基于状态计数的方法中，一个直接的代表性实现是“伪计数”（Pseudo-count）方法，如Bellemare等人在2016年提出的算法 。该方法旨在将计数思想推广到高维状态空间。其核心思想是，不再直接对原始状态进行计数，而是首先通过一个密度模型（Density Model） $\rho_\theta(s)$ 来估计状态的密度，然后从这个密度模型中导出一个“伪计数” $\hat{N}(s)$。这个密度模型可以是一个神经网络，它被训练来最大化观测到状态的似然。当一个新的状态 $s$ 被观测到时，模型参数 $\theta$ 会更新为 $\theta’$。伪计数 $\hat{N}(s)$ 被定义为模型在看到该状态后，其对该状态概率估计的相对增加量。具体来说，$\hat{N}(s) = \frac{\rho_{\theta’}(s)(1 – \rho_\theta(s))}{\rho_\theta(s) – \rho_{\theta’}(s)}$。这个公式巧妙地模拟了真实计数的行为：当一个新状态首次被看到时，$\rho_\theta(s)$ 很小，导致 $\hat{N}(s)$ 很大；随着该状态被反复看到，$\rho_\theta(s)$ 趋近于1，$\hat{N}(s)$ 也随之减小。
基于这个伪计数，内在奖励可以被定义为 $r_{int}(s) = \frac{1}{\sqrt{\hat{N}(s)}}$。这种方法的优势在于，它将离散的计数问题转化为了一个连续的密度估计问题，从而可以应用于高维状态空间。密度模型（如变分自编码器VAE或PixelCNN）能够学习到状态的紧凑表征，使得在表征空间中进行“计数”成为可能。然而，这种方法的性能高度依赖于密度模型的质量。如果模型无法准确地捕捉状态分布，那么导出的伪计数也将是不准确的，从而影响探索的效果。此外，训练和维护一个复杂的密度模型也会带来额外的计算开销。尽管如此，伪计数方法及其变体仍然是连接传统计数思想和现代深度强化学习的重要桥梁，为解决高维探索问题提供了一个有效的思路。
2.1.3 挑战与改进：在高维状态空间中的应用与局限性
尽管基于状态计数的方法在理论上很直观，并且在低维离散环境中表现良好，但将其直接应用于高维或连续状态空间（如图像输入）时，会面临严峻的挑战。最根本的问题是“维度灾难”（Curse of Dimensionality）。在高维空间中，状态空间的大小是指数级增长的，精确地统计每个状态的访问次数变得完全不现实。此外，高维观测（如RGB图像）中往往包含大量与任务无关的噪声信息（如背景、光照变化等），这些信息的变化会导致状态计数器频繁更新，从而稀释了真正有意义的新奇性信号。例如，在一个背景动态变化的游戏中，即使智能体的位置和动作没有改变，背景的微小变化也会被视为一个全新的状态，导致计数器失效。
为了应对这些挑战，研究者们提出了多种改进方案。一个重要的方向是结合表示学习（Representation Learning）。与其在原始的、高维的像素空间中进行计数，不如先学习一个低维的、紧凑的状态表征（State Representation），然后在这个表征空间中进行计数。例如，可以使用一个自编码器（Autoencoder）或对比学习方法（如CURL）来学习一个能够捕捉环境核心动态的潜在状态空间。在这个潜在空间中，相似的状态会被映射到相近的点，而与任务无关的噪声信息则被过滤掉。然后，可以在这个更具语义信息的潜在空间中应用基于计数的探索方法。这种方法能够显著提高探索的效率和鲁棒性。一项实证研究表明，在低维观测环境中，State Count 方法表现最佳；但在高维RGB观测环境中，其性能会严重下降，而基于表示学习的方法（如Maximum Entropy）则表现出更强的鲁棒性 。
2.2 基于预测误差的方法（Prediction-based Methods）
2.2.1 基本原理：利用模型预测误差作为内在奖励
基于预测误差的方法（Prediction-based Methods）是新奇性探索中另一类重要的算法，其核心思想是利用智能体对环境动态的预测能力来生成内在奖励。该方法的基本原理是：智能体应该对那些它无法准确预测的状态转移感到“好奇”，因为这些不可预测的事件意味着环境中存在智能体尚未学习到的规律或知识。因此，可以将智能体内部世界模型的预测误差（Prediction Error）作为内在奖励，激励智能体去探索那些能够产生较大预测误差的区域。这种机制将探索过程与模型学习过程紧密地耦合在一起：智能体通过探索来收集数据，利用数据来训练其预测模型，而模型的预测误差又反过来指导智能体进行更有效的探索。
具体来说，这类方法通常包含两个核心组件：一个前向动力学模型（Forward Dynamics Model）和一个内在奖励函数。前向动力学模型，通常由一个神经网络表示，其输入是当前状态$s_t$和动作$a_t$，输出是对下一个状态$\hat{s}{t+1}$的预测。在每个时间步，智能体执行动作$a_t$，观察到真实的下一个状态$s{t+1}$，然后计算预测状态与真实状态之间的差异，即预测误差。这个误差，通常使用均方误差（Mean Squared Error）来衡量，就被用作内在奖励$r_{int} = ||s_{t+1} – \hat{s}_{t+1}||^2$。这个奖励信号鼓励智能体去寻找那些“出人意料”的状态转移，从而驱动它去探索环境的未知部分。随着智能体对某个区域越来越熟悉，其预测模型在该区域的准确性会提高，预测误差会减小，内在奖励也随之降低，智能体便会自然地转向探索其他更具挑战性的未知区域。
2.2.2 代表性算法：内在好奇心模块（Intrinsic Curiosity Module, ICM）
内在好奇心模块（Intrinsic Curiosity Module, ICM）是基于预测误差方法的一个里程碑式的工作，它巧妙地将自监督学习与强化学习相结合 。ICM主要由两个核心组件构成：逆向模型（Inverse Model） 和前向模型（Forward Model） 。逆向模型的任务是根据两个连续的状态 (s_t, s_{t+1}) 来预测它们之间的动作 a_t。这个模型的训练是自监督的，因为它使用的是智能体自身与环境交互产生的数据。前向模型的任务则是根据当前状态 s_t 和动作 a_t 来预测下一个状态 s_{t+1}。ICM的内在奖励被定义为前向模型的预测误差，即 r_intrinsic = ||s_{t+1} - f(s_t, a_t)||^2，其中 f 是前向模型。这个误差越大，说明智能体对当前状态转移的预测越不准确，因此获得的内在奖励也越高。
ICM的一个关键设计是其特征提取器，它学习一个状态的特征表示 φ(s)，这个表示被设计为能够过滤掉那些与智能体行为无关的环境噪声（例如，背景中飘动的树叶），从而使内在奖励能够更专注于那些由智能体自身行为引起的、有意义的状态变化。具体来说，ICM通过训练逆动力学模型来学习这个特征表示 φ(s)，该模型试图从两个连续的状态表征 φ(s_t) 和 φ(s_{t+1}) 中预测出动作 a_t。通过这种方式，特征提取器被激励去学习那些对于预测动作至关重要的信息，而忽略与智能体行为无关的环境变化。最终，ICM的内在奖励被定义为在特征空间中的预测误差：r^I_t = \frac{\eta}{2} | \phi(s_{t+1}) - \hat{\phi}(s_{t+1}) |^2。这种设计使得ICM能够更鲁棒地衡量环境动态的新奇性，而不是对像素级的微小变化过度敏感。ICM在多个高维视觉控制任务中取得了显著的成功，证明了其作为一种有效的无监督探索机制的强大能力。
2.2.3 优势与局限：适用于高维观测，但可能受环境随机性影响
基于预测误差的方法，特别是ICM，其主要优势在于能够很好地处理高维观测空间，如原始像素图像。通过学习一个紧凑的状态表示，这些方法能够将复杂的感官输入转化为有意义的特征，从而有效地计算内在奖励。这使得它们在视觉强化学习任务中表现出色，例如在Atari游戏或机器人控制中 。此外，这类方法具有很强的通用性，可以很容易地与任何标准的强化学习算法（如A3C, PPO）相结合，作为其探索策略的一部分。
然而，这类方法也存在一个显著的局限性，即它们对环境的随机性（Stochasticity）非常敏感。如果环境中存在智能体无法控制的随机事件（例如，一个随机移动的物体），那么前向模型的预测误差将会持续保持在一个较高的水平，即使智能体已经完全理解了环境的动态。这会导致智能体被“吸引”到这些充满噪声的区域，因为它会持续地从这些不可预测的随机事件中获得高额的内在奖励，从而偏离了有意义的探索方向。这种现象被称为 “噪声电视”问题（Noisy TV Problem） ，即智能体可能会像一个被闪烁的电视屏幕吸引的婴儿一样，沉迷于环境中的随机噪声，而忽略了真正需要学习的任务。为了解决这个问题，研究者们提出了一些改进方案，例如通过训练一个更鲁棒的特征提取器来过滤掉环境噪声，或者设计更复杂的内在奖励函数来区分有意义的预测误差和由随机性引起的误差。
2.3 基于互信息最大化的方法（Mutual Information-based Methods）
2.3.1 基本原理：最大化状态、动作或技能间的互信息
基于互信息最大化（Mutual Information Maximization）的方法是无监督强化学习中一类强大的技能发现（Skill Discovery）技术。其核心思想是通过最大化一个潜在变量（通常代表一个“技能”或“意图”）与智能体产生的行为或访问的状态之间的互信息，来学习一组多样化的、可区分的技能。互信息 I(X; Y) 衡量的是知道一个随机变量 Y 的值后，另一个随机变量 X 的不确定性减少了多少。在技能发现的背景下，我们通常希望最大化 I(Z; S) 或 I(Z; A|S)，其中 Z 是代表技能的潜在变量，S 是智能体访问的状态，A 是智能体执行的动作。最大化 I(Z; S) 意味着我们希望每个技能 z 都能引导智能体访问一组独特的、与其他技能区分开的状态。同样，最大化 I(Z; A|S) 则意味着我们希望每个技能 z 都对应一个独特的、依赖于状态的策略。通过这种方式，智能体被激励去学习那些能够产生可区分行为模式的技能，从而实现技能的多样化。这种方法的优雅之处在于，它将技能发现问题转化为一个信息论的优化问题，可以利用变分推断等强大的数学工具来求解。
2.3.2 代表性算法：DIAYN（Diversity is All You Need）与DADS（Dynamics-Aware Unsupervised Skill Discovery）
DIAYN（Diversity is All You Need）是基于互信息最大化的技能发现算法中的一个杰出代表 。DIAYN的目标是最大化潜在技能变量 z 与智能体访问的状态 s 之间的互信息 I(Z; S)。为了实现这一点，DIAYN引入了一个判别器 q(z|s)，其目标是根据智能体当前的状态 s 来推断出它正在执行的技能 z。同时，智能体的策略 π(a|s, z) 则被训练成能够“欺骗”这个判别器，即让判别器难以从状态中推断出技能。这形成了一个类似于生成对抗网络（GAN）的对抗性训练过程。通过这种方式，智能体被激励去学习那些能够产生截然不同状态轨迹的技能，因为如果所有技能都导致相似的状态分布，判别器将很容易区分它们。最终，DIAYN能够学习到一组在无监督情况下发现的、具有高度多样性的技能，这些技能可以作为下游任务的有效基元。
DADS（Dynamics-Aware Unsupervised Skill Discovery）是DIAYN的一个扩展，它不仅考虑了技能的多样性，还显式地考虑了环境的动力学 。DADS的目标是最大化 I(Z; S')，其中 S' 是下一个状态。此外，DADS还学习一个技能-条件动力学模型 p(s'|s, a, z)，这个模型能够预测在给定技能 z 的情况下，执行动作 a 会导致怎样的状态转移。通过学习这个动力学模型，DADS能够发现那些不仅产生多样化状态，而且其动态是可预测和可控的技能。这使得DADS发现的技能在用于规划（Planning）时更加有效，因为智能体可以利用学到的动力学模型来“想象”不同技能在未来可能产生的结果，从而进行零样本（Zero-shot）规划。
2.3.3 应用：技能发现与零样本规划
基于互信息最大化的方法在技能发现和零样本规划方面展现出了巨大的潜力。在技能发现方面，这些方法能够在没有任何任务特定奖励的情况下，自主地学习到一组丰富多样的行为。例如，在一个模拟的机器人环境中，DIAYN或DADS可能会发现行走、奔跑、跳跃、转弯等多种基本运动技能。这些技能以一种解耦的方式被学习到，每个技能都由一个独立的潜在变量 z 控制。这种无监督的技能发现过程为构建通用机器人智能体奠定了基础，因为它避免了为每个新任务都从头开始设计奖励函数的繁琐过程。在零样本规划方面，像DADS这样显式学习技能-条件动力学模型的算法尤其强大。一旦学习到了技能库和相应的动力学模型，智能体就可以在面对一个新的目标状态时，通过规划算法（如模型预测控制，MPC）来选择和组合合适的技能，以到达目标，而无需任何额外的训练。例如，如果目标是到达一个远处的平台，智能体可以规划出一个“奔跑”技能接一个“跳跃”技能的序列，而无需为“跳到平台上”这个特定任务进行学习。这种能力极大地提升了智能体在新环境中的适应性和泛化能力。
2.4 基于随机网络的方法（Random Network-based Methods）
2.4.1 基本原理：利用随机网络的预测误差作为内在奖励
基于随机网络的方法（Random Network-based Methods）是一类巧妙且计算高效的内在动机探索技术。其核心思想是利用一个固定不变的随机初始化神经网络（Random Network）来生成一个“目标”信号，然后训练另一个可训练的神经网络来预测这个信号，并将预测误差作为内在奖励。与基于预测误差的方法（如ICM）不同，这里的“目标”并非来自环境的未来状态，而是由一个完全随机且永不更新的网络产生的。其背后的直觉是，对于一个固定的随机网络，其输出在状态空间中通常是复杂且不规则的。当智能体访问一个新的、未见过的状态时，可训练网络对这个随机输出的预测误差通常会比较大；而当智能体反复访问相似的状态时，可训练网络会逐渐学会预测这些状态的随机输出，从而导致预测误差减小。因此，通过最大化这个预测误差，智能体就被激励去探索那些它尚未充分学习的、新奇的状态。
2.4.2 代表性算法：随机网络蒸馏（Random Network Distillation, RND）
随机网络蒸馏（Random Network Distillation, RND）是基于随机网络方法的代表性算法。RND 算法的实现非常简洁。它包含两个关键部分：
- 目标网络 (Target Network) ：这是一个随机初始化且之后参数被冻结的神经网络。它接收状态
s作为输入，并输出一个固定的随机特征向量f_target(s)。 - 预测网络 (Predictor Network) ：这是一个与目标网络结构相同但需要被训练的神经网络。它也接收状态
s作为输入，并输出一个预测的特征向量f_predict(s)。
RND 的内在奖励 r_intrinsic(s) 被定义为两个网络输出之间的均方误差（MSE）：r_intrinsic(s) = ||f_target(s) - f_predict(s)||^2
在训练过程中，智能体的策略被优化以最大化包含内在奖励的总奖励。同时，预测网络的参数通过梯度下降被优化，以最小化其在智能体所经历的状态上的预测误差。这种“蒸馏”过程使得预测网络能够逐渐“学会”那些常见状态的随机特征表示，从而降低在这些状态上的内在奖励。而对于新奇状态，由于它们很少或从未被访问过，预测网络无法很好地预测其特征，因此会产生较高的内在奖励，引导智能体去探索它们 。
2.4.3 优势：实现简单，计算高效
RND 的主要优势在于其实现简单和计算高效。与需要训练复杂的前向动力学模型（如ICM）或密度模型（如一些基于计数的方法）的算法相比，RND 只需要两个简单的神经网络，并且其中一个网络的参数是固定的。这大大简化了算法的实现和调优过程。此外，RND 的计算开销相对较小，因为它避免了复杂的模型训练和推理过程。另一个重要的优势是，RND 对环境的随机性具有一定的鲁棒性。由于它并非直接预测环境的下一个状态，而是预测一个固定的随机特征，因此环境中的随机变化（如背景物体的随机移动）不一定会导致内在奖励的持续高涨。这使得 RND 在处理具有部分可观测性或随机动态的环境时，比基于预测误差的方法（如ICM）表现更稳定。
2.5 其他探索方法
2.5.1 基于状态熵最大化的方法：RE3（Random Encoders for Efficient Exploration）
RE3（Random Encoders for Efficient Exploration）是一种直接最大化状态熵的探索方法。其核心思想是，一个好的探索策略应该使得智能体访问的状态分布尽可能均匀，即最大化状态分布的熵。RE3 通过一种高效的方式来估计状态熵，从而将其作为内在奖励。具体来说，RE3 使用一个固定的、随机初始化的编码器（例如，一个卷积神经网络）将高维的状态（如图像）映射到一个低维的特征向量。然后，它通过计算当前状态特征与经验回放缓冲区中一批先前访问过的状态特征之间的k-最近邻（k-NN）距离来估计该状态的新奇性。距离越大，说明该状态越“孤立”，即越新颖。这个距离度量被用作内在奖励，激励智能体去探索那些能够最大化状态分布熵的区域。RE3 的优势在于其计算高效，因为它避免了训练复杂的模型，并且其随机编码器对环境的微小变化具有一定的鲁棒性。
2.5.2 基于对比学习的方法：CURL（Contrastive Unsupervised Representation Learning）
CURL（Contrastive Unsupervised Representation Learning）是一种将对比学习（Contrastive Learning）与强化学习相结合的方法，旨在同时学习一个强大的状态表示和一个有效的探索策略。对比学习的核心思想是，通过拉近“正样本对”（相似的数据点）在特征空间中的距离，并推远“负样本对”（不相似的数据点）的距离，来学习一个有意义的数据表示。在强化学习中，CURL 将同一状态的两个不同数据增强（例如，对图像进行裁剪、颜色抖动）视图作为正样本对，而将不同状态的视图作为负样本对。通过优化一个对比损失函数（如InfoNCE损失），CURL 能够学习到一个对视角和外观变化不敏感的状态表示。这个学习到的表示不仅可以直接用于下游任务，还可以作为其他探索方法（如基于计数或预测误差的方法）的输入，从而提高它们的性能和鲁棒性。CURL 展示了自监督学习在提升强化学习样本效率和表示能力方面的巨大潜力。
2.5.3 进化算法中的新奇性搜索（Novelty Search in Evolutionary Algorithms）
新奇性搜索（Novelty Search）的概念最早并非源于强化学习，而是源于进化计算（Evolutionary Computation）领域。在进化算法中，新奇性搜索被用作一种替代传统适应度函数（Fitness Function）的优化策略。传统的进化算法通过选择适应度最高的个体进行繁殖，这容易导致种群过早地收敛到局部最优。新奇性搜索则通过维护一个“新奇性档案”，并奖励那些与档案中已有行为差异最大的个体，来鼓励种群的多样性。这种方法在解决那些具有欺骗性或多模态的优化问题时表现出强大的能力。近年来，新奇性搜索的思想被引入到强化学习中，并与神经网络相结合，形成了如NEAT（NeuroEvolution of Augmenting Topologies）等算法，用于发现新颖和复杂的神经网络控制器。
2.6 算法比较与选择
2.6.1 不同算法在低维与高维观测下的性能对比
不同的无监督探索算法在低维和高维观测环境下的表现存在显著差异。在低维、离散的状态空间中，基于状态计数的方法（如State Count） 通常表现最佳。因为在这种环境下，精确地统计访问次数是可行的，并且能够提供非常直接和有效的探索信号。然而，当观测变为高维（如RGB图像）时，基于计数的方法性能会急剧下降，因为“维度灾难”使得计数变得不切实际。
在高维观测环境中，基于预测误差的方法（如ICM） 和基于随机网络的方法（如RND） 通常表现更优。ICM通过学习一个紧凑的特征表示，能够有效地处理高维输入，但其对环境的随机性敏感。RND则以其简单、高效和对随机性的鲁棒性而著称，在许多高维任务中取得了优异的性能。基于互信息最大化的方法（如DIAYN, DADS） 则更侧重于技能发现，它们能够学习到结构化的、可复用的行为，这对于解决复杂的下游任务非常有帮助，但其本身可能不是最高效的探索策略。基于状态熵的方法（如RE3） 和基于对比学习的方法（如CURL） 也展现出在高维环境中的强大潜力，它们通过学习鲁棒的状态表示来驱动探索。
| 算法类别 | 低维观测 | 高维观测 | 对随机性鲁棒性 | 计算复杂度 | 主要目标 |
|---|---|---|---|---|---|
| 基于状态计数 | 优秀 | 差 | 中等 | 低 | 状态覆盖 |
| 基于预测误差 (ICM) | 良好 | 良好 | 差 | 中等 | 学习动态 |
| 基于随机网络 (RND) | 良好 | 优秀 | 优秀 | 低 | 状态新奇性 |
| 基于互信息 (DIAYN) | 良好 | 良好 | 良好 | 高 | 技能发现 |
| 基于状态熵 (RE3) | 良好 | 良好 | 良好 | 低 | 状态覆盖 |
| 基于对比学习 (CURL) | 良好 | 良好 | 良好 | 中等 | 表示学习 |
Table 1: 主流无监督探索算法特性对比
2.6.2 算法选择的考量因素：环境特性、计算成本与目标任务
选择合适的无监督探索算法需要综合考虑多个因素。首先，环境的特性至关重要。如果环境是确定性的，且状态空间相对简单，基于计数或预测误差的方法可能就足够了。如果环境具有高度的随机性或部分可观测性，那么RND或基于信息增益的方法可能更为合适。如果环境的动态非常复杂，需要学习结构化的行为，那么基于互信息最大化的方法将是更好的选择。
其次，计算成本也是一个重要的考量因素。RND和RE3等算法实现简单，计算开销小，易于部署。而ICM、DIAYN等方法需要训练额外的模型（如动力学模型、判别器），计算成本更高。在资源受限的场景下，应优先考虑计算效率更高的算法。
最后，最终的目标任务也决定了算法的选择。如果目标是纯粹的探索，即尽可能全面地覆盖状态空间，那么基于计数或状态熵的方法可能是最直接的。如果目标是学习一个可复用的技能库，以便快速适应下游任务，那么基于互信息最大化的方法（如DIAYN, DADS）将是首选。如果目标是解决一个特定的稀疏奖励任务，那么可以将内在奖励与外在奖励相结合，此时ICM或RND等能够提供密集内在奖励的算法通常是有效的。
3. 实施挑战与解决方案
3.1 内在奖励大小的控制与归一化
3.1.1 内在奖励与外在奖励的平衡
在无监督强化学习中，一个核心的实践挑战是如何有效地平衡内在奖励和外在奖励。内在奖励的目的是驱动探索，而外在奖励的目的是引导智能体完成特定任务。如果内在奖励的权重过高，智能体可能会陷入无休止的探索，完全忽略任务目标，即所谓的“纯粹探索问题”。反之，如果内在奖励的权重过低，尤其是在稀疏奖励环境中，它可能无法提供足够的探索信号，导致学习过程依然低效。
为了解决这个问题，研究者们提出了多种策略。一种常见的方法是动态调整内在奖励的权重。例如，可以设计一个随时间衰减的权重系数 $\beta(t)$，使得在训练初期，内在奖励占主导地位，鼓励广泛的探索；随着训练的进行，$\beta(t)$ 逐渐减小，让智能体更多地关注于优化外在奖励。另一种方法是基于不确定性或新奇性来调整权重。例如，当智能体进入一个全新的、高度不确定的区域时，可以临时增加内在奖励的权重，以鼓励其深入探索。一旦该区域被充分探索，权重则恢复正常。此外，一些方法尝试自适应地学习这个平衡。例如，通过元学习（Meta-learning）的方式，让智能体自己学习如何根据不同的情况调整内在和外在奖励的权重，以实现最优的探索-利用权衡。
3.1.2 奖励归一化技术
由于内在奖励和外在奖励的量纲和取值范围可能差异巨大，直接相加可能会导致其中一个信号主导整个学习过程。因此，对奖励进行归一化（Normalization）是至关重要的。一种简单的归一化方法是批量归一化（Batch Normalization） ，即在每个训练批次中，将内在奖励和外在奖励分别减去其均值并除以其标准差。这可以确保两个奖励信号在相似的尺度上，从而更容易进行加权组合。
另一种更鲁棒的方法是运行均值归一化（Running Mean Normalization） ，即维护一个内在奖励和外在奖励的运行均值和标准差，并用它们来进行归一化。这种方法可以平滑掉奖励信号中的瞬时波动，使得归一化更加稳定。此外，还可以使用自适应归一化技术，例如 Pop-Art 归一化，它能够自适应地调整归一化参数，以适应奖励尺度可能发生剧烈变化的环境。无论采用何种方法，奖励归一化都是确保内在奖励和外在奖励能够有效协同工作的关键技术，对于稳定训练过程和提升最终性能具有重要作用。
3.2 稀疏奖励环境下的应用
3.2.1 完全依赖内在奖励进行学习
在某些极端稀疏奖励的环境中，智能体可能在很长一段时间内都接收不到任何外在奖励。在这种情况下，智能体的学习过程几乎完全依赖于内在奖励。这种“无奖励强化学习”或“纯粹好奇心驱动学习”的目标是，让智能体通过自主探索，学习到关于环境的通用知识和技能，这些知识和技能可以在后续的任务中被利用。
在这种模式下，算法的选择和设计变得尤为关键。例如，基于预测误差的方法（如ICM）和基于随机网络的方法（如RND）能够为智能体提供持续的探索信号，使其即使在没有任何外部反馈的情况下也能不断学习和进步。研究表明，仅通过好奇心驱动的智能体，在一些Atari游戏（如《Breakout》）中甚至能够学会有效的策略，并达到超越人类玩家的水平。这是因为在探索过程中，为了获得更多的新奇性奖励，智能体可能会“偶然”发现一些能够获得游戏分数的行为，并将其作为副产品保留下来。这种学习方式展示了内在动机的强大潜力，它能够让智能体在没有明确目标的情况下，自主地发现和掌握有用的行为。
3.2.2 结合探索与利用的策略
在大多数稀疏奖励任务中，更实用的策略是将内在奖励驱动的探索与外在奖励驱动的利用相结合。这种结合旨在利用内在奖励来“预热”探索过程，帮助智能体快速找到通往奖励区域的路径，然后利用外在奖励来精细地优化策略。
一种常见的策略是分阶段训练。在第一阶段，智能体仅使用内在奖励进行预训练，目标是广泛地探索环境，学习通用技能或构建环境模型。在第二阶段，当智能体对环境有了基本的了解后，引入外在奖励，并利用在预训练阶段获得的知识来加速下游任务的学习。另一种策略是混合奖励训练，即在训练过程中始终将内在奖励和外在奖励结合起来。通过精心设计两者的权重，可以在探索和利用之间实现动态平衡。例如，可以使用一个基于不确定性的权重，当智能体处于未知区域时，内在奖励的权重较高；当智能体进入已知的高奖励区域时，外在奖励的权重较高。这种结合策略能够充分利用两种奖励信号的优势，是解决稀疏奖励问题的有效途径。
3.3 算法的可扩展性与稳定性
3.3.1 在多智能体系统中的应用挑战
将无监督强化学习扩展到多智能体系统（Multi-Agent Systems）中面临着独特的挑战。在一个多智能体环境中，每个智能体不仅要探索物理环境，还要探索与其他智能体的交互策略。这使得探索空间变得异常庞大和复杂。
一个主要的挑战是非平稳性（Non-stationarity） 。在多智能体学习中，一个智能体的策略变化会影响其他智能体的学习环境，导致每个智能体面临的环境都是动态变化的。这使得基于模型的内在奖励（如预测误差）变得不可靠，因为环境模型会不断地被其他智能体的行为所改变。另一个挑战是协调与协作。如何让多个智能体通过无监督学习，自发地涌现出协作行为，而不是相互干扰或陷入对抗，是一个开放的研究问题。一些初步的研究方向包括：共享内在奖励，即所有智能体共享同一个内在奖励信号，以鼓励它们共同探索；社会好奇心，即智能体的内在奖励不仅来自于对环境的新奇性，还来自于对其他智能体行为的新奇性；以及基于种群的训练，即通过进化算法来优化一个智能体种群，鼓励多样性和协作行为的出现。
3.3.2 算法的收敛性与鲁棒性分析
无监督强化学习算法的收敛性和鲁棒性是其能否在实际应用中成功的关键。由于内在奖励的定义是启发式的，并且学习过程是自导向的，因此分析其理论上的收敛性非常困难。目前，大多数无监督强化学习算法的收敛性保证都是经验性的，缺乏严格的理论证明。
在鲁棒性方面，不同的算法表现出不同的特性。例如，基于预测误差的方法对环境的随机性敏感，而RND则相对鲁棒。基于互信息最大化的方法对学习到的技能表示的质量非常敏感，如果表示学习失败，整个算法可能会失效。此外，内在奖励函数的设计也对算法的鲁棒性有重要影响。一个设计不佳的内在奖励函数可能会导致智能体学习到无意义甚至有害的行为。因此，未来的研究需要在理论分析、算法设计和内在奖励函数的规范化方面做出更多努力，以提高无监督强化学习算法的收敛性和鲁棒性，使其能够更可靠地应用于复杂的真实世界任务。
4. 应用场景与案例分析
4.1 机器人导航与技能学习
4.1.1 无监督技能发现：off-DADS算法在四足机器人上的应用
由Google Research团队提出的off-DADS（off-policy Dynamics-Aware Discovery of Skills） 算法，是无监督强化学习在真实世界机器人技能发现中的一个里程碑式应用 。该研究的核心目标是解决传统强化学习算法在真实机器人应用中面临的两大核心挑战：一是对精心设计的奖励函数的依赖，二是极高的样本复杂度 。在许多机器人任务中，定义一个能够准确引导智能体学习到期望行为的奖励函数非常困难，甚至不切实际。同时，在真实物理硬件上进行数百万次的试错学习不仅耗时巨大，还可能对机器人本身造成损害。off-DADS算法通过引入一种高效的、无策略（off-policy）的、基于互信息的无奖励强化学习方法，成功地绕过了这些障碍 。
off-DADS算法建立在DADS（Dynamics-Aware Discovery of Skills） 框架之上，其核心思想是通过最大化一个信息论目标函数来学习多样化的技能 。具体来说，算法旨在最大化当前技能（skill）与下一个状态（next state）之间的互信息，即 I(s'; z | s) 。这个目标函数鼓励智能体学习到那些能够产生可预测且多样化状态转移的技能。一个技能如果能让环境产生独特且可预测的变化，那么它就能被很好地识别和区分，从而获得较高的内在奖励。通过这种方式，智能体在没有外部奖励信号的情况下，被驱动去探索和掌握能够与环境进行有意义交互的各种行为模式。off-DADS的关键创新在于其无策略（off-policy）的学习方式，它允许智能体从过去收集的大量数据中学习，而不仅仅是依赖于当前策略生成的数据，这极大地提升了样本效率，使得在真实世界机器人上进行无奖励训练成为可能 。
在实验中，研究团队将off-DADS算法应用于一个名为D’Kitty的低成本四足机器人上 。在没有任何外部奖励或人类演示的情况下，D’Kitty通过自主探索，成功地涌现出了多种具有不同步态（如行走、奔跑）和不同方向（前进、后退、转向）的运动技能 。这些技能的多样性确保了机器人拥有一个丰富的行为库，其中很可能包含了应对未来未知任务所需的能力。实验结果表明，off-DADS算法在样本效率上相较于其前身DADS有高达4倍的提升，这充分证明了其在真实世界应用中的可行性 。这项研究不仅展示了无监督强化学习在机器人技能发现方面的巨大潜力，也为解决机器人学习中的数据瓶颈问题提供了重要的技术路径。
4.1.2 目标导向导航：利用无监督学习到的技能进行下游任务
off-DADS等无监督技能发现算法的价值不仅在于能够自主生成多样化的行为，更在于这些学习到的技能可以被高效地复用，以解决具体的下游任务，而无需额外的训练 。在D’Kitty四足机器人的实验中，研究人员展示了如何利用通过off-DADS学习到的运动技能，结合模型预测控制（Model Predictive Control, MPC），实现目标导向的导航 。由于off-DADS在学习技能的同时，也学习了一个与技能相关的动力学模型 q(s'|s, z)，这个模型能够预测在给定当前状态 s 和技能 z 的情况下，下一个状态 s' 的分布 。这个动力学模型成为了连接无监督技能学习与下游任务规划的桥梁。
当面临一个导航任务时，例如从起点移动到指定的目标位置，系统不再需要从头开始学习一个全新的导航策略。相反，它可以在已学习到的技能空间中进行规划。MPC算法会利用技能动力学模型 q，前瞻性地模拟执行不同技能序列可能带来的未来状态轨迹。通过优化一个目标函数（例如最小化与目标位置的距离），MPC可以从技能库中选择一个最优的技能序列来执行。这个过程完全在已学习的潜在技能空间中进行，而不是在原始的动作空间（如电机的扭矩）中，从而大大降低了规划的复杂度和计算量。实验结果显示，通过这种方式，D’Kitty能够成功地导航到不同的目标位置，证明了无监督学习到的技能具有高度的实用性和可组合性 。这种“先探索，后利用”的范式，为解决复杂机器人任务提供了一种高效且可扩展的解决方案，使得机器人能够在没有人类干预的情况下，自主地适应和完成新任务。
4.1.3 多机器人协调探索：基于新奇性共享的MACE方法
在更复杂的场景中，单个机器人的探索能力是有限的。为了加速学习过程并探索更广阔的环境，研究人员开始关注多机器人系统中的无监督学习与协作探索。虽然当前资料中未直接提及MACE（Multi-Agent Collaborative Exploration）方法的具体实现，但其核心思想——通过共享新奇性信息来引导群体探索——与无监督强化学习的目标高度契合。在一个多机器人系统中，每个机器人都可以作为一个独立的探索者，利用新奇性搜索等内在动机驱动其探索未知区域。当某个机器人发现了一个新奇的状态或行为时，它可以将这一信息（例如，状态的表示或行为的描述）共享给其他机器人。
这种基于新奇性共享的协作机制可以极大地提升整个系统的探索效率。首先，它避免了多个机器人重复探索同一区域，使得探索资源得到更合理的分配。其次，一个机器人的发现可以启发其他机器人，引导它们探索之前未曾考虑过的状态空间，从而促进更多样化技能的出现。例如，在探索一个复杂迷宫时，一个机器人可能发现了一条通往新区域的通道，通过共享这一新奇路径的信息，其他机器人可以快速跟进，共同探索这个新区域。这种协作探索不仅加快了学习速度，也使得整个系统能够发现单个机器人难以找到的、更复杂的解决方案。未来的研究方向将集中在设计高效的信息共享协议和分布式学习算法，以在更大规模的多机器人系统中实现鲁棒且高效的无监督协作探索。
4.2 游戏AI
4.2.1 在Atari游戏中的应用：ICM等算法的有效性验证
Atari游戏套件是评估强化学习算法性能的基准测试环境之一。在一项大规模研究中，研究人员使用仅由好奇心驱动的智能体，在54个不同的模拟环境中进行了实验，其中包括48个Atari游戏 。该研究的核心是验证内在好奇心模块（Intrinsic Curiosity Module, ICM） 等算法的有效性。ICM通过预测自身行为对环境造成的影响来生成内在奖励。如果智能体的行为导致了一个它无法预测的新状态，它就会获得较高的内在奖励，从而被激励去探索更多未知的状态 。
实验结果令人惊讶：在许多游戏中，仅凭好奇心驱动的智能体能够取得与使用外部奖励训练的智能体相当甚至更好的表现。例如，在《Breakout》游戏中，智能体为了探索更复杂的砖块排列模式（这对其预测模型来说是“新奇”的），会主动击球得分，从而作为副产品获得了高分。更有趣的是，当智能体耗尽生命值导致砖块重置为初始的简单、可预测的模式时，它会因为“无聊”而尽量避免死亡，以维持在一个充满新奇性的游戏状态中 。这项研究有力地证明了，内在动机可以作为一种强大的探索驱动力，帮助智能体在稀疏奖励环境中自主学习到有意义的策略。
4.2.2 在复杂3D游戏（如VizDoom、Super Mario Bros）中的应用
除了2D的Atari游戏，无监督强化学习也被应用于更具挑战性的3D和平台跳跃类游戏。在一项关于好奇心驱动学习的大规模研究中，研究人员在《超级马里奥兄弟》等环境中测试了不同特征学习方法对探索效果的影响 。研究发现，直接将原始像素作为输入来训练动力学模型效果不佳，因为像素空间中的微小、不相关的变化可能会主导预测误差。相比之下，将像素编码为特征表示的方法表现更好。其中，逆动力学特征（inverse dynamics features） 在《超级马里奥兄弟》中表现出了比随机特征（random features） 更好的泛化能力，这表明学习到的特征表示对于在复杂环境中进行有效探索至关重要 。
这些研究不仅验证了好奇心驱动学习在复杂视觉环境中的有效性，也揭示了特征学习在无监督探索中的核心地位。一个好的特征表示能够过滤掉环境中的噪声，捕捉到与智能体行为相关的关键动态信息，从而使内在奖励的计算更加准确和稳定。这对于将无监督强化学习应用于更复杂的真实世界场景（如机器人视觉导航）具有重要的指导意义。
4.2.3 提升AI的学习效率与适应性
无监督强化学习和新奇性探索的最终目标是构建能够像人类一样，通过与环境的自主交互来快速学习和适应的智能体。在游戏AI领域，这意味着开发出不仅能玩好一个特定游戏，还能将学到的知识和技能迁移到新游戏或新场景中的AI。例如，一个通过新奇性探索学会了在《VizDoom》中导航和寻找隐藏区域的AI，可能能够更快地在另一个类似的3D迷宫游戏中学会导航。
此外，这些技术也为解决“奖励劫持（reward hacking）”问题提供了思路。在某些情况下，智能体可能会发现一些非预期的、但能轻易获得高分的“作弊”行为。新奇性探索通过鼓励行为的多样性而非仅仅追求分数，可以帮助智能体跳出这些局部最优解，探索更多样化、更鲁棒的策略。例如，在赛车游戏中，一个只追求分数的AI可能会学会在赛道上反复撞墙来获得碰撞奖励，而一个受新奇性驱动的AI则会更倾向于探索不同的赛道和驾驶技巧。通过结合内在动机和外在奖励，未来的游戏AI将能够展现出更高的智能水平和更强的适应性。
4.3 自动驾驶
4.3.1 多任务自动驾驶：利用技能作为可转移因素
在自动驾驶场景中，智能体需要同时处理多种任务，例如车道保持、超车、避障、遵守交通规则等。传统的强化学习方法通常为每个任务单独训练一个策略，这不仅效率低下，而且难以处理任务之间的相互影响。为了解决这一问题，研究人员提出了一种基于改进的对比内在控制（improved Contrastive Intrinsic Control, CIC） 的无监督强化学习方法 。该方法的核心思想是，将驾驶技能视为可以在不同任务之间转移的通用因素。
在预训练阶段，CIC算法在没有奖励信号的情况下，通过最大化技能与状态转移之间的互信息来学习多样化的驾驶技能。这些技能代表了车辆在不同场景下的基本行为模式，例如平稳加速、紧急刹车、向左变道等。在下游的多任务学习阶段，这些预训练的技能被用作先验知识，帮助智能体快速适应不同的驾驶任务。实验在一个高速公路环境中进行，通过不同的奖励函数定义了三种不同的驾驶模式作为独立的强化学习任务。结果表明，与基线算法DDPG相比，CIC方法在单任务学习中的收敛速度提升了30%至50%，最终学习性能提升了20%至40%。即使在其他强化学习方法难以学习的复杂任务中，CIC依然表现出明显的学习能力 。这证明了无监督学习到的技能可以作为有效的可转移知识，显著提升多任务自动驾驶系统的学习效率和性能。
4.3.2 基于对比内在控制（CIC）的探索方法
CIC算法的成功关键在于其独特的探索机制。它通过对比学习的方式，将技能 z 视为一种潜在的状态转移，并将其与真实发生的状态转移进行比较。两者之间的互信息被用作内在奖励，驱动智能体去探索那些能够产生新颖且可预测状态变化的技能 。这种探索方式不仅鼓励了状态的多样性，也鼓励了行为的多样性，使得智能体能够学习到更丰富、更鲁棒的驾驶技能。
此外，CIC算法还利用了统一训练（unified training）的策略，即在没有奖励的情况下对所有技能进行联合训练，然后在多个下游任务中重复使用这些技能。这种“一次学习，多处使用”的模式，极大地提高了数据利用效率，降低了对特定任务数据的依赖。这对于自动驾驶领域尤为重要，因为收集和标注各种极端和危险驾驶场景的数据成本极高且充满风险。通过无监督学习，系统可以从大量正常的驾驶数据中自主学习，为应对各种突发状况做好准备。
4.3.3 在感知与数据增强中的应用
除了在决策层面的应用，无监督学习在自动驾驶的感知层面也扮演着重要角色。例如，无监督学习技术可以帮助自动驾驶车辆在没有标签数据的情况下解释其环境，这对于适应新的、未见过的场景至关重要 。通过聚类和降维等无监督学习方法，车辆可以从原始的传感器数据（如摄像头图像、激光雷达点云）中提取出高级语义信息，例如识别道路、建筑物、植被等，而无需为每个像素或点云进行人工标注 。
此外，无监督学习还可以用于异常检测，这对于保障自动驾驶系统的安全至关重要。例如，局部异常因子（Local Outlier Factor, LOF） 等算法可以帮助系统识别出与正常驾驶行为不符的异常情况，如其他车辆的突然切入、行人的异常举动，甚至是系统自身的传感器故障 。当检测到异常时，系统可以采取相应的安全措施，如减速、停车或请求人工接管。这种能力使得自动驾驶系统能够更好地应对“长尾问题”，即那些在训练数据中罕见但可能引发严重后果的极端情况。通过结合无监督学习和强化学习，未来的自动驾驶系统将能够构建更加智能、安全和可靠的感知与决策闭环。
4.4 其他应用领域
4.4.1 自然语言处理：基于人类反馈的强化学习（RLHF）中的探索
在自然语言处理（NLP）领域，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）已成为训练大型语言模型（LLM）的关键技术，使其生成的文本更符合人类的偏好。然而，RLHF也面临着探索挑战。模型需要在庞大的文本空间中进行探索，以发现能够产生高质量、无害且有用回答的策略。传统的基于奖励的探索方法可能会导致模型生成重复、无聊或“安全”但无信息量的回答。
无监督强化学习和新奇性探索的思想可以被应用于RLHF中，以鼓励模型生成更多样化、更具创造性的文本。例如，可以设计一个基于语言模型困惑度（Perplexity） 的内在奖励，鼓励模型生成那些对其自身来说“新颖”或“意外”的句子。或者，可以设计一个基于语义多样性的内在奖励，鼓励模型在回答问题时尝试不同的角度和风格。通过将这些内在奖励与人类反馈的外在奖励相结合，可以引导语言模型在保持有用性和安全性的同时，探索更广阔的文本空间，从而生成更丰富、更有趣、更具启发性的内容。
4.4.2 金融交易：在未知市场环境中的探索与策略优化
金融交易市场是一个高度动态、非平稳且充满噪声的环境，这为强化学习的应用带来了巨大挑战。传统的基于监督学习或强化学习的交易策略通常依赖于历史数据进行训练，但在面对突发的市场变化（如金融危机、政策调整）时，其性能可能会急剧下降。无监督强化学习为在未知市场环境中进行探索和策略优化提供了新的思路。
通过引入内在动机，交易智能体可以被鼓励去探索那些其内部市场模型无法准确预测的市场状态或交易行为。例如，一个基于预测误差的内在奖励可以激励智能体去关注那些市场波动剧烈、充满不确定性的时期，因为这些时期可能蕴含着新的交易机会。一个基于新奇性的内在奖励可以鼓励智能体尝试不同的交易策略组合，而不是仅仅固守于过去表现良好的策略。通过这种方式，交易智能体能够持续地学习和适应市场的变化，发现新的盈利模式，并提高其在未知和动态市场环境中的鲁棒性。当然，在金融领域应用无监督强化学习需要极其谨慎，因为探索本身可能带来真实的财务风险，因此需要设计严格的风险控制机制。
5. 未来展望与研究方向
5.1 更智能的新奇性度量与表示学习
当前无监督强化学习算法中的新奇性度量大多是比较朴素的，例如基于状态计数、预测误差或简单的距离度量。未来的一个重要研究方向是设计更智能、更具语义信息的新奇性度量。这可能涉及到利用更强大的世界模型来预测环境的长期动态，并将长期预测的误差或不确定性作为内在奖励。此外，将高层次的概念（如因果关系、物体交互、物理规律）融入到新奇性的定义中，也是一个有前景的方向。例如，一个行为之所以被认为是新奇的，不仅是因为它访问了一个新状态，更是因为它揭示了一种新的因果机制。
与新奇性度量紧密相关的是表示学习（Representation Learning） 。一个良好的状态表示是实现高效探索的基础。未来的研究将致力于开发更强大的自监督学习方法，以从原始的、高维的感官输入（如图像、视频、语言）中学习出紧凑、鲁棒且信息丰富的状态表示。这些表示应该能够捕捉到环境的底层结构，并对与任务无关的噪声具有不变性。将表示学习和探索策略进行端到端的联合优化，将是提升无监督强化学习性能的关键。
5.2 无监督强化学习在真实世界复杂环境中的部署
尽管无监督强化学习在模拟环境中取得了巨大成功，但将其部署到真实世界的复杂环境中仍然面临着诸多挑战。首先是样本效率和安全性问题。在真实世界中进行大量的试错学习是不可行的，尤其是在自动驾驶、机器人操作等高风险领域。因此，需要开发样本效率更高、更安全的探索算法。这可能涉及到结合基于模型的规划、迁移学习和元学习等技术，以减少在真实环境中的交互次数。
其次是环境的非平稳性和部分可观测性。真实世界环境是动态变化的，且智能体通常只能获得部分信息。未来的算法需要能够在这种非平稳和部分可观测的环境中进行鲁棒的探索和学习。这可能需要智能体具备在线学习和持续学习的能力，能够不断地更新其内部模型和策略以适应环境的变化。最后，与人类的交互和协作也是一个重要的研究方向。如何让智能体在与人类的互动中进行无监督学习，理解人类的意图，并学习协作技能，是实现通用人工智能的必经之路。
5.3 多智能体无监督学习与协作探索
多智能体无监督学习是一个充满潜力但研究相对较少的领域。未来的研究将集中在如何让多个智能体通过无监督学习，自发地涌现出复杂的协作行为。这涉及到设计有效的通信协议和信息共享机制。智能体需要能够高效地共享它们探索到的知识（如新奇的状态、学到的技能），以避免重复探索，并加速整个群体的学习过程。
另一个关键问题是信用分配（Credit Assignment） 。在多智能体协作任务中，如何评估每个智能体对最终集体成果的贡献是一个难题。在无监督学习的背景下，这个问题变得更加复杂，因为甚至没有明确的外部奖励信号。未来的研究需要开发新的信用分配机制，能够基于内在动机来评估和奖励智能体的协作行为。此外，社会学习（Social Learning） 也是一个重要的方向，即智能体通过观察和模仿其他智能体的行为来进行学习，这可以极大地提高学习效率，并促进复杂社会行为的涌现。
5.4 无监督强化学习与元学习的结合
无监督强化学习和元学习（Meta-learning）是强化学习领域的两个重要分支，它们的结合有望催生出更强大的学习算法。无监督强化学习的目标是通过无奖励的预训练，学习到关于环境的通用知识或技能，这本身就是一种“学会学习”的过程。而元学习则旨在让智能体学会如何快速适应新任务。