Luban：通过自主具身验证构建开放式创造性代理

人工智能研究的终极目标之一是构建开放式代理，而创造性代理更是其中最具吸引力的一类。然而，现有的大型语言模型（LLM）代理在处理具有明确目标的长时间任务（例如在Minecraft中“挖钻石”）方面表现出色，但在面对具有开放目标和抽象标准的创造性任务时却遇到了困难。这主要是因为它们无法弥合这些任务之间的差距，因而缺乏自我改进的反馈机制。在这项研究中，我们引入了自主具身验证技术，旨在填补这一空白，为创造性任务奠定基础。具体来说，我们提出了Luban代理，专注于Minecraft中的创造性构建任务，并采用了两级自主具身验证机制，灵感来源于人类的设计实践。

Luban代理的两级自主具身验证

视觉验证

视觉验证主要针对3D结构模型进行，这些模型由代理合成的CAD建模程序生成。通过对这些3D结构的视觉检查，Luban能够自主地评估其设计的结构完整性和外观质量。

实用验证

实用验证则是通过生成和验证与环境相关的功能性程序，基于抽象标准来评估创作的实用性。这样，Luban不仅能在视觉上检查其设计，还能根据其功能性来评估创作的有效性。

实验与评价

我们进行了广泛的多维度人类研究和Elo评分，结果表明Luban在我们提出的基准上完成了多样化的创造性构建任务，并在可视化和实用性方面表现优于其他基线（提升幅度从33%到100%不等）。此外，针对真实世界机器人手臂的演示也展示了Luban在物理世界的创造潜力。

总结

Luban代理通过自主具身验证技术，成功弥补了现有LLM代理在处理创造性任务上的不足。这不仅为Minecraft中的创造性构建任务提供了一种新的解决方案，也展示了在现实世界中应用的巨大潜力。

本文基于Yuxuan Guo等人的研究工作，详细内容请参考原文链接。

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何构建能够在没有明确目标和抽象标准的情况下，自主完成创造性任务的开放式智能代理（open-ended agents）。具体来说，论文中提到的现有大型语言模型（LLM）代理在处理具有明确目标的长期任务（如Minecraft中的“挖钻石”）方面表现出色，但在面对创造性任务时，由于缺乏明确的目标和反馈机制，难以进行自我改进和任务解决。

为了解决这个问题，论文提出了一种名为“自主体现验证（autonomous embodied verification）”的新技术。通过这种技术，智能代理能够验证和评估创造性任务中的高级抽象标准，并据此进行自我反思和规划，从而逐步完成开放式的创造性任务。

具体到Minecraft中的创造性建筑任务，论文提出了一个名为“鲁班（Luban）”的代理，它采用了两级自主体现验证机制，包括：

1. 视觉验证（visual verification）：通过合成CAD建模程序来自动生成3D结构推测，并对其进行视觉验证。
2. 实用验证（pragmatic verification）：通过生成与环境相关的功能程序来验证创造物的实用性，基于抽象标准进行评估。

通过这种两级验证方法，鲁班代理能够成功完成多种创造性建筑任务，并在可视化和实用性方面超越其他基线方法。此外，论文还展示了鲁班在现实世界机械臂上的应用潜力，表明其在物理世界中执行开放式创造性任务的潜力。

Q: 有哪些相关研究？

A: 在这篇论文中，提到了以下几类相关研究：

1. Minecraft代理：Minecraft游戏因其开放性和真实性，成为AI代理的重要测试平台。现有的Minecraft代理主要集中在具有长期目标和明确目标的任务上，如收集和制作材料。这些代理可以分为两类：控制中心代理和计划中心代理。控制中心代理基于从互联网收集的Minecraft游戏演示来构建基于低级游戏控制（例如鼠标和键盘操作）的任务策略。计划中心代理则侧重于利用大型语言模型的推理能力和语义知识，将高级指令与动作原语对齐，通过精心设计的记忆和反思机制来确保代理能够学习有用的技能并利用环境反馈。
2. 3D模型合成：使用计算机生成3D模型是计算机图形学中的关键研究课题。最近，根据给定指令（文本或图像）合成3D模型的方法引起了研究者的广泛关注。3D模型合成的方法可以分为两类：一类方法直接合成3D模型（例如网格、点云、多视图图像和体素），依赖于生成模型和神经表示；另一类方法依赖于现有的计算机辅助设计（CAD）软件来首先合成建模过程的操作和参数（即程序），然后执行它们以获得3D模型。
3. 问题定义：将Minecraft环境形式化为部分可观察马尔可夫决策过程（POMDP），并定义了开放式创造性建筑任务为指令跟随（IF）问题。
4. 方法：介绍了Luban代理，它通过两级自主体现验证来完成开放式创造性建筑任务：3D结构推测阶段的视觉验证和建设阶段的实用验证。
5. 实验：设计了一个包含5个Minecraft建筑任务的基准测试，以测试代理完成开放式创造性建筑任务的能力，并与其它方法进行了比较。
6. 相关工作：论文还提到了与Minecraft代理、3D模型合成、大型语言模型（LLM）等相关的研究工作，并讨论了它们与本文提出的Luban代理的比较。

这些相关研究为本文提出的Luban代理提供了理论和技术背景，并帮助定义了其在创造性任务中的性能和潜在应用。

Q: 论文如何解决这个问题？

A: 论文通过提出一个名为“鲁班（Luban）”的代理来解决开放式创造性任务的问题。鲁班代理的核心是两级自主体现验证技术，具体解决过程如下：

1. 3D结构推测与视觉验证（3D Structural Speculation stage with Visual Verification）：
   • 利用大型视觉语言模型（VLM）合成CAD程序，这些程序代表了整个建筑的精确3D形状。
   • 将3D结构推测过程分为三个子阶段：分解（Decomposition）、子组件生成（Subcomponent Generation）和组装（Assembling）。
   • 通过视觉验证来评估由CAD程序生成的3D模型的视觉效果，确保它们与指令一致。
2. 建设阶段与实用验证（Construction stage with Pragmatic Verification）：
   • 根据3D结构推测阶段得到的CAD程序，在Minecraft环境中执行一系列动作来构建建筑。
   • 实用验证旨在从任务指令中推导出明确功能，并验证构建的建筑的实用性，以提出改进下一轮创造的建议。
   • 实用验证包括验证动作生成、执行验证和反思三个子阶段。
3. 实验验证：
   • 设计了一个包含5个Minecraft建筑任务的基准，这些任务具有多样化的视觉和功能要求。
   • 通过多维度的人类研究和Elo评分，展示了鲁班代理能够成功完成所有开放式创造性建筑任务，并且在可视化和实用性方面超越了其他基线。
4. 实际应用潜力：
   • 论文还展示了鲁班代理在现实世界中的潜在应用，通过在真实世界的机械臂上进行演示，显示了鲁班在物理世界中执行开放式创造性任务的潜力。

通过这些方法，论文不仅提出了一个能够处理创造性任务的智能代理，还通过实验验证了其有效性，并探讨了其在现实世界中的应用前景。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来验证Luban代理的性能和效果：

1. 基准测试设计：作者设计了一个包含5个Minecraft建筑任务的基准测试，这些任务具有多样化的结构和功能要求。每个任务的指令由文本和多视图图像组成。
2. 基线比较：Luban代理与几种现有的Minecraft代理基线进行了比较，包括Voyager代理和Creative代理。这些基线代理在处理创造性建筑任务时没有使用环境反馈。
3. 质量评分：通过多维度的人类研究，对每个任务的结果进行了质量评分。评分包括外观、复杂性、美学、建筑级别功能和环境级别功能等维度。
4. 一对一比较：进行了一对一比较，以评估不同基线之间的结果。这涉及到选择同一任务和不同基线的结果对，并由人类评估者选择胜者。
5. 实用验证通过率：计算了Luban代理自主提出的实用验证动作在其他基线上的通过率，以评估其实用性。
6. 消融研究：进行了消融研究来分析Luban代理的视觉验证和实用验证的影响。消融的基线包括没有实用验证的Luban代理、没有视觉验证的Luban代理，以及两者都没有的Luban代理。
7. 现实世界应用潜力：展示了Luban代理在现实世界中执行任务的潜力，通过在真实世界的机械臂上进行演示，显示了其在物理世界中执行开放式创造性任务的能力。
8. 人类评估者研究：招募了15名人类评估者对Minecraft创造性建筑结果进行评估，评估者的游戏经验从“从未玩过”到“游戏时间≥20小时”。
9. 问卷和界面：设计了问卷和界面，以收集人类评估者对建筑结果的多维度质量评分和一对一比较的结果。

这些实验结果表明，Luban代理在完成开放式创造性建筑任务方面，不仅在质量评分上超越了其他基线，而且在人类评估者的偏好中也更为一致，同时展示了其在现实世界应用的潜力。

Q: 有什么可以进一步探索的点？

A: 根据论文内容，以下是一些可以进一步探索的点：

1. 记忆机制的引入：当前的Luban代理缺乏记忆机制，无法在多个任务之间共享知识或从环境中持续学习。研究如何为代理引入记忆机制，使其能够积累和利用经验，可能是一个有价值的研究方向。
2. 更精细的3D结构推断：由于访问成本和能力限制，Luban在生成更精细的3D结构推断方面存在局限。探索如何降低成本并提高能力，以生成更精细的结构，可能是另一个研究点。
3. 现实世界应用：虽然论文中提到了Luban在现实世界中的潜在应用，但这部分仍处于原型阶段。未来的工作可以探索如何在现实世界中部署和优化Luban，以及如何处理现实世界中的法律和安全问题。
4. 扩展功能和实用性：Luban的实用验证可以进一步扩展，以在现实世界中获取反馈，构建一个闭环的、开放的创造性代理，这将有助于代理更好地适应现实世界的环境。
5. 自主学习和技能获取：研究如何使Luban能够自主学习新技能，并将其应用于创造性任务，这可能涉及到更高级的自主体现学习和强化学习技术。
6. 多模态输入和输出：Luban目前主要处理视觉和语言输入。探索如何整合更多模态的输入和输出（如声音、触觉反馈等）可能会增强代理的创造性和适应性。
7. 更广泛的任务类型：Luban目前专注于建筑任务。研究如何将其扩展到更广泛的任务类型，如艺术创作、设计、规划等，可能是一个有趣的研究方向。
8. 用户交互和指导：研究如何改进用户与Luban的交互方式，以及如何通过用户指导来引导和改进代理的创造性输出。
9. 性能优化和计算效率：探索优化Luban性能的方法，提高其计算效率，特别是在处理大规模或复杂任务时。
10. 伦理和社会影响：随着Luban等创造性代理的发展，研究其对社会、伦理和法律的潜在影响，确保技术进步与社会价值相协调。

这些探索点可以帮助推动开放式创造性代理技术的发展，并为未来的研究提供新的方向。

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容可以概括为以下几个要点：

1. 研究目标：构建能够自主完成开放式创造性任务的智能代理，特别是在没有明确目标和抽象标准的情况下。
2. 问题识别：现有的大型语言模型（LLM）代理在处理具有明确目标的长期任务方面表现出色，但在创造性任务上存在挑战，主要因为缺乏有效的自我评估和反馈机制。
3. 鲁班代理（Luban）：提出了一个名为“鲁班”的代理，它采用两级自主体现验证技术来解决创造性建筑任务：
   • 视觉验证：通过合成CAD建模程序来创建3D结构，并进行视觉评估。
   • 实用验证：在环境中生成和验证与环境相关的功能程序，以确保创造物的实用性。
4. 方法细节：
   • 3D结构推测：将任务指令转化为CAD程序，通过分解、子组件生成和组装三个子阶段来设计建筑。
   • 视觉验证：从多个CAD程序中选择最佳的视觉表示，以确保与指令一致。
   • 建设阶段：将CAD程序转化为环境中的建设动作，执行建设。
   • 实用验证：通过生成功能程序和执行验证动作来评估和改进创造物的实用性。
5. 实验验证：设计了一个包含5个Minecraft建筑任务的基准测试，通过多维度人类研究和Elo评分来评估Luban代理的性能。
6. 结果：Luban代理在视觉和实用性方面都优于其他基线方法，显示出其在创造性建筑任务上的有效性。
7. 现实世界应用潜力：论文还探讨了Luban在现实世界机械臂上执行任务的潜力，展示了其在物理世界中的应用前景。
8. 未来研究方向：提出了未来可能的研究方向，包括开发3D物理世界库、扩展实用验证以获取现实世界反馈等。
9. 限制：论文也指出了Luban的局限性，如缺乏记忆机制、高级视觉语言模型的访问成本和能力限制等。
10. 其他细节：论文还提供了关于计算资源、实现细节、基准测试细节、附加实验结果和人类研究的额外信息。

总的来说，这篇论文提出了一个创新的方法来解决开放式创造性任务中的挑战，并在Minecraft环境中对提出的方法进行了全面的评估和展示。