机器人基础模型arXiv 20252025年3月

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

Johan Bjorck, Linxi Fan, Dieter Fox, Kuan Fang et al.NVIDIA

摘要

通用机器人需要灵活的身体和智能的大脑。本文推出 GR00T N1，一个面向人形机器人的开放基础模型。GR00T N1 采用双系统架构的 VLA 模型：视觉-语言模块（System 2）通过视觉和语言指令理解环境与任务目标；后续的 Diffusion Transformer 模块（System 1）实时生成流畅的运动动作。两个模块紧密耦合并端到端联合训练。GR00T N1 使用真实机器人轨迹、人类视频和合成数据集的异构混合数据训练，在多个仿真基准上超越现有模仿学习基线，并部署到 Fourier GR-1 人形机器人上实现语言条件的双臂操作任务。

GR00T N1VLA双系统架构Diffusion TransformerFlow Matching人形机器人潜在动作神经轨迹数据金字塔跨本体泛化NVIDIAFourier GR-1

技术细节

数据集

Ego4DEgo-Exo4DAssembly-101EPIC-KITCHENSHOI4DRH20T-HumanDROID

仿真平台

RoboCasaDexMimicGenIsaacSimIsaacLab

测试机器人

Fourier GR-1 1X NEO

模型骨架

Diffusion Transformer + VLM

编码器

视觉编码器 + 语言编码器

解码器

Diffusion Transformer (DiT)

论文解读

NVIDIA 发布 GR00T N1：首个面向通用人形机器人的开放基础模型

文章名：GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

作者：Johan Bjorck, Linxi "Jim" Fan, Yuke Zhu, Dieter Fox 等（作者按字母顺序排列）

机构：NVIDIA

arXiv：2503.14734

项目页：NVIDIA Isaac GR00T

发表处：arXiv 2025（ICRA 2025 相关）

摘要

通用机器人需要灵活的身体和智能的大脑。近年来人形机器人的进展展现了其作为通用自主硬件平台的巨大潜力。机器人基础模型需要在海量、多样化的数据源上训练，使机器人能够推理新场景、稳健应对现实世界变化并快速学习新任务。本文推出 GR00T N1，一个面向人形机器人的开放基础模型。GR00T N1 采用双系统架构的 VLA 模型：视觉-语言模块（System 2）通过视觉和语言指令理解环境与任务目标；后续的 Diffusion Transformer 模块（System 1）实时生成流畅的运动动作。两个模块紧密耦合并端到端联合训练。GR00T N1 使用真实机器人轨迹、人类视频和合成数据集的异构混合数据训练，在多个仿真基准上超越现有模仿学习基线，并部署到 Fourier GR-1 人形机器人上实现语言条件的双臂操作任务。

核心问题：人形机器人基础模型面临的三座大山

创造能在人类世界执行日常任务的自主机器人一直是机器人学的终极目标。然而，构建通用人形机器人的基础模型面临三个根本性挑战，这些挑战相互交织、缺一不可。

第一，数据稀缺与碎片化。与视觉和语言领域拥有互联网规模的训练数据不同，人形机器人数据领域不存在任何"互联网"。单个机器人硬件平台能获取的数据量 orders of magnitude 太小。尽管 Open X-Embodiment 等尝试通过跨本体学习汇聚不同机器人的数据，但机器人在传感器、执行器自由度、控制模式等方面的巨大差异导致了"数据孤岛"而非连贯的大规模数据集。如何有效利用异构、多来源、多质量的数据训练统一模型，是一个核心难题。

第二，通用性与特异性的矛盾。通用机器人模型需要足够大的表达能力来处理各种任务，但同时又要对特定机器人本体的物理约束保持敏感。从桌面机械臂到双臂人形机器人，不同本体的状态空间和动作空间差异巨大。现有方法要么只能处理单一本体，要么在跨本体迁移时性能急剧下降。

第三，实时性与流畅性的平衡。人形机器人需要在高频控制回路中生成流畅、连续的动作序列。传统的离散动作预测方法难以捕捉运动的连续性，而纯连续方法又难以处理多模态的任务需求。如何将高层语义理解与低层运动生成有效结合，同时保证实时推理，是工程与算法的双重挑战。

GR00T N1 正是针对这三大挑战提出的全栈解决方案，整合了硬件、模型和数据三个关键要素。

数据金字塔：异构训练数据的分层策略

图 1：机器人基础模型训练的数据金字塔。数据量从底部到顶部递减，本体特异性递增。

图 1 展示了 GR00T N1 的异构训练语料如何表示为一个金字塔结构。金字塔的底层是最大量但本体特异性最低的数据（人类视频），顶层是最小量但本体特异性最高的数据（真实机器人遥操作轨迹）。这种分层数据策略是 GR00T N1 的核心创新之一。

金字塔从底到顶分为四个层次：人类视频数据位于最底层，包含来自 Ego4D、Ego-Exo4D、Assembly-101、EPIC-KITCHENS、HOI4D、HoloAssist 和 RH20T-Human 等七个人类视频数据集的大规模自我中心视角视频，提供了丰富的物体交互语义和动作模式；合成仿真数据位于中间层，通过 DexMimicGen 在 RoboCasa 框架中生成 54 万条仿真轨迹，覆盖了 54 种源-目标容器组合；神经轨迹位于中上层，利用视频生成模型从真实轨迹的初始帧生成 827 小时的反事实视频数据，将原始 88 小时数据扩增约 10 倍；真实机器人轨迹位于金字塔顶端，包含 827 小时的多本体遥操作数据，是最高质量但最稀缺的训练信号。

这种数据金字塔设计的精妙之处在于：底层数据为模型提供广泛的视觉理解和任务语义知识，顶层数据为模型提供精确的动作执行能力，中间层数据则起到桥梁作用，帮助模型在数据效率和泛化能力之间取得平衡。

双系统架构：GR00T N1 模型设计

图 2：GR00T N1 模型概览。采用双系统设计，VLM 作为 System 2 处理视觉和语言输入，DiT 作为 System 1 生成动作。

图 2 展示了 GR00T N1 的双系统推理架构。该设计灵感来自人类认知处理的双系统理论（Kahneman, 2011）：System 2 负责慢速、深思熟虑的推理，System 1 负责快速、直觉式的反应。在 GR00T N1 中，VLM 充当 System 2，以 10Hz 频率运行在 NVIDIA L40 GPU 上，处理机器人的视觉感知和语言指令，理解环境语义和任务目标；Diffusion Transformer 充当 System 1，基于 VLM 的特征输出和机器人本体状态，实时生成流畅的电机动作序列。

两个系统并非独立运行，而是紧密耦合、端到端联合训练。VLM 的中间特征表示直接作为 DiT 的条件输入，使得动作生成能够充分利用高层语义理解。这种设计使得 GR00T N1 既能理解复杂的语言指令（如"把苹果放到篮子里"），又能生成平滑、连续的运动轨迹。

图 3：GR00T N1 模型架构。支持从单臂桌面机器人到双臂人形灵巧手的多种本体，使用本体感知的状态和动作编码器处理不同本体的状态观测和动作空间。

图 3 详细展示了 GR00T N1 的模型架构。为处理不同机器人本体的状态观测和动作空间差异，模型引入了本体感知的状态和动作编码器。这些编码器将不同本体的异构状态（如关节角度、末端位姿、灵巧手关节位置）映射到统一的特征空间，使得同一个模型可以跨本体部署。

架构的核心组件包括：（1）视觉编码器：将多视角图像转换为视觉 token 序列；（2）语言编码器：将语言指令编码为文本 token；（3）VLM 骨干网络：基于预训练的视觉-语言模型，处理视觉和语言 token 的交叉注意力，输出场景理解特征；（4）DiT 动作解码器：接收 VLM 特征和机器人状态，通过 Flow Matching 训练目标学习动作分布，生成连续动作序列。整个模型参数量为 20 亿（GR00T-N1-2B）。

潜在动作：统一异构数据的桥梁

图 4：潜在动作可视化。跨不同本体检索相似的潜在嵌入。左侧图像对应向右移动右臂（或手）的动作，右侧对应向左移动。该潜在动作不仅在不同机器人本体间一致，在人类本体中也保持一致。

图 4 展示了 GR00T N1 的潜在动作（Latent Actions）机制，这是解决数据异构性的关键技术。对于人类视频和神经轨迹等没有真实动作标签的数据，作者训练了一个 VQ-VAE 模型从连续视频帧中提取潜在动作。

VQ-VAE 的编码器接收当前帧 $x_{t}$ 和未来帧 $x_{t + H}$ （窗口大小为 $H$ ），输出潜在动作 $z_{t}$ ；解码器接收 $z_{t}$ 和 $x_{t}$ ，重建 $x_{t + H}$ 。训练完成后，编码器充当逆动力学模型：给定一对前后帧，提取连续预量化嵌入作为预训练期间的潜在动作标签，使用相同的 flow-matching 损失但将其视为独立的"LAPA"本体。

图 4 的关键发现是：检索到的相似潜在嵌入在 8 种不同本体（包括机器人和人类）间保持一致。第一组潜在动作对应所有本体将右臂向左移动，第二组对应向右移动。这种跨本体的一致性表明，潜在动作空间捕获了运动的本质语义，而非特定硬件的低层细节，为跨本体泛化提供了坚实基础。

$L_{fm} (θ) = E_{τ} [∥ V_{θ} (ϕ_{t}, A_{t}^{τ}, q_{t}) - (ϵ - A_{t}) ∥^{2}]$

Flow Matching 训练损失： $V_{θ}$ 是速度场网络， $ϕ_{t}$ 是条件特征， $A_{t}^{τ}$ 是 t 时刻的动作， $q_{t}$ 是时间步。

神经轨迹：视频生成驱动的数据扩增

图 5：合成生成的视频。利用现成的视频生成模型创建神经轨迹，增加训练数据的数量和多样性。这些数据可用于 GR00T N1 的预训练和后训练。

图 5 展示了神经轨迹（Neural Trajectories）的生成过程。机器人数据的增长与人类劳动线性相关，因为通常需要人类操作者遥操作机器人来生成每条轨迹。为突破这一瓶颈，作者微调了图像到视频生成模型，在 88 小时的真实遥操作数据上训练，然后从现有初始帧和新语言提示生成 827 小时的视频数据，实现约 10 倍的数据扩增。

神经轨迹生成的流程包括：（1）使用商业级多模态 LLM 检测初始帧中的物体，生成更多物理可行的"从位置 A 拾取{物体}到位置 B"组合；（2）利用微调的视频生成模型生成反事实轨迹视频；（3）使用多模态 LLM 作为裁判进行后处理过滤，剔除不精确遵循语言指令的轨迹；（4）对过滤后的视频重新生成语言标注。生成 827 小时视频需要约 10.5 万 L40 GPU 小时（约 1.5 天），使用 3,600 块 L40 GPU。

这种数据扩增策略的独特优势在于：它能生成真实世界中难以收集的反事实场景（如"用左手拿杯子放到右边"vs"用右手拿杯子放到左边"），同时保持真实世界的物理合理性。图 5 显示，生成的视频不仅动作轨迹合理，还能正确处理不同物体、不同位置和不同语言指令。

仿真数据与遥操作基础设施

图 6：遥操作数据采集。遥操作基础设施支持多种设备捕获人手运动，包括 6-DoF 腕部位姿和手部骨架。机器人动作通过重定向生成并在真实和仿真环境中执行。

图 6 展示了 GR00T N1 的遥操作数据采集基础设施。该系统支持多种设备捕获人手运动，包括 6-DoF 腕部位姿和手部骨架。人类演示通过 Leap Motion 设备采集，追踪 6-DoF 腕部位姿和手指姿态，然后重定向到机器人并通过基于 mink 的全身逆运动学控制器执行。

图 7：仿真任务。仿真实验使用两个开源基准（RoboCasa 和 DexMimicGen）以及新开发的桌面操作任务套件，与真实世界任务紧密对应。

图 7 展示了仿真任务的设计。作者在 RoboCasa 仿真框架中构建了大规模预训练任务，涵盖 54 种源-目标容器组合（如从台面到篮子、从微波炉到水槽等）。任务遵循"将 A 从 B 重排到 C"的行为模式，其中 A 是物体，B 和 C 是盘子、篮子、餐垫、架子等容器。场景中随机放置物体和容器，并加入干扰物以迫使模型关注任务语言指令。

利用 DexMimicGen，作者从少量遥操作源演示生成大量高质量训练数据。对于每个（源, 目标）容器对，生成 10,000 条新演示，最终产生 54 万条总演示。DexMimicGen 将演示处理为以物体为中心的片段，然后变换和组合这些片段生成新演示，有效扩大了训练数据规模。

表 1：训练数据生成策略。潜在动作学习技术广泛应用于多种视频数据集，神经轨迹可从包含机器人动作的数据集生成，仿真轨迹依赖物理仿真器。

	潜在动作	神经轨迹	仿真轨迹
真实机器人数据集	✓	✓	✓
仿真机器人数据集	✓	✓
人类视频数据集	✓

表 1 总结了三种数据生成策略的适用范围。潜在动作学习是最通用的技术，可应用于所有三类数据源；神经轨迹需要初始帧包含机器人动作信息，因此适用于真实和仿真机器人数据；仿真轨迹则完全依赖物理仿真器生成。这种多层次的数据生成策略确保了模型能从所有可用数据源中提取最大价值。

仿真实验：跨本体泛化能力验证

图 8：仿真任务与真实任务。上排为 RoboCasa 任务，中排为 DexMimicGen 任务，下排为新开发的 GR-1 桌面任务（与真实世界任务对应）。

图 8 展示了三个仿真基准的任务设计。作者设计了系统性的实验来评估 GR00T N1 在不同机器人本体和操作任务上的泛化能力。三个基准分别是：RoboCasa（24 个厨房任务）、DexMimicGen（9 个跨本体灵巧操作任务）和GR-1 桌面任务（24 个新开发的任务，与真实世界实验紧密对应）。

表 2：仿真结果。三个仿真基准的平均成功率（每任务 100 条演示）。GR00T N1 在所有基准上超越基线，尤其在 GR-1 任务上超越 17% 以上。

方法	RoboCasa	DexMG	GR-1	平均
BC Transformer	26.3%	53.9%	16.1%	26.4%
Diffusion Policy	25.6%	56.1%	32.7%	33.4%
GR00T-N1-2B	32.1%	66.5%	50.0%	45.0%

表 2 展示了仿真实验的核心结果。GR00T-N1-2B 在所有三个基准上均显著超越 BC Transformer 和 Diffusion Policy 基线。在 RoboCasa 上，GR00T N1 达到 32.1% 的平均成功率，比 Diffusion Policy 高 6.5 个百分点；在 DexMimicGen 上达到 66.5%，比 Diffusion Policy 高 10.4 个百分点；在 GR-1 任务上达到 50.0%，比 Diffusion Policy 高 17.3 个百分点。总体平均成功率 45.0%，比最佳基线 Diffusion Policy（33.4%）高出 11.6 个百分点。

GR00T N1 在 GR-1 任务上的巨大优势（+17.3%）尤其值得关注。这说明预训练阶段学到的知识能够有效迁移到特定本体的后训练任务中，验证了基础模型的泛化价值。相比之下，BC Transformer 在 GR-1 任务上仅达到 16.1%，表明从头训练的策略难以在有限数据下学习复杂的桌面操作技能。

真实机器人实验：GR-1 人形机器人上的验证

图 9：预训练定性示例。在预训练任务中提示 GR00T-N1-2B 模型时，即使将苹果放置在双手左侧增加难度，模型仍能成功将苹果放到右手上并完成放置任务。

图 9 展示了预训练模型的定性示例。即使在没有后训练的情况下，GR00T-N1-2B 预训练模型已经展现出令人印象深刻的能力。在"从左到右交接"任务中，物体被故意放置在左手左侧，模型能够协调双臂策略：先用左手抓取物体，然后将其转移到右手可达范围内，最后完成放置。这种协调行为从未在训练数据中明确出现，表明模型通过大规模预训练学到了通用的操作知识。

表 3：真实世界结果。GR-1 人形机器人上各任务的平均策略成功率。GR00T N1 超越 Diffusion Policy 基线，即使在极少数据下也表现强劲。

方法	Pick-and-Place	Articulated	Industrial	Coordination	平均
Diffusion Policy (10% Data)	3.0%	14.3%	6.7%	27.5%	10.2%
Diffusion Policy (Full Data)	36.0%	38.6%	61.0%	62.5%	46.4%
GR00T-N1-2B (10% Data)	35.0%	62.0%	31.0%	50.0%	42.6%
GR00T-N1-2B (Full Data)	82.0%	70.9%	70.0%	82.5%	76.8%

表 3 是真实世界实验的核心结果，揭示了 GR00T N1 的多项关键优势。首先，GR00T-N1-2B（Full Data）在所有四类任务上均达到最高成功率，平均 76.8% 远超 Diffusion Policy（Full Data）的 46.4%，提升幅度达 30.4 个百分点。其次，GR00T-N1-2B（10% Data）仅使用 10% 的数据就达到 42.6% 的平均成功率，仅比 Diffusion Policy（Full Data）低 3.8 个百分点，展现了极强的数据效率。这意味着 GR00T N1 能将数据收集成本降低约 90%。

在 Pick-and-Place 任务上，GR00T N1（Full Data）达到 82.0%，是 Diffusion Policy（Full Data）36.0% 的两倍以上；在 Articulated 任务上达到 70.9%，比 Diffusion Policy 的 38.6% 高出 32.3 个百分点。Coordination 任务上的 82.5% 成功率表明模型能有效处理双臂协调操作，这对人形机器人至关重要。

图 10：后训练定性示例。（上）后训练的 GR00T-N1-2B 成功将黄瓜放入篮子，而 Diffusion Policy 因抓取不准确而失败。（下）后训练模型成功从砧板拿起柠檬放入平底锅，而 Diffusion Policy 无法完成。

图 10 的后训练定性示例进一步验证了 GR00T N1 的优势。上图显示，后训练模型能够精确抓取黄瓜并平稳放入篮子，而 Diffusion Policy 因抓取姿态不准确导致物体滑落。下图展示了更复杂的任务：从砧板上抓取柠檬并准确放入平底锅，GR00T N1 完成了流畅的动作序列，而 Diffusion Policy 在抓取阶段就失败了。这些对比直观展示了基础模型预训练带来的表征优势。

神经轨迹消融实验

图 11：神经轨迹消融实验。在 RoboCasa 仿真中展示三种数据量（30、100、300/任务）下使用神经轨迹进行后训练的效果。在真实世界中仅展示低数据量（10% 演示）的结果。

图 11 展示了神经轨迹在后训练阶段的消融实验结果。在 RoboCasa 仿真中，作者比较了三种数据量（30、100、300 条/任务）下，仅使用真实轨迹 vs 混合神经轨迹的性能差异。结果显示，加入神经轨迹后，三个数据量分别获得 +4.2%、+8.8%、+6.8% 的平均提升。在真实世界的 GR-1 机器人上（10% 数据设置），跨 8 个任务平均提升 +5.8%。

作者还比较了两种动作标注方式：LAPA（潜在动作）和 IDM（逆动力学模型伪标签）。在仿真中，LAPA 标签在低数据量（30 条/任务）时表现更好，而 IDM 标签在高数据量时更具优势。在真实机器人上，由于无法直接使用潜在动作空间，仅使用 IDM 标签。这一发现表明，神经轨迹作为一种数据扩增手段，在不同数据量级下都能提供稳定增益，且与真实轨迹协同训练效果优于单独使用。

图 12：不同数据量下的仿真操作任务平均成功率。随着演示数量增加，GR00T N1 在所有基准上均展现稳定的性能提升。

图 12 以柱状图形式展示了不同数据量下的仿真性能变化趋势。无论是 30、100 还是 300 条演示，GR00T N1 在 RoboCasa、DexMimicGen 和 GR-1 三个基准上均保持领先。随着数据量增加，性能提升曲线平稳，没有出现明显的过拟合或饱和现象，表明模型的容量足以从更多数据中持续学习。

人类视频预训练的价值

图 13：更多神经生成轨迹示例。展示了神经轨迹的 4 项关键能力：多视角轨迹生成、新物体泛化、新运动模式生成和复杂操作序列生成。

图 13 展示了更多神经生成轨迹的示例，突出了该数据扩增方法的四项关键能力：（1）多视角轨迹生成——通过训练时将视角拼接为 4 格视频，实现多视角同时生成；（2）新物体泛化——模型能处理训练集中未出现过的物体；（3）新运动模式生成——如翻转、旋转等复杂操作；（4）复杂操作序列生成——多步骤任务的连贯轨迹。

图 14：人类自我中心视频数据集样本。预训练使用了七个人类视频数据集，上图展示了每个数据集的示例图像及其对应的数据集名称。

图 14 展示了预训练使用的七个人类视频数据集的样本。这些数据集包括 Ego4D（日常活动）、Ego-Exo4D（自我中心+外中心视角）、Assembly-101（装配任务）、EPIC-KITCHENS（厨房活动）、HOI4D（人-物交互）、HoloAssist（协作任务）和 RH20T-Human（精细操作）。这些数据集覆盖了抓取、工具使用、烹饪、装配等多种人类活动，为模型提供了丰富的物体交互语义和动作模式先验。

人类视频数据的核心价值在于：它们以零成本提供了互联网规模的交互知识。虽然这些视频没有机器人动作标签，但通过潜在动作机制，模型能够从中提取有用的运动先验，理解"如何抓取杯子"、"如何打开抽屉"等操作的本质模式。这种知识在后续的微调中能够显著加速机器人策略的学习。

总结与展望

核心贡献

GR00T N1 的核心贡献在于提出了一个完整的通用人形机器人基础模型框架：（1）双系统架构：将 VLM 的语义理解与 DiT 的动作生成紧密结合，实现了从语言指令到流畅动作的端到端映射；（2）异构数据策略：通过数据金字塔和潜在动作机制，有效整合了人类视频、仿真轨迹、神经轨迹和真实机器人轨迹四类数据源；（3）跨本体支持：从桌面机械臂到人形机器人，同一模型可适配多种硬件平台；（4）开放生态：GR00T-N1-2B 模型、训练数据集和仿真环境全部开源，为社区研究提供基础设施。

局限性

GR00T N1 目前仍存在若干局限：（1）移动导航能力尚未集成，模型专注于操作任务；（2）长期任务规划能力有限，当前主要处理单步或少步骤操作；（3）对极端新颖物体的泛化仍需进一步验证；（4）神经轨迹的质量依赖视频生成模型的能力，可能出现物理不合理的情况。

未来方向

未来工作可能聚焦于：（1）集成移动导航与操作能力，实现全屋自主；（2）引入强化学习进一步提升策略性能；（3）扩展更多机器人本体和任务类型；（4）探索多机器人协作场景；（5）提升模型对长序列任务的理解和执行能力。

引用信息

@article{bjorck2025gr00t,
  title={GR00T N1: An Open Foundation Model for Generalist Humanoid Robots},
  author={Bjorck, Johan and Fan, Linxi "Jim" and Zhu, Yuke and Fox, Dieter and others},
  journal={arXiv preprint arXiv:2503.14734},
  year={2025},
  note={Authors listed alphabetically. Project leads: Linxi "Jim" Fan and Yuke Zhu.}
}

arXiv 论文项目主页

图片来源于原论文 GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (NVIDIA, 2025)