RT-1 Dataset

概述

RT-1 Dataset 是 Google 为训练 Robotics Transformer (RT-1) 模型而专门收集的大规模机器人操作数据集。该数据集包含 13 万个以上的操作 episodes，涵盖了多种日常机器人操作任务，是当时最大规模的真实机器人操作数据之一。

数据规模与结构

RT-1 数据集的核心特点在于其大规模和高质量的数据收集：

• 数据量：超过 130,000 个完整的操作 episodes
• 收集时长：跨越数月的持续数据收集
• 机器人平台：基于 Google 自研的机器人硬件平台
• 传感器配置：配备多个 RGB 摄像头、深度传感器、关节编码器和力矩传感器

每个 episode 包含完整的状态-动作-奖励序列，记录了机器人从初始状态到任务完成的全过程。数据覆盖了多种操作任务类型：

• 物体抓取：不同形状、大小、材质的物体
• 物体放置：精确放置到指定位置
• 物体推动：将物体移动到目标区域
• 容器操作：打开/关闭容器、从容器中取出物体
• 工具使用：使用简单工具完成任务

核心特性

真实世界数据

与仿真数据不同，RT-1 Dataset 完全来自真实机器人操作，包含了真实世界中的各种噪声、不确定性和复杂性。这使得基于该数据集训练的模型能够直接部署到真实环境中，而无需额外的 sim-to-real 迁移。

多任务混合训练

数据集包含了多种不同的操作任务，支持多任务混合训练。这种训练方式使模型能够学习到不同任务之间的共性，提升泛化能力和鲁棒性。

语言条件标注

每个 episode 都配有自然语言指令描述，如"把红色积木放到蓝色盒子里"。这种语言条件标注使得模型能够理解并执行语言指令，实现语言引导的机器人操作。

技术架构

RT-1 Dataset 的数据收集系统采用了高度自动化的遥操作界面，操作员可以通过直观的控制器远程操控机器人完成任务。系统实时记录所有的传感器数据、关节状态、末端执行器状态和动作指令，确保数据的完整性和一致性。

应用场景

RT-1 Dataset 主要用于训练和评估：Transformer-based 机器人策略模型、语言条件机器人操作、多任务机器人学习、真实世界机器人部署。

技术影响

RT-1 Dataset 的成功应用证明了 Transformer 架构在机器人操作领域的有效性，开创了"机器人基础模型"的研究方向。它展示了大规模真实世界数据对于训练通用机器人策略的重要性，为后续的 RT-2、Open X-Embodiment 等项目奠定了基础。