★ 万维主研 · 48课时项目式课程标准

《具身智能数据采集与加工》课程标准

一、课程基本信息

课程名称具身智能数据采集与加工（专业核心课）
课程编码主研-01
学分 / 总学时3 学分 / 48 学时（理论讲授 16 + 项目实践 32）
适用专业460312 具身智能机器人技术；智能机器人技术、工业机器人技术等相关专业方向
开设学期 / 类型第 2 学期 ｜ ☑专业核心课　☑理实一体
先修课程Python 基础、智能传感技术与应用
后续课程机器视觉技术应用、具身智能驱动与控制
教学载体遥操作、示教拖动、第一人称录制、仿真合成及服务、工业、仓储场景采集任务；相机、力觉/IMU、关节状态接口、示教设备和数据平台
制定依据建设内容图中的课程体系与岗位任务；具身智能机器人技术专业人才培养方案；项目式课程标准编制惯例

二、课程定位

本课程面向具身智能机器人数据采集、数据整理和应用开发岗位，学生使用遥操作、示教拖动、第一人称录制和仿真合成等方式采集 RGB/RGB-D 图像、力觉/触觉、IMU、关节状态、末端位姿、动作轨迹和任务结果等数据，并在服务、工业和仓储场景中完成数据采集、标注、清洗、质检和数据集发布。

三、课程设计思路

课程由 10 个项目组成：P1—P2 完成采集任务设计和多传感器同步，P3—P6 分别学习遥操作、示教拖动、第一人称录制和仿真场景合成采集，P7—P9 完成服务、工业、仓储场景采集，P10 完成数据清洗标注、加工和发布。

四、课程目标

（一）知识与方法目标

  1. 理解具身智能任务中的视觉、力觉、触觉、IMU、关节状态、末端位姿和任务结果字段
  2. 能够配置 RGB/RGB-D 相机、力觉/触觉、IMU 和关节状态接口，完成多传感器同步记录
  3. 能够进行动作分段、对象与事件标注、异常清洗、格式整理和质量抽检
  4. 能够建立数据目录、元数据、版本和复现脚本，发布可用于机器人算法开发的数据集

（二）任务能力目标

  1. 能使用遥操作、示教拖动、第一人称录制和仿真合成方式采集具身智能数据
  2. 能为服务、工业和仓储机器人任务设计采集方案，并完成标注、清洗、质检和数据集发布

（三）职业素养目标

  1. 尊重原始记录，不隐瞒异常、不篡改数据
  2. 形成命名、归档、复核和协作习惯
  3. 关注隐私、最小采集和现场安全
  4. 用统计和回放主动发现问题

五、课程内容与要求

具体项目具体任务任务内容价值融入点理论讲授实践
P1 具身智能采集任务设计项目（4h）机器人任务与数据字段确定选定一个抓取、搬运或装配任务，列出视觉、力觉、关节、末端位姿和任务结果字段。任务导向22
采集场景与物体布置布置机器人、物体、料框、相机视场和安全边界，绘制工位示意。现场规范
采集任务卡与文件命名建立任务编号、对象编号、操作者编号、时间戳和文件命名规则。可追溯
采集隐私与安全设置设置拍摄遮挡、人员授权、急停和数据最小化规则，完成采集前检查。安全伦理
P2 机器人多传感器同步采集项目（4h）RGB/RGB-D 相机连接连接 RGB 或 RGB-D 相机，检查分辨率、帧率、内参和视场范围。工程严谨22
力觉、触觉与 IMU 接入接入力觉、触觉和 IMU 接口，读取静止与动作状态下的传感器数据。安全感知
关节状态与末端位姿接入记录关节位置、速度、电流和末端位姿，核对单位与坐标方向。数据准确
时间戳与触发同步配置统一时间戳、外部触发或软件触发，采集一段抓取数据并检查数据包完整性。协同规范
P3 遥操作数据采集项目（4h）VR 与虚拟动力手套接入分别连接 VR 设备、虚拟动力手套与机器人，完成零位、关节映射和动作比例标定。技术融合13
遥操作采集任务设置设置轻质纸盒抓取、固定点搬运和放置任务，确定任务开始、结束和中止条件。任务导向
操作端与机器人端同步记录同步记录操作者手部动作、机器人关节状态、末端位姿、相机画面和时间戳。真实记录
遥操作结果与异常记录记录成功、漏抓、滑落、中止和断连情况，关联操作者、设备和任务编号。安全责任
P4 示教拖动数据采集项目（4h）拖动示教模式与安全设置开启拖动示教模式，设置关节限位、速度限制、急停和安全区域。安全作业13
抓取放置轨迹拖动示教由操作者拖动机器人完成接近、抓取、移动、放置和返回动作。规范示教
关节、末端位姿与力觉记录同步记录拖动过程中的关节位置、末端位姿、力觉数据和动作时间。数据准确
重复示教与轨迹对比对同一任务重复示教多次，比较轨迹长度、速度、停顿和异常片段。持续改进
P5 第一人称录制数据采集项目（4h）第一人称相机佩戴与视场调整佩戴头戴式或胸前相机，调整视场、分辨率和固定方式，确保双手与目标物可见。规范操作13
人类操作过程录制以第一人称视角录制取放纸盒、旋拧螺丝或递送物品等完整操作过程。真实示范
动作提示与任务结果记录在录制中保留任务开始、动作转换、完成和失败提示，记录物体与任务编号。客观记录
视频切分与隐私处理按任务切分视频，删除无关片段并遮挡人脸、屏幕和个人信息。隐私保护
P6 仿真场景合成数据采集项目（4h）机器人与物体仿真场景搭建在 MuJoCo 或 Isaac Sim 中搭建机器人、桌面、方块、纸盒和相机组成的简单场景。工程复现13
虚拟相机与状态数据配置配置 RGB、深度、物体位姿、关节状态和任务结果等数据输出。参数意识
场景变化与批量采集改变物体位置、光照和相机角度，批量采集多组抓取场景数据。数据多样
合成数据导出与检查导出图像、深度、物体位姿和关节数据，检查文件对应关系与字段完整性。严谨求证
P7 服务场景数据采集项目（6h）倒咖啡与递送工位布置在固定工作台布置空杯、咖啡壶、托盘和放置点，设置相机及安全边界。服务温度24
倒咖啡动作数据采集采集机器人抓取咖啡壶、向固定空杯倾倒色水并放回壶具的视觉、轨迹和关节数据。细致服务
托盘递送数据采集采集机器人抓取托盘、沿固定路径移动并放到指定点的动作与结果数据。规范执行
服务结果与安全异常记录记录杯位偏移、倾倒中止、托盘碰撞和液体洒落等结果，保留异常前后片段。责任担当
P8 工业场景数据采集项目（6h）工业装配采集工位设置设置零件盘、装配台、工具、相机和力觉传感器，确定装配步骤字段。精密制造24
螺丝旋拧与连接器插装采集采集灵巧手完成螺丝旋拧、连接器插装的接近、接触、旋拧和释放动作。工匠精神
视觉、力觉、关节状态联采同步记录零件图像、接触力、关节状态和末端位姿，检查各通道时间戳。协作工程
装配结果与异常记录记录装配成功、漏装、卡滞、滑丝和力峰异常，保留对应原始片段。质量责任
P9 仓储场景数据采集项目（6h）仓储取放工位设置设置固定上料位、取料位、放置点和机器人安全运行范围。规范规划24
纸盒抓取与固定点搬运采集采集机器人抓取同规格轻质纸盒、移动到指定点并释放的图像和轨迹数据。稳定作业
纸盒 2×2 单层码放采集采集 4 个纸盒按固定顺序完成 2×2 单层码放的动作片段和点位信息。节拍意识
搬运异常与节拍记录记录漏抓、滑落、放置偏移和等待等异常，统计单件搬运时间。精益改善
P10 具身数据加工与发布项目（6h）原始数据检查与异常清洗检查图像、传感器、轨迹和任务结果的数量、时间戳与配对关系，处理黑帧、丢帧、漂移和轨迹跳变。质量意识24
对象、动作段与结果标注标注目标物体、动作起止、接触事件、成功/失败和异常类型，完成抽样复核。客观公正
格式、元数据与版本加工统一字段、单位、坐标和文件格式，填写场景、设备、采样率、操作者和质量统计，建立版本号。工程规范
数据划分、加载与发布按场景和任务划分开发、验证、测试数据，编写目录索引和加载脚本，完成数据包校验与发布。工程诚信
合计 48 学时1632