上海交通大学
人工智能研究院

致希望加入ScaleLab的同学的一封信即招生简章

上海交通大学空间认知与机器人自主智能实验室

你将获得

个性化学术指导

我会先了解每位学生的优势和述求（找到共同目标，发挥各自优势），提供专业的学术指导（实事求是，因材施教，不搞形式主义，不会为了指导而指导

顶级科研资源

实验室拥有丰富的计算资源，包括H200集群、A100集群、和支持云上Issac仿真的高性能4090集群，具有3款全尺寸人形机器人，2款小人形机器人，多款轮式双臂和固定机械臂，机器人资源充足。实验室还拥有大型人体姿态动捕场和面向精细手部操作的手部动捕场。具有世界一流的高性能算力、实验场地和设备等完善的研究条件

顶级会议发表

一起做出高水平工作（比如高引论文，GitHub代码高收藏数），发表独立/共同一作的高质量论文，成果转化，专利撰写。对于在顶级会议上发表一作论文的本科生，可以全额资助其参加会议，加强学术交流。

企业实习机会

对毕业后想去工业界的学生，可以帮忙推荐到国内外头部公司实习和全职，寻找靠谱的Mentor

深造推荐

对毕业后想继续在学术界深造的学生，可以提供本实验室深造机会或者帮忙推荐到国内外头部学校读研/读博（提供推荐信）。有机会跟国内外头部高校/公司合作交流，推荐访学实习，扩展研究视野。

国际合作

与国外（境外）一流高校和企业合作、访学机会，可以推荐包括新加坡国立、南洋理工、香港大学、香港中文大学、香港科技大学，及北美多所高校的PHD Position, 为优秀的实习生提供强推的推荐信，对于熟识的导师我将亲自微信联系

实习方向

人形机器人实习生（base 交大闵行校区）

  • 全尺寸人形机器人全身运动控制
  • 复杂操作任务的规划与执行
  • 人形机器人的感知与交互能力开发

VLA基础模型（base 交大闵行校区）

  • 双臂机器人协作策略研究
  • 端到端VLA模型的训练与优化
  • VLA大模型的 RLHF

高保真机器人仿真系统（base 交大闵行校区）

  • 机器人仿真环境开发与优化
  • 专家数据自动生成技术研究
  • 仿真到现实迁移(Sim2Real)

具身世界模型（base 交大闵行校区）

  • 视觉、语言、触觉等多模态融合的世界模型
  • 4D世界模型及其强化学习
  • 世界模型与VLA生成理解一体化

灵巧手专项实习生（与上海AI Lab联合培养，表现优异可推荐联合培养博士）

  • 灵巧手仿真数据生成
  • 灵巧手VLA（从人类人手数据学习迁移到机械手）
  • 灵巧手的强化学习（包括VLA 的RL后训练与小脑策略的RL）
  • 主要应用：灵巧手功能性抓取、灵巧手手内姿态调整

VLA后训练专项实习生（与上海AI Lab联合培养，表现优异可推荐联合培养博士）

  • 面向自回归式VLA的高效强化学习
  • 面向Diffusion、Flow Matching模式VLA的离线强化学习
  • 面向Diffusion、Flow Matching模式VLA的在强化学习
  • VLA后训练Infra与系统优化

实验室介绍

导师简介

穆尧

穆尧教授

长聘教轨助理教授

上海交通大学人工智能研究院长聘教轨助理教授，先后毕业于清华大学和香港大学计算机系， 共在RSS, NeurIPS, ICML, ICLR, CVPR等顶会顶刊发表论文30余篇，谷歌学术引用超1900余次。

ECCV具身智能研讨会最优论文奖
IEEE ICCAS2020大会最优学生论文奖
IEEE IV2021最优学生论文提名奖
香港博士政府奖学金

实验室的目标

构建多模态大模型驱动的 "认知-控制" 闭环交互体系， 实现高层认知规划与底层运动控制的深度协同，开发具备人类级多模态感知能力与敏捷技能学习机制的 具身智能体