Spatial Cognition and Robotic Automative Learning Laboratory
Shape the intelligence, Spirit the machine!
上海交通大学空间认知与机器人自主智能实验室(ScaleLab)隶属于上海交通大学人工智能研究院和教育部人工智能重点实验室 (博士、硕士招生依托上海交通大学计算机学院计算机科学与技术系),ScaleLab由杨小康教授指导建设,主要负责人是穆尧老师(个人主页yaomarkmu.github.io),实验室主要从事具身智能和机器人领域前沿的学术研究,主要在 RSS/CVPR/ICML/NeurIPS 等顶级学术会议上发表研究成果。我们与工业界紧密合作,积极推进学术成果的应用和落地(如智元机器人、松灵机器人、地平线地瓜机器人、傅立叶机器人、乐聚机器人、PNDbotics、光轮智能、灵巧智能等)。实验室和上海人工智能实验室等机构设有联合培养实习生,表现优秀者可推荐联合培养博士。我们的主要研究方向: 1) 机器人大脑: 多模态大模型赋能机器人决策规划 2) 机器人小脑: 灵巧手灵巧操作, Diffusion Policy, Reinforcement Learning, Articulation Modeling and Manipulation for Articulated Objects, Object pose estimation, 3DGs for Embodied AI, 3) 机器人身体: 高自由度灵巧手开发、低成本双臂机器人系统搭建、可变形夹爪的设计 4) 机器人和其他基础学科的交叉: 如机器人辅助化学、生物、医药等实验的交叉学科方向
我们的目标是构建基于多模态大模型驱动的"认知-控制"闭环交互体系,实现高层认知规划与底层运动控制的深度协同,从而开发具备人类级多模态感知能力与敏捷技能学习机制的通用智能体,为智能制造产线的柔性化改造、家庭服务机器人精准操作、高危环境自主作业等应用场景提供核心技术支撑,推动新质生产力发展,促进智慧城市生态构建及老龄化社会服务体系完善,助力我国科技产业升级和社会可持续发展。
研究具身智能体如何理解被操作物体的关键功能点和关键方向
探索智能体如何准确将抽象任务映射为具体场景约束下的基本操作单元(包括原子技能、交互偏好、物理属性)
研发具备强大泛化能力的端到端视觉语言动作模型,包括端到端大模型预训练、SFT、RLHF等
研究基于扩散模型、流匹配等的模仿学习方法
研究快速、高效、迁移泛化性强的强化学习算法和理论研究
研究全尺寸人形机器人的全身运动控制,特别聚焦于复杂的manipulation任务
开发逼真的机器人仿真器和专家数据自动生成技术,代表作品幻影RoboTwin仿真平台
研究机器人辅助化学、生物、医药等实验的交叉学科方向
RoboTwin平台系统级集成,服务全球12,800余个开发者
COBOT Magic系列机器人官方仿真平台
RoboCodeX系统被采纳为新一代机器人解决方案
参与Agibot-world项目,发布世界最大规模真实机器人数据集
发起创建具身智能社区Deeptimber,活跃成员超1500人
组织学术论坛超20次,推动行业发展
在CVPR上组织具身智能研讨会
发起RoboTwin双臂协同机器人大赛,参赛队伍超60支
我们正在寻找对具身智能和机器人自主学习感兴趣的学生研究人员和访问学生加入我们的团队。如果您有兴趣与我们一起开展研究,请随时发送您的简历至我们的邮箱:muyao@sjtu.edu.cn。
联系我们