为智慧塑形,为机器注灵!

Shape the intelligence, Spirit the machine!

实验室简介

上海交通大学ScaleLab (空间认知与机器人自主学习实验室) 从事具身智能和机器人领域前沿的学术研究,并在顶级学术会议,如RSS/CVPR/ICML/NIPS 上发表我们的学术成果。与此同时,我们也会和工业界紧密合作,积极推进学术成果的应用和落地(如松灵机器人、地平线地瓜机器人等)。我们目前正在构建大规模机器人具身操作数据集和数据飞轮,以及配套的评测benchmark。我们的主要研究方向: 1) 机器人大脑: 多模态大模型赋能机器人决策规划 2) 机器人小脑: 灵巧手灵巧操作, Diffusion Policy, Reinforcement Learning, Articulation Modeling and Manipulation for Articulated Objects, Object pose estimation, 3DGs for Embodied AI, 3) 机器人身体: 高自由度灵巧手开发、低成本双臂机器人系统搭建、可变形夹爪的设计 4) 机器人和其他基础学科的交叉: 如机器人辅助化学、生物、医药等实验的交叉学科方向

我们的目标是构建基于多模态大模型驱动的"认知-控制"闭环交互体系,实现高层认知规划与底层运动控制的深度协同,从而开发具备人类级多模态感知能力与敏捷技能学习机制的通用智能体,为智能制造产线的柔性化改造、家庭服务机器人精准操作、高危环境自主作业等应用场景提供核心技术支撑,推动新质生产力发展,促进智慧城市生态构建及老龄化社会服务体系完善,助力我国科技产业升级和社会可持续发展。

研究重点

空间智能

研究具身智能体如何理解被操作物体的关键功能点和关键方向

具身大脑

探索智能体如何准确将抽象任务映射为具体场景约束下的基本操作单元(包括原子技能、交互偏好、物理属性)

端到端具身智能大模型

研发具备强大泛化能力的端到端视觉语言动作模型,包括端到端大模型预训练、SFT、RLHF等

生成式策略学习

研究基于扩散模型、流匹配等的模仿学习方法

强化学习

研究快速、高效、迁移泛化性强的强化学习算法和理论研究

人形机器人

研究全尺寸人形机器人的全身运动控制,特别聚焦于复杂的manipulation任务

机器人仿真技术

开发逼真的机器人仿真器和专家数据自动生成技术,代表作品幻影RoboTwin仿真平台

Embodied AI for Science

研究机器人辅助化学、生物、医药等实验的交叉学科方向

最新动态

2024年3月

论文被CVPR 2024接收

我们的论文"SkillDiffuser: Interpretable hierarchical planning via skill abstractions in diffusion-based task execution"被CVPR 2024接收!

2024年1月

三篇论文被ICLR 2024接收

三篇论文[SPET, Tree-Planner, Aligndiff]被ICLR 2024接收!

2023年9月

论文被NeurIPS 2023接收

我们的论文"EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought"被NeurIPS 2023接收并被选为Spotlight论文!

加入我们

我们正在寻找对具身智能和机器人自主学习感兴趣的学生研究人员和访问学生加入我们的团队。如果您有兴趣与我们一起开展研究,请随时发送您的简历至我们的邮箱。

联系我们