机械工程学报

作者：吕健豪, 司佳辉, 鲍劲松

单位：东华大学机械工程学院 上海 201620

关键词：人机协同拆解,具身智能,增强现实,图像描述,大语言模型；

基金：国家自然科学基金资助项目(52475513)。

在人机协作拆解中，制造系统依赖预设算法的固定感知-认知模式，难以适配操作员基于经验的灵活需求与动态环境变化，易导致机器人的路径规划失效和决策停滞。对此，提出面人-机-环境共融的具身增强现实拆解系统。系统基于具身智能理论，以“感知-认知-执行”机制为核心，结合增强现实技术强化具身代理的环境感知与认知推理能力。设计一种具身增强现实协同拆解策略；提出基于上下文强化机制的局部图像注意力模型，实现自适应图像描述生成；设计基于大语言模型的调优和推理机制进行自优化的认知推理方法；设计基于增强现实的人-机-环境数据交互方法，实现机器人的操控执行。构建三种相似性指标用于进行具身感知-认知的性能评估。定量和定性的实验可证明系统的可行性和有效性。

来源：2025年第15期

《机械工程学报》期刊编辑部

查看机械工程学报杂志2025年第15期