搜索
产品简介PRODUCT DESCRIPTION

肌电交互系统

机器人正在从独立进入人机共融时代。为适应复杂场景下的应用需求,新型人机交互方式急需拓展。如何提升学生的学习兴趣、增强人机交互实验的趣味性?融合表面肌电信号、机械臂、灵巧手的人机交互平台是连接理论到实践的快速途经。融合UI交互界面、信号处理、模式识别、机器人控制多个模块,实现一体化平台构建。此平台为学生提供良好的实验平台,为机器人和人工智能相关课程提供开发环境。

联系电话:13720126958 / 13387619634

现状分析:

  • 计算机专业:计算机相关专业指在开设学科是以软件和系统开发方向为主的计算机相关学科,培养掌握编程语言和算法的实际应用能力。计算机技术具有明显的综合特性,它与电子工程、现代通信技术、信号处理、机器学习与人工智能、应用数学等紧密结合,培养出高水平应用型人才,发展前景良好。
  • 自动化专业:自动化专业是一个多学科交叉的专业。自动化主要研究电子技术、自动控制、系统工程、信息处理等方面的基本知识和技术,进行自动化系统的分析、设计、开发与研究,实现对各种装置和系统的自动控制,涉及到信号检测、信息识别和智能控制等。例如:大厦自动门控制系统的设计、智能机器人的设计制造、工业设备的自动控制、智能人机交互系统的研发等。
  • 机械电子专业:机械电子工程专业又称机电一体化专业,是机械工程与自动化的一种。机械电子工程专业包括基础理论知识和机械设计制造方法,计算机硬件应用能力,软件算法应用能力,能承担各类机电一体化产品和系统的设计、制造、试验和开发工作。

        如何构建一体化智能人机交互系统,方便开展模式识别和机器学习等课程,增强实验课程的趣味性和实用性,是人机交互平台的难点。

设计思想:

  • 可穿戴:传统的人机交互方式如键盘、鼠标等不方便携带,不适合便携式人机交互。而基于表面肌电的人机交互方式通过采集人体皮肤表面的微弱的生理电信号,实现对意图指令的解码。肌电手环具有便携性,可以穿戴在手臂上,便于实际场景中实时人机交互。
  • 智能识别:表面肌电信号是一种时变的、易受干扰的非平稳信号。如何准确的识别出人体运行意图至关重要。通过对原始信号进行滤波,提取时频域统计学特征,使用人工智能算法来识别出人体的意图,进而控制机械臂执行预定义的动作,并且实现人在环路的实时交互。
  • 一体化框架:该系统融合了UI交互界面、嵌入式控制器、肌电手环、机械臂系统,提供基于python语言的统一的框架,方便操作者的使用和二次开发。整体方案图如下图1所示。


关键技术:

      中国科学院沈阳自动化研究所(以下简称沈自所)成立于1958年,长期从事机器人、智能制造和光电信息技术相关的研究。作为中国机器人事业的摇篮,在中国机器人事业发展历史上创造了二十多个第一,引领中国机器人技术的研究发展,解决了国家制造业发展一系列重大关键技术问题。

      肌电交互系统的关键问题是意图解码的准确性和稳定性。沈自所研发的智能肌电交互系统,基于python语言实现UI交互界面、信号采集和处理、机器人控制的一体化平台构建,方便使用机器学习方法进行二次开发,为模式识别、信号处理等课程的相关实验奠定了良好的基础。为了加速计算机和人工智能等相关专业的基础理论和实际应用的方面人才的培养提供助力。


产品特点

PRODUCT FEATURES

      肌电交互系统以肌电假手、二至七自由度机械臂、外骨骼以及智能假肢等机器人为被控对象,并配备简洁的人机交互界面。采用模块化设计理念,具有理实一体、操作简单、趣味性强、易于扩展等特点,极大的提高师生的参与程度,为实验室建设提供多用途、层次丰富、省空间、安全易用、易于扩展的肌电交互系统。

  • 理实一体

      平台以手势识别与交互为目的,主要流程包括信号产生、信号采集、信号预处理、特征提取和模式识别,离线训练的模型用于在线的控制决策上,实现对机器人的控制,从实践中一步一步加深对肌电识别原理的理解。以交互平台为扩展,支持机械臂、肌电假手、外骨骼、智能假肢等多样化机器人控制。以项目开发为驱动,强化肌电交互系统的实践性、实用性和通用性。结合学生兴趣爱好,选择合适的交互被控对象,开发肌电交互小游戏,使学生达到理论联系实际、活学活用的培养目标。



      平台配备有简洁的人机交互界面,肌电信号采集、预处理、离线训练、在线识别通过点击界面对应按钮即能实现。肌电采集时会显示动作教学图片,指导使用者做出相应的动作,并且界面还具备显示肌电信号的功能,供使用者直观感受肌电采集过程。




  • 趣味性强

      为了增加同学们的学习兴趣,肌电交互平台配备了肌电控制抓取以及剪刀石头布等互动游戏。其中肌电控制抓取指通过自身肌电信号控制一个六自由度机械臂和肌电假手对物品进行抓取与摆放,与工业生产中设定轨迹不同的是,此处的抓取与摆放过程完全由自身控制,使同学们时时刻刻都能感受到操控的乐趣。石头剪刀布游戏是通过肌电交互系统模仿现实生活中的游戏场景,同学可以通过石头剪刀布和肌电假手进行实时的互动,增强同学通过肌电交互的体验。



  • 易于扩展

      在肌电交互系统中,被控对象可以是各式各样的机器人。目前我们支持二到七自由度的全球主流机械臂(包括ABB、KUKA、UR、Fanuc、爱普生、Yaskawa、大象等等)或自主研发的机械臂、肌电假手、智能假肢、外骨骼等等,可按需进行选择。以及支持在各系统操作,比如Windows、Linux、Mac等。并支持肌电融合视觉、触觉进行交互式开发。


实验内容

PRODUCT FEATURES

模式识别

基础实验:


高级实验:



sEMG信号处理:


科研方向

  • 抓取与摆放

      通过识别肌电信号,操控假手以及机械臂配合来达到抓取以及摆放物品的目的.如下图14:


  • 开发肌电互动小游戏

      通过肌电交互系统模仿现实生活中的游戏场景,开发一些互动小游戏,比如石头剪刀布等




  • 用于医疗康复领域

      比如通过患者的肌电信号控制智能假肢运动,来达到患者操控假肢的目的,具体原理如下图所示