现状分析:
如何构建一体化智能人机交互系统,方便开展模式识别和机器学习等课程,增强实验课程的趣味性和实用性,是人机交互平台的难点。
设计思想:
关键技术:
中国科学院沈阳自动化研究所(以下简称沈自所)成立于1958年,长期从事机器人、智能制造和光电信息技术相关的研究。作为中国机器人事业的摇篮,在中国机器人事业发展历史上创造了二十多个第一,引领中国机器人技术的研究发展,解决了国家制造业发展一系列重大关键技术问题。
肌电交互系统的关键问题是意图解码的准确性和稳定性。沈自所研发的智能肌电交互系统,基于python语言实现UI交互界面、信号采集和处理、机器人控制的一体化平台构建,方便使用机器学习方法进行二次开发,为模式识别、信号处理等课程的相关实验奠定了良好的基础。为了加速计算机和人工智能等相关专业的基础理论和实际应用的方面人才的培养提供助力。
产品特点
PRODUCT FEATURES
肌电交互系统以肌电假手、二至七自由度机械臂、外骨骼以及智能假肢等机器人为被控对象,并配备简洁的人机交互界面。采用模块化设计理念,具有理实一体、操作简单、趣味性强、易于扩展等特点,极大的提高师生的参与程度,为实验室建设提供多用途、层次丰富、省空间、安全易用、易于扩展的肌电交互系统。
平台以手势识别与交互为目的,主要流程包括信号产生、信号采集、信号预处理、特征提取和模式识别,离线训练的模型用于在线的控制决策上,实现对机器人的控制,从实践中一步一步加深对肌电识别原理的理解。以交互平台为扩展,支持机械臂、肌电假手、外骨骼、智能假肢等多样化机器人控制。以项目开发为驱动,强化肌电交互系统的实践性、实用性和通用性。结合学生兴趣爱好,选择合适的交互被控对象,开发肌电交互小游戏,使学生达到理论联系实际、活学活用的培养目标。
平台配备有简洁的人机交互界面,肌电信号采集、预处理、离线训练、在线识别通过点击界面对应按钮即能实现。肌电采集时会显示动作教学图片,指导使用者做出相应的动作,并且界面还具备显示肌电信号的功能,供使用者直观感受肌电采集过程。
为了增加同学们的学习兴趣,肌电交互平台配备了肌电控制抓取以及剪刀石头布等互动游戏。其中肌电控制抓取指通过自身肌电信号控制一个六自由度机械臂和肌电假手对物品进行抓取与摆放,与工业生产中设定轨迹不同的是,此处的抓取与摆放过程完全由自身控制,使同学们时时刻刻都能感受到操控的乐趣。石头剪刀布游戏是通过肌电交互系统模仿现实生活中的游戏场景,同学可以通过石头剪刀布和肌电假手进行实时的互动,增强同学通过肌电交互的体验。
在肌电交互系统中,被控对象可以是各式各样的机器人。目前我们支持二到七自由度的全球主流机械臂(包括ABB、KUKA、UR、Fanuc、爱普生、Yaskawa、大象等等)或自主研发的机械臂、肌电假手、智能假肢、外骨骼等等,可按需进行选择。以及支持在各系统操作,比如Windows、Linux、Mac等。并支持肌电融合视觉、触觉进行交互式开发。
实验内容
PRODUCT FEATURES
模式识别
基础实验:
高级实验:
sEMG信号处理:
通过识别肌电信号,操控假手以及机械臂配合来达到抓取以及摆放物品的目的.如下图14:
通过肌电交互系统模仿现实生活中的游戏场景,开发一些互动小游戏,比如石头剪刀布等
比如通过患者的肌电信号控制智能假肢运动,来达到患者操控假肢的目的,具体原理如下图所示