动作捕捉技术赋能协作机器人示教学习

协作机器人(cobots)后来居上,前景广阔

  如今工业与互联网之间的联系日趋紧密,智能工业成为下一代工业趋势。在中国制造2025及德国工业4.0计划中,机器人都是建设制造强国的重要内容。机器人在经历最初的被控制型单纯生产工具阶段后,正沿着具备多种感知能力、自主决策以及与人高效交流和智能协作的方向发展。同时,机器人的工作空间与范围不断扩大,越来越多地走进人类生产生活的非结构化环境。机器人与人的共融,将成为下一代机器人的本质特征。人机共融意味着人机共处于同一自然空间,二者紧密协调,在确保人员安全的前提下,机器人能够自主提高技能,实现与人的自然交互。对工人而言,机器人不再是单纯的生产工具,而是一个助理,因此协作机器人也通常被称作“Cobots”。

  传统工业机器人主要存在以下几个问题:

  第一,传统机器人部署成本高。工业机器人主要功能是完成重复性工作,这依赖于极高的重复定位精度以及固定的外界环境。机器人的配置、编程、维护,以及设计固定外界环境都需要很高的成本。

  第二,传统机器人无法满足中小企业需求。传统工业机器人主要针对可以大规模进行生产的企业,比如车企,其特点是产品定型后,生产线在足够长的时间内不需要做大的改动,基本不需要做重新编程或部署。而中小企业与之相反,其产品特征为小批量、定制化、短周期,这要求机器人能快速部署,上手更简单。

  第三,传统机器人无法满足新兴的协作市场需求。传统工业机器人设计初衷是高精度、高速度完成工作,而与其在同一工作环境时人的安全性并不是该类机器人的关注重点,一般简单采取利用围栏把机器人与人隔离开的方式。但是随着人力成本的上升,3C、医疗、食品等之前较少使用机器人的行业,也开始寻求自动化解决方案,这些行业工作的特点是接触产品种类多、对操作者灵活度和柔性要求高,而传统机器人无法满足其新兴需求。针对这些特点,协作机器人应运而生,大有后来居上的趋势。协作机器人能够和人协作工作,人负责柔性、灵活性要求较高的工序,机器人负责重复性工作,同时具备安全协作的特性,不需要利用围栏隔开人与机器人以保证安全。

  得益于其安全性、易用性和开放性的特点,协作机器人在工业和非工业领域都有广阔的应用空间。除了能满足新兴小型电子行业小型化精细化的需求,完成取料、产品检测等工作,协作机器人还可以应用在商业领域(非工业),如仓储物流中拣货环节、医疗行业中的手术辅助以及按摩等场景,与人类在人机共存的的环境下完成各种工作。

映射方法示教学习降低协作机器人使用难度

  要保证协作机器人功能的实现,就要对机器人运动轨迹进行规划。现阶段进行机器人轨迹规划对于普通用户来说专业门槛太高,这也限制了协作机器人的大规模推广。针对这一问题,示教学习方法提供了一种简单直接的轨迹规划方式:机器通过“观察”人的动作演示,再结合合适的机器学习方法进行建模学习,从而获得完成相应任务的能力,该方法能够很大程度上降低用户学习使用成本。

  使用示教学习这一方式需要经过几个过程。学习前,不同的机器人系统需要选择合适的数据采集方法记录示教数据。在学习阶段,由于人和机器人尺寸及运动能力不匹配,部分系统需要解决示教数据人机对应问题。然后,如何对示教数据建模以得到在不同场景中最合适的运动模型是示教学习中的重点。最后,学习方法还需要解决如何使用所学习到的模型生成适应新任务场景的运动轨迹的问题。

  在这一过程中,高精度运动数据的获取至关重要。示教学习数据获取的方法可以分为两大类:第一类是映射方法(mapping method),通过动作捕捉系统、光学传感器、数据手套及其他传感器获取人体运动数据,然后将这些数据映射到机器人动作上,该方法具备简单直观、得到的运动轨迹平滑的优点,一般用于与人体结构类似的机器人系统上方;第二类是非映射方法(non-mapping method),通过直接牵引机械臂(动觉示教),或用示教盒、手柄等遥控装置控制机械臂(遥控示教)运动,记录下关节处的运动信息,该方法省去了示教者与机器人之间的映射,但是生成的轨迹不够平滑。

精度高、延迟低,光学动作捕捉系统满足示教需求

  通过了解示教学习具体过程方法,以及两种数据获取方式的特点,可以发现,对于要求协作机器人运动拟人化程度更高的场景,通常会选择映射方法捕捉人体运动动作,以获取更精准的示教学习数据。

  例如在一些对于协作机器人作业精度要求很高的特定行业中(比如某些精细零部件的装配,或者医疗行业辅助完成手术等),需要完成对人的运动姿态准确建模,并选择合适的机器学习方法和执行策略,使机器人完成指定任务,这就需要先获取高精度的人体运动轨迹数据。


手部动作捕捉_腾讯视频

  NOKOV度量光学三维动作捕捉系统精度高达亚毫米级,具备高精度低延迟的特点,广泛应用于协作机器人的示教学习数据获取。光学式动作捕捉系统主要由红外动作捕捉镜头等硬件产品和计算机软件系统两部分组成,在动作捕捉过程中,由多个动作捕捉镜头向外发射红外射线,并对标记点进行连续高速拍摄,根据得到的连续图像测算出标记点的移动轨迹,并将相关数据传输给计算机,计算机通过解析相应灰度图像得到空间坐标信息等高精度数据。

NOKOV度量动作捕捉示教学习应用案例

  NOKOV与多所高校展开深度合作,提供高精度动作捕捉,用于不同行业的协作机器人示教。

哈尔滨工业大学(深圳)机电工程与自动化学院-3C装配机器人

  哈工大楼云江老师团队提出一种示教学习方法,用于协作机器人进行3C零件装配。该方法搭建了覆盖1m*1m捕捉区域的动作捕捉系统,利用6台NOKOV红外光学动作捕捉镜头 ,以340fps采样频率,采集记录粘贴在操作员手上能够反射红外标记的Marker点的运动数据,从而获得人手和手指的三维空间位置。光学运动捕捉系统平台能够在正常的工业环境中工作,不会干扰操作员的正常装配工作,不会占用太多空间和密集的设备分布。在获取到示教数据之后,该系统通过一系列数据预处理技术,从多组人的装配演示数据中获得几条平滑的装配运动轨迹,最后通过策略学习算法导出机器人再生装配运动轨迹的策略,该策略可以在随机起始目标位置和方向下实现装配任务。


哈尔滨工业大学机械臂_腾讯视频

重庆邮电大学先进制造工程学院-医疗机器人缝合技巧学习

  重庆邮电大学杨德伟老师团队提出一种演示-分解-建模的医疗机器人均匀缝合技术建模方法。

  均匀缝合建模方法分为以下四步:

  一、医生完成缝合手术示范操作

  二、基于器械-组织-接触状态的变化完成缝合过程的分解,将完整的演示过程分解为功能独立的缝合动作基元。

  三、建立用于缝合动作基元的开始和结束状态的参数模型。

  四、使用动态运动基元(DMP)方法对缝合动作的动态子过程进行建模。缝合动作基元的动态过程的参数化模型,以及缝合动作基元的开始状态和停止状态参数模型构成缝合技能库。

  实验使用7台NOKOV光学动作捕捉相机,用于测量和跟踪医生缝合的全过程。捕捉对象为两个手术夹钳,每个夹钳贴三个标志点。动作捕捉系统捕捉到标志点的空间坐标,计算得到夹钳的连续运动轨迹(包括位置和姿态),获取的高精度轨迹数据(亚毫米级)用于过程分解。

  NOKOV度量动作捕捉系统具备高精度低延迟的特点,随着协作机器人的应用愈发广泛,NOKOV动作捕捉系统也将在其中发挥更大的作用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352