基于KinectV2骨骼数据实时优化

ＥＬＥＣＴＲＯＮＩＣＳ　Ｗ０ＲＬＤ·　ｊ　基－￣ＫｉｎｅｃｔＶ２骨骼数据宾野优丫匕　＂中国空空导弹研究院刘雷杰　【摘要】人体动作识别一直以来都是计算机视觉及人工智能领域里一个热门的研究课题。微软推出Ｋｉｎｅｃｔ　ｆｏｒ　Ｗｉｎｄｏｗｓ体感设备能实时追踪　人体三维骨骼信息，且具有性价比高、体积小、易于推广等特点，所以基于Ｋｉｎｅｃｔ的人体动作识别是近年来人们研究的热点研究课题。在实　际应用中，Ｋｉｎｅｃｔ所采集骨架节点位置信息存在许多噪声，尤其在手、足位置识别过程中抖动较大。因此，在使用这些数据之前，很有必要　设计使用一些滤波器从这些数据中去除尽可能多的噪声。本文通过大量实验验证得出了如下结论：骨架跟踪数据中存在类似相机噪点的椒盐　噪声和频率相对低的周期性噪声，通过使用中值滤波器及双重均值滤波器分别进行处理，不但能有效去除骨架信息中的噪声，使识别效果准　确度有很大的提高，而且算法计算复杂度不高，能够满足ＫｉｎｅｃｔＶ２实时性要求。　【关键词】Ｋｉｎｅｃｔ；骨架跟踪；噪声；中值滤波器；双重均值移动滤波器　１引言　人体动作识别一直以来都是计算机视觉、人工智能领域的热点　研究问题，被广泛应用于人机交互、行为描述、多媒体应用及运　动科学等领域。传统的人体动作识别方法主要有两大类，一类是通　过让被跟踪者穿上带有可用于跟踪的传感器，如加速度计及装在衣　服上的张力传感器…或者是带有标记的光点信息的衣服　等。另一　类方法是利用视觉捕捉技术　】，通过对视频流信息中的人体特征检　图１挥手动作下手腕上骨架节点数据的横向位置信息　３滤波器选择　测，分析判断被跟踪对象的姿态动作。此类方法设备复杂、计算复　杂度高，难以实时化处理，且识别正确率无法达到较高水平。近年　来，微软推出的Ｋｉｎｅｃｔ　ｆｏｒ　Ｗｉｎｄｏｗｓ［４１设备能提供被跟踪者的彩色信　针对Ｋｉｎｅｃｔ采集的骨架信息中孤立的幅值很高的噪声，本文根　据这一噪声特性选择使用自回归移动平均（ＡＲＭＡ）滤波器　。该　滤波器是一类通用的线性滤波器。ＡＲＭＡ滤波器的输出是当前和前　Ｎ个输入的加权平均值，以及Ｍ个先前的滤波器输出：　Ⅳ　肘　息、三维深度信息。由于深度信息的补充，使得它本身对于识别人　体动作更为准确，处理方法也相对比较比较简单，非常适合应用于　实时化处理系统中。　然而由于在实践中，Ｋｉｎｅｃｔ所采集的骨架节点位置信息中存在　一磊：　ｑＸ　‘ｂ　‘ｉ＝　１　ｉ　＝０些噪声，如动作识别过程中，肢体末端会产生较多抖动，且在　式中，ａ　和ｂ　系数是滤波参数。第一项称为移动平均（ＭＡ）　项，第二项称为自回归（ＡＲ）项。本文通过多次实验发现，Ｎ和　Ｍ的取值分别是５，５，取（０．０２，０．０４，Ｏ．０６，Ｏ．０８，０．１２），ａ，取　身体部位发生遮挡时，设备返回的骨架节点的三维信息会有较大误　差。因此很有必要在使用骨架跟踪数据之前使用降噪滤波器从数据　中去除尽可能多的噪声。　（０．０８，０．１２，０．１４，０．１６，０．１８），得到的实验结果既能有效的去掉由于测量　不精确所带来的孤立的自噪声，又不影响Ｋｉｎｅｃｔ的实时捕捉。　２噪声分析　而对于Ｋｉｎｅｃｔ所捕捉的人体骨架信息中的周期性噪声，采用双　移动平均滤波器（Ｄｏｕｂｌｅ　Ｍｏｖｉｎｇ　Ａｖｅｒａｇｉｎｇ　Ｆｉｌｔｅｒ）　能有效的去　由于光照、采集对象、距离及姿势等的不确定性，同时由于传　感器本身量化噪声，及计算引入的舍入效应等方面的原因，Ｋｉｎｅｃｔ　所采集骨架节点的空间三维信息会带入较多噪音。　除此类噪声。双重移动均值滤波器被用于许多应用中，例如股市　预测，当数据具有线性趋势时，它们非常有用。双移动平均滤波　器所使用的基础数据模型是将线性直线拟合到本地输入数据，因　为了分析其采集数据中噪声特性，本文通过对挥手动作进行多　个序列动作捕捉，每个序列大概５０秒（约１５００帧数据），通过对手　臂上几个简单节点的数据分析可以知道（如图ｌ所示）。　Ｋｉｎｅｃｔ所采集的骨架信息中主要包含两类噪声，一类是红色箭　此与简单平均滤波器相比，它更适合跟踪输入数据的变化。假设　’和　是ｎ时刻的输入数据的一阶和二阶移动平均值：　ＭＡ（Ｕ＝　∑　￡＝Ｍ　＋（Ｍ　一ＭＡ（ｎ２））＝２Ⅲ　”一　：　∑Ｍ　头所指的孤立的幅值很高的噪声，而另一类则是绿色的箭头标示的　幅值较小但是频率相对低很多的周期性噪声。　然后过滤器输出作为移动平均的一阶加上趋势调整项给出：　电子世界·１４５·　ＥＬＥＣＴＲＯＮＩＣＳ　Ｗ０ＲＬＤ·　本文取Ｎ＝２，第二移动平均值和滤波器输出由下式给出：　１＝　与原始数据只有将近６个点的距离，也就是０．２秒（ｋｉｎｅｃｔ的帧率为　３Ｏｆｂｓ），对于实时性不影响。　以一个简单的手势（画动作）识别为例，对文本所提出的方法　进行验证说明（如图３所示）。　（　＋２ｘ．－ａ＋３％－２＋２　－３＋　＿４）　这将导致：　～　５　４　１　２　１实验结果取得了很好的效果，能有效去除由于Ｋｉｎｃｃｔ本身测量　误差带来的孤立的白噪声及周期性的噪声，人体动作识别的精确度　Ｘｎ　ｘｎ＋　一１＋ｊｘｎ一２一　—３一　‰　．　有较大的提高，且不影响其实时性。　（ａ）原始数据　）自回归移动平均滤渡嚣结果　枞　【ｃ）赢移动平均滤波嚣结果　琦蕾　参考文献　【１］ＡＵｅｎ　Ｆ　Ｒ，Ａｍｂｉｋａｉｒａｊａｈ　Ｅ，ＬｏｖｅＵ　Ｎ　Ｈ，ｅｔ　１ａ．Ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｏｆａ　ｋｎｏｗｎ　ｓｅｑｕｅｎｃｅ　ｏｆ　ｍｏｔｉｏｎｓ　ａｎｄ　ｐｏｓｔｕｒｅｓ　ｆｒｏｍ　ａｃｃｅｌｅｒｏｍｅｔｒｙ　ｄａｔａ　ｕｓｉｎｇ　ａｄａｐｔｅｄ　Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌｓ［Ｊ］．Ｐｈｙｓｉｏｌｏｇｉｃａｌ　Ｍｅａｓｕｒｅｍｅｎｔ，２００６，２７（１０）：９３５．　【２］Ｍａｔｔｍａｎｎ　Ｃ，Ｃｌｅｍｅｎｓ　Ｆ，Ｔｒ６ｓｔｅｒ　Ｇ．Ｓｅｎｓｏｒ　ｆｏｒ　Ｍｅａｓｕｒｉｎｇ　Ｓｔｒａｉｎ　ｉｎ　图２　Ｋｉｎｅｃｔ采集挥手动作骨架节点信息信息及滤波结果　矗　Ｔｅｘｔｉｌｅ［Ｊ］Ｓｅｎｓｏｒｓ，２００８，８（６）：３７１　９．　【３］Ｂｏｙｅｒ　Ｅ，Ｂｏｙｅｒ　Ｅ，Ｂｏｙｅｒ　Ｅ．Ａ　ｓｕｒｖｅｙ　ｏｆ　ｖｉｓｉｏｎ—ｂａｓｅｄ　ｍｅｔｈｏｄｓ　ｆｏｒ　ａｃｔｉｏｎ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　＆Ｉｍａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ，２０１１，１１５（２）：２２４—２４１　【４］Ｚｈａｎｇ　ｚ．Ｍｉｃｒｏｓｏｆｔ　Ｋｉｎｅｃｔ　Ｓｅｎｓｏｒ　ａｎｄ　Ｉｔｓ　ＥｆｆｅｃｔＪ［］．ＩＥＥＥ　Ｍｕｌｔｉｍｅｄｉａ，　２０１２，１９（２）：４—１０．　啪茸ｌ始数　∞自回归移动平均进控嚣结　ｆｃ）再进行取移动平均滤涟嚣结　【５】邓自立，马建为，杜洪越．ＡＲＭＡ￣法卟科学技术与工程，２００２，２（５）：３—５．　参数估计的两段最小二乘　图３　Ｋｉｎｅｃｔ采集原始数据数据及滤波结果　【６１１·Ｅ·科瓦尔科夫斯基，Ｉ·安妮洛维奇Ｊ·Ｊ·钟．具有可调整　４结论　加权因数的指数加权移动平均滤波器『Ｐ】．ＣＮ　１０３９９７３１３　Ｂ．２０１７．　针对挥手的数据，以手腕节点的横向坐标为例，进行自回归移　动平均（ＡＲＭＡ）滤波及双移动平均滤波后，得到的结果如图２。　从图中可以看出，两次滤波后不但能有效去除噪声，而且滤波结果　作者简介：　刘雷杰（１９９ｏ一），河南太康人，天津大学硕士，现就职于中　国空空导弹研究院。　（上接第１４４页）　使用服务端数据收集方式，很难统计和定位用户的游戏时长、终端　异常情况和网络情况，尤其是对于单机游戏，难以完成数据收集分　析，因为单机游戏多数是没有服务端的。　服务端的数据收集和分析要求团队整体对游戏数据有明确的需　以大量完成客户端信息的上传和分析，而服务端受到网络等因素制　约，用户信息无法上报时就会被舍弃，两种模式各有利弊，不存在　那种数据收集统计模式更精确的说法。　求和规划能力，且通过服务器端建立的数据分析系统并不具备复用　能力，因为每一款游戏有独立的服务器端，并且其数据表结构都不　同，在游戏数量增加后，每款游戏的服务器端不同，出现更多数据　表结构，若要根据这些结构特性去完成对每一款游戏的分析系统建　设，其工作量是巨大的。　参考文献　【１１李悟．Ｓｐｏｒｔｒａｄａｒ　ｕｓ执行官：电竞数据如何推动行业发展Ｕ】．电　子竞技，２０１６（６）：７８—７９．　【２】李航．统计学习方法【Ｍ】．北京：清华大学出版社（第ｌ版），２０１２：６０—６３．　【３］Ｍｏｒｉｋ　Ｋ，Ｋ　ｐｃｋｅ　Ｈ．Ａｎａｌｙｓｉｎｇ　ｃｕｓｔｏｍｅｒ　ｃｈｕｒｎ　ｉｎ　ｉｎ—ｓｕｒａｎｃｅ　对于移动电竞游戏而言，无论使用ＳＤＫ接入，还是服务端统　计，其数据的准确度都是相对的。以ＳＤＫ为代表的统计分析，可　·１４６·屯子世再　ｄａｔａ—ａ　ｃａｓｅ　ｓｔｕｄｙ【Ｍ】．Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　ｉｎ　Ｄａｔａｂａｓｅｓ：ＰＫＤＤ　２００４．　Ｓｐｒｉｎｇｅｒ　Ｂｅｒｌｉｎ　Ｈｅｉｄｅｌｂｅｒｇ，２００４：３２５—３３６．