基于深度图像的手势识别技术研究

ＥＬＥＣＴＲＯＮＩＣＳ　ＷＯＲＬＤ・右　ｊ　基于深度图像的手势识别技术研究　北方民族大学电气信．ｇｘ＿程学院蒋涵妮　【摘要】随着计算机技术的发展，手势识别逐渐成为了人机交互的热点问题。本文利用Ｋｉｎｅｃｔ摄像可以头采集到深度图像、彩色图像和人体　骨骼信息的优势，通过利用Ｋｉｎｅｃｔ摄像头采集的深度图像距离不同深度值不同的特点，通过设定深度闽值较好地将背景区域分割掉，将手势　部分分割出来。特征提取部分利用曲率算法得到指尖个数，最后通过指尖个数进行手势识别。　【关键词】人机交互；手势识别；深度图像；曲率算法　设手势轮廓序列为Ｐ，则轮廓序列可以表示如式（４）所示：　０引言　随着计算机技术的发展，人机交互逐渐成为学者们研究的热　潮，它将我们的生活引领到更加方便更加智能的潮流中。其中手势　作为人体敏感、灵活的部位，更是被广泛地应用于人机交互中，称　为我们所熟知的手势识别。　本文主要介绍静态手势识别。２ＯｌＯ年，Ｍｉｃｒｏｓｏｆｔ发布了基于红　外线深度传感技术的Ｋｉｎｅｃｔ系列体感设备以及配套的Ｋｉｎｅｃｔ　ｆｏｒ　Ｗｉｎ—　ｄｏｗｓ　ＳＤＫ开发套件，Ｋｉｎｅｃｔ摄像头可以采集到深度图像、彩色图像　和人体骨骼信息，传统的基于肤色分割手势会受到光照及类肤色背　景区域的影响，本文采用基于深度阈值的分割可以有效的避免光照　及复杂背景环境的影响，完整地分割出手势部分；利用曲率算法得　到指尖个数，通过指尖个数将手势分类。　Ｐ＝嘏．　，只…。只｝　ｉ＝１，己　．兀　（４）　取手势轮廓上一点　以及其两侧各一点　ａ和　，设向量　：　ｉ瓦　的夹角　，那么点　处的曲率　Ｊｐｆ）即是这两个向量夹角的余弦值，　由向量内积得：　一　＝　　Ｉ一　（５）　曲率　Ｐ　）取值范围是［＿１，ｌ】，在其范围中设定阈值Ｔ，即　）　Ｔ　时，Ｐ　点就是可能要寻找的指尖位置或者手指之间的凹槽，因为　指尖和凹槽处的曲率是最大的。为了保证曲率是其附近范围内最　大，需要满足：　（ｊｒ　）　蜀：　）　１　）　。）　（６）　那么接下来就是要区分Ｐ　点是指尖还是凹槽，可以通过　向量叉积的符号来判断。ｉ　向量叉积如式（６）所示。　ｚｏ．ｏｓｓ（ｇ）＝ｊ　×　＝　ｙ　一　Ｍ　（７）　１　基于深度图像的手势分割　１．１　ｋｉｎｅｃｔ摄像头介绍　Ｋｉｎｅｃｔ有三个镜头，中间的镜头是ＲＧＢ彩色摄像机，用来采集彩　色图像，左右两边镜头则分别为红外线发射器和红外线ＣＭＯＳ摄影机　所构成的３Ｄ结构光深度感应器，用来采集深度数据，其基本成像原理　就是利用内置的ＣＭＯＳ图像传感器来对投影的红外光谱进行接受，接　受结束后对其实施编码，变成反射斑点图像，最终形成深度图像。　１．２深度阈值分割算法　Ｋｉｎｅｃｔ传感器能在１．２－３．５ｍ范围内，获取１１位分辨率的深度数　据，利用这些深度信息，便于从背景中更好地区分出目标物体。物　体的实际距离和深度图像中呈现的深度数据具有一定的转换关系，　假设三维空间中存在一个像素点，设为ｑ，其深度值为ｄ。，实际距　离值为ｄ，则两者转换关系如式（１）所示：　ｄ＝Ｋｔ￣ｍ（Ｈｄｏ＋工）一Ｏ　（１）　其中丽：＝　），　＝　，ｙ　）。设手处于３Ｄ空间坐标系中，ｚ轴向外为　正方向，当～（　）　Ｏ时即是指尖位置，反之为凹槽。实验结果表　明当ｄ＝２５，ｅ＝４，Ｔ：ｏ　５时检测指尖效果最好。　３实验与识别结果　按照指尖曲率算法得到每种手势的指尖数目，然后根据指尖数　目的不同区分每种手势，本文对０～５这６种手势进行识别。　实验过程中，共有５位实验者参加，在３中背景下进行，每位实　验者摆出０～５共６种手势，每种手势变换各种姿势做１Ｏ遍，共计９００　个手势，识别结果如表ｌ所示：　（％）　０　９８　１　９８　３　９３　４　５　９５　１００　其中，Ｋ＝１２．３６ｃｍ，Ｌ＝Ｉ．１８ｒａｄ，Ｈ＝３．５×１０　ｒａｄ，０＝３．７ｃｍ。　设在深度图像中存在的ｇ点坐标为　，），在３Ｄ空间的坐标可以设为　（　ｚ），可以通过（　．，）像素坐标和跺计算３Ｄ空间的向量坐标（蕾　ｚ），　如式（２）所示：　ｘ＝　×　×４总结与展望　本文利用Ｋｉｎｅｃｔ摄像可以头采集到深度图像、彩色图像和人体　骨骼信息的优势，通过利用Ｋｉｎｅｃｔ摄像头采集的深度图像距离不同　深度值不同的特点，通过设定深度闽值较好地将背景区域分割掉，　将手势部分分割出来。特征提取部分利用曲率算法得到指尖个数，　最后通过指尖个数进行手势识别。　人机交互是未来研究的重要方向，就目前的发展趋势，手势识　别将逐步渗透到各个专业领域以及人们的生产生活中，手势识别的　发展可以大大的方便人们的生活，逐渐地提高人们的生活水平。　参考文献　［１】杨明华．手势识别技术的应用研究【Ｄ】．东华大学，２０１２．　『２１莫舒．基于视觉的手势分割算法的研究『Ｄ】．华南理工大学，２０１２．　【３】刘同仲．基于Ｋｉｎｅｃｔ设备手势识别技术的研究及应用【Ｄ】．北京：　北京工业大学，２０１５．　Ｉ　４Ｊ曹雏清，李瑞峰，赵立军．基于深度图像技术的手势识别方法Ｕ］　计算机工程，２０１２，３８（８）：１６—１８．　【５】陈皓，路海明．基于深度图像的手势识别综述ＵＪ．内蒙古大学学　报（自然科学版），２０１４，４５（１）：１０５—１１１　詈　２　（　一　）×（ｄ—ｌ。）×　ｚ＝　ｄ其中，Ｓ＝ｏ．００２１，ｗ＝６４０，ｈ＝４８０。　根据人们的操作习惯，这里设定人的手部在人的身体前方，不　在同一水平位置，且手部不摄像头之间没有遮挡物。本文设定的深　度图像中的深度值范围为７００—７８０，则大于阈值的部分即背景和小　于阈值范围的部分及前景被有效地分割掉，保留了手势部分。　２特征提取　在ＯｐｅｎＣＶｉ￣数库中，调用ｃｖＦｉｎｄＣｏｎｔｏｕｒｓ￣数将图像轮廓从二　值图像中检索出来，得到手势轮廓。　项目支持：北方民族大学研究生创新项目《基￣Ｋｉｎｅｃｔ深度图像的手势识别在人机交互中的应用》（ＹＣＸ１７７２）。　・１６６・＿皂子世拜