(12)发明专利申请
(10)申请公布号 CN 108805010 A(43)申请公布日 2018.11.13
(21)申请号 201810365417.6(22)申请日 2018.04.23
(71)申请人 西安安邦鼎立智能科技有限公司
地址 710065 陕西省西安市高新区唐延南
路东侧逸翠园西安（二期）第1幢1单元11层11132
申请人 西安电子科技大学
(72)发明人 颜建强 高新波 胡静 韩哲 (74)专利代理机构 北京和信华成知识产权代理
事务所(普通合伙) 11390
代理人 向志杰(51)Int.Cl.
G06K 9/00(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)
权利要求书2页 说明书6页 附图1页
G06F 17/30(2006.01)
(54)发明名称
一种网络直播平台不良图像检测方法(57)摘要
本发明属于图像处理技术领域，涉及一种基于MapReduce分布式模型的网络直播平台不良图像检测方法，适用于行业监管部门、网络直播平台企业对网络主播不良行为的检测。通过以下步骤实现，第一步，设置要监控的直播间地址、直播视频的格式、帧速率、提取图像帧的时间间隔和预警上线T；第二步，在MapReduce过程中实现直播间图像提取；第三步，利用混合高斯模型YCbCr空间进行肤色检测；第四步，人脸检测；第五步，图像判定。检测更加简单，效率更高。
CN 108805010 ACN 108805010 A
权 利 要 求 书
1/2页
1.一种网络直播平台不良图像检测方法，其特征在于：通过以下步骤实现，第一步，设置要监控的直播间地址、直播视频的格式、帧速率、提取图像帧的时间间隔和预警上线T；
第二步，在MapReduce过程中实现直播间图像提取；第三步，利用混合高斯模型YCbCr空间进行肤色检测；第四步，人脸检测；第五步，图像判定。
2.根据权利要求1所述的网络直播平台不良图像检测方法，其特征在于：第二步中直播间图像提取，包括Map阶段和Reduce阶段；具体在Map阶段接收图像视频数据，将视频分析任务划分成多个子任务，这些子任务被送进不同的计算机进行并行处理；在Reduce阶段每一个Map阶段子任务的计算结果被组合成最终的输出结果，从而得到整个问题的解。
3.根据权利要求2所述的网络直播平台不良图像检测方法，其特征在于：第三步中的肤色检测，首先建立混合高斯模型，选择500张不同年龄、性别和光照下的图片作为训练样本，手动分割出这些图片的肤色区域，将切分出来的肤色图像从RGB色彩空间转到YCbCr色彩空间，得到肤色区域的训练数据，统计肤色在CbCr空间中的概率，计算CbCr的均值和协方差，得到用于分割肤色的混合高斯模型；分布式文件系统HDFS在接收到Map阶段传输的提取图像数据后，把颜色空间转化到YCbCr色彩空间中，获得各像素点的CbCr值，计算每个像素点的CbCr值在混合高斯模型中的概率值，将概率值大于训练数据统计阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为图像的肤色区域，然后保留肤色区域，擦除非肤色区域，再对肤色区域进行形态学处理填充小的不连通区域、滤除噪声点，并计算出肤色区域的总面积、肤色区域的块数和每一块的面积，作为判断的相关依据。
4.根据权利要求3所述的网络直播平台不良图像检测方法，其特征在于：第四步中所述的人脸检测，具体是采用Bootstrap算法，从三个视角分别训练人脸检测器，通过三个人脸检测器的集成实现多视角人脸的检测。
5.根据权利要求4所述的网络直播平台不良图像检测方法，其特征在于：第五步中的图像判定是，Reduce阶段收集Map阶段的输出结果，输入是一个＜Key-Value＞键值对，键对应的是<房间id，图像帧id>，值对应的是检测结果 6.根据权利要求5所述的网络直播平台不良图像检测方法，其特征在于：第五步中的图像判定具体过程是，(1)对于检测到的人脸，记其高度为h1，对于与人脸相连通的肤色区域M，记其除去人脸区域后的高度为h2，根据人体的站七坐五蹲三半构成比例,如果h2≤h1，则可判定图像中不含不良信息；(2)对于与人脸相连通的肤色区域M，记其除去人脸区域后的宽度为W，根据人体的站七坐五蹲三半构成比例及男女肩宽与人脸高度比例关系判断图像中男女性别以及图像中是否含有不良信息，如果1.5h1＜w≤2h1±ε,其中0≤ε＜＜h1为弹性参数，则可判定检测图像中含有男性图像，比较h1与h2,如果h2＜2.5h1，则图像中男性图像为男性头像或男性上半身裸露图像；如果w＝1.5h1±ε，加入预警肤色区域N来判断性别及是否含有不良信息；如果在肤色区域M两侧检测到预警肤色区域N，且近似呈对称分布，则可预测N为男性上肢肤色区域，从而可判定图像中含男性图像，如果在肤色区域M两侧没有检 2 CN 108805010 A 权 利 要 求 书 2/2页 测到近似呈对称分布的预警肤色区域N，则可判定图像中含女性，比较h1与h2，如果h2＜h1，则可判定图像中女性图像为女性头像，不含不良信息，反之则，含不良信息；(3)当w＜1.5h1，判定为不含不良信息。 3 CN 108805010 A 说 明 书 一种网络直播平台不良图像检测方法 1/6页 技术领域 [0001]本发明属于图像处理技术领域，涉及一种基于MapReduce分布式模型的网络直播平台不良图像检测方法，适用于行业监管部门、网络直播平台企业对网络主播的不良行为的检测。 背景技术 [0002]近两年，网络直播平台是越来越火，各种各样的网络直播平台不断冒出。截至2016年，我国网络直播平台已经超过300多家，网络直播用户规模已达3.44亿，占网民总量的47.1％。网络主播成为一种新型职业，通常只需要一张身份证、一个摄像头，每个人就能变身为网络主播，让网络世界成为无边无际的个人“秀场”。一份网络流传的“某直播平台金牌主播价目表”显示，该平台“身价”最高的主播签约价已达到一月200万，相当于2400万一年。在高额收入的诱惑下，不少网络主播为了提高关注度，想方设法变花样地进行直播，有直播玩游戏的，有直播探险的，甚至还有直播吃饭睡觉的。由于准入门槛低，直播素材五花八门，网络直播平台的种种乱象也不断出现。2016年7月，文化部印发了《关于加强网络表演管理工作的通知》，对网络文化经营单位利用信息网络传播现场文艺表演、网络游戏等文化产品技法展示或解说的行为进行规范。同时，文化部部署对斗鱼、虎牙直播、YY、熊猫TV、六间房、9158等网络直播平台进行查处，要各网络主播平台进行全面清理整顿，对涉及违法、违规的立即整改。然而，由于网络直播规模庞大，人工审核成本非常高，一般大型直播平台每日高峰时间会有3000－4000千个直播“房间”同时在线，用户数可达两三百万人次，如果全部用人工对4000路视频同时进行审核，为了保证“无漏网之鱼”，至少需要上百人同时工作，并且每位工作人员需要配备1-2台监控设备，企业需要投入大量的人力、物力和财力进行监管，运营成本压力增加。因此，采用机器识别的方法对不良的直播视频进行识别，成为网络直播监管的一个重要研究方向。[0003]云计算是Dean J和Sanjay Ghemawat 2004年提出的，它将商业逻辑从复杂的计算过程中抽象了出来，提供一系列简单的、强大的接口，通过这些接口实现并行计算和分布式执行。他它主要涉及的技术有MapReduce分布式计算模型和Hadoop分布式文件系统。[0004]MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念\"Map(映射)\"和\"Reduce(归约)\"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件算法实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。 [0005]Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。HDFS是一个主从结构，一个HDFS集群是由一个名字节点，它是一个管理文件命名空间和调节客户端访问文件的主服务器，当然还有一些数据节点，通常是一个节点一个机器，它来管理对应节点的 4 CN 108805010 A 说 明 书 2/6页 存储。HDFS对外开放文件命名空间并允许用户数据以文件形式存储。 发明内容 [0006]本发明提供了一种基于MapReduce分布式模型的网络直播平台不良图像检测方法。 [0007]具体技术方案是，所述网络直播平台不良图像检测方法，通过以下步骤实现，[0008]第一步，设置要监控的直播间地址、直播视频的格式、帧速率、提取图像帧的时间间隔和预警上线T，其中预警上线T是一个调节值，比如0.03就是说100张图像帧中有3张检测有异常，就认为属于不良视频；[0009]第二步，在MapReduce过程中实现直播间图像提取；[0010]第三步，利用混合高斯模型YCbCr空间进行肤色检测；[0011]第四步，人脸检测；[0012]第五步，图像判定。[0013]进一步的，第二步中直播间图像提取，包括Map阶段和Reduce阶段；具体在Map阶段接收图像视频数据，将任务划分成多个子任务，这些子任务被送进不同的计算机进行并行处理；在Reduce阶段每一个Map阶段子任务的计算结果被组合成最终的输出结果，从而得到整个问题的解。MapReduce的结果是以键值对＜Key-Value＞的形式输入输出的，根据不同的Key，获取不同的Value。在这里，定义一个三元组<房间id，图像帧id，图像帧数据>来表示一帧图像，在Map部分，根据设置的图像帧的提取间隔提取图像帧数据，输入的Key为<房间id>，对应的Value为<图像帧数据>，输出的Key为<房间id，图像帧id>，对应的value为关键帧的内容<图像帧数据>。REDUCE部分任务比较简单，主要是将Map部分的输出持久化到分布式文件系统HDFS中。[0014]进一步的，在第三步中的肤色检测，首先建立混合高斯模型，选择500张不同年龄、性别和光照下的图片作为训练样本，手动分割出这些图片的肤色区域，将切分出来的肤色图像从RGB色彩空间转到YCbCr色彩空间，得到肤色区域的训练数据，统计肤色在CbCr空间中的概率，计算CbCr的均值和协方差，得到用于分割肤色的混合高斯模型；步骤2中所提取的图像被持久化到分布式文件系统HDFS中作为输入图像，然后把颜色空间转化到YCbCr色彩空间中，获得各像素点的CbCr值，计算每个像素点的CbCr值在混合高斯模型中的概率值，将概率值大于训练数据统计阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为图像的肤色区域，然后保留肤色区域，擦除非肤色区域，再对肤色区域进行形态学处理填充小的不连通区域、滤除噪声点，并计算出肤色区域的总面积、肤色区域的块数和每一块的面积，作为判断的相关依据。 [0015]第四步中所述的人脸检测，具体是采用Bootstrap算法，从三个视角分别训练人脸检测器，通过三个人脸检测器的集成实现多视角人脸的检测。Bootstrap算法基本思想是将训练得到的多个具有互补性能的弱分类器通过集成的方法提升为强分类器。三个视角的人脸检测器分别是左45度、右45度、和正面人脸检测器，通过Bootstrap算法分别训练。然后将三个视角在不同区间上训练的检测器进行集成。[0016]第五步中的图像判定是，Reduce阶段收集Map阶段的输出结果，输入是一个＜Key-Value＞键值对，键对应的是<房间id，图像帧id>，值对应的是检测结果 5 CN 108805010 A 说 明 书 3/6页 [0017]第五步中的图像判定具体过程是，(1)对于检测到的人脸，记其高度为h1，对于与人脸相连通的肤色区域M，记其除去人脸区域后的高度为h2，根据人体的站七坐五蹲三半构成比例,如果h2≤h1，则可判定图像中不含不良信息；(2)对于与人脸相连通的肤色区域M，记其除去人脸区域后的宽度为W，根据人体的站七坐五蹲三半构成比例及男女肩宽与人脸高度比例关系判断图像中男女性别以及图像中是否含有不良信息，如果1.5h1＜w≤2h1±ε，其中0≤ε＜＜h1为弹性参数，则可判定检测图像中含有男性图像，比较h1与h2,如果h2＜2.5h1，则图像中男性图像为男性头像或男性上半身裸露图像；如果w＝1.5h1±ε，加入预警肤色区域N来判断性别及是否含有不良信息；如果在肤色区域M两侧检测到预警肤色区域N，且近似呈对称分布，则可预测N为男性上肢肤色区域，从而可判定图像中含男性图像，如果在肤色区域M两侧没有检测到近似呈对称分布的预警肤色区域N，则可判定图像中含女性，比较h1与h2，如果h2＜h1，则可判定图像中女性图像为女性头像，不含不良信息，反之则，含不良信息；(3)当w＜1.5h1，判定为不含不良信息。[0018]有益效果：对不良图像、视频的检测效率更高，由于采用云计算架构，直播间不良视频的检测被分配到不同计算机上并行执行，处理速度只与计算机数量有关，通过增加不同数量的计算机，能够满足各种实际应用的需求；通过MapReduce过程实现直播空间的图像提取和通过分布式文件系统HDFS的应用使整个系统的实现更加简单成本也更低。附图说明 [0019]为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，这些附图所直接得到的技术方案也应属于本发明的保护范围。[0020]图1是本发明的方法流程图。 具体实施方式 [0021]为使本发明的上述目的、特征和优点能够更加明显易懂，下面对本发明的具体实施方式做详细说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施方式的限制。[0022]实施例1，如图1所示，所述网络直播平台不良图像检测方法，通过以下步骤实现，设置要监控的直播间地址如IP地址；直播视频的格式各种视频格式如MP4、rm、rmvb、avi等；采样间隔为10秒或30秒等；预警上线T是一个调节值，比如0.03就是说100张图像帧中有3张检测有异常，就认为属于不良视频；在MapReduce过程中实现直播间图像提取，包括Map阶段和Reduce阶段；利用混合高斯模型YCbCr空间进行肤色检测；人脸检测；图像判定。最终通过将云计算引入到网络直播视频的审核中，通过集成大量的廉价计算机形成一个计算网络，将多个直播间的视频分配到多台计算机上然后再通过云计算的强大处理能力来实现网络 6 CN 108805010 A 说 明 书 4/6页 直播平台的不良图像的检测。对不良图像、视频的检测效率更高，由于采用云计算架构，直播间不良视频的检测被分配到不同计算机上并行执行，处理速度只与计算机数量有关，通过增加不同数量的计算机，能够满足各种实际应用的需求。[0023]实施例2，如图1所示，所述网络直播平台不良图像检测方法，通过以下步骤实现，设置要监控的直播间地址如IP地址；直播视频的格式各种视频格式如MP4、rm、rmvb、avi等；采样间隔为10秒或30秒等；预警上线T是一个调节值，比如0.03就是说100张图像帧中有3张检测有异常，就认为属于不良视频；在MapReduce过程中实现直播间图像提取，包括Map阶段和Reduce阶段；具体在Map阶段接收图像视频数据，将任务划分成多个子任务，这些子任务被送进不同的计算机进行并行处理；在Reduce阶段每一个Map阶段子任务的计算结果被组合成最终的输出结果，并且Map阶段的输出被持久化的传输到分布式文件系统HDFS中；利用混合高斯模型YCbCr空间进行肤色检测；人脸检测；图像判定。最终通过将云计算引入到网络直播视频的审核中，通过集成大量的廉价计算机形成一个计算网络，将多个直播间的视频分配到多台计算机上然后再通过云计算的强大处理能力来实现网络直播平台的不良图像的检测。对不良图像、视频的检测效率更高，由于采用云计算架构，直播间不良视频的检测被分配到不同计算机上并行执行，处理速度只与计算机数量有关，通过增加不同数量的计算机，能够满足各种实际应用的需求。[0024]实施例3，如图1所示，所述网络直播平台不良图像检测方法，通过以下步骤实现，设置要监控的直播间地址如IP地址；直播视频的格式各种视频格式如MP4、rm、rmvb、avi等；采样间隔为10秒或30秒等；预警上线T是一个调节值，比如0.03就是说100张图像帧中有3张检测有异常，就认为属于不良视频；在MapReduce过程中实现直播间图像提取，包括Map阶段和Reduce阶段；具体在Map阶段接收视频数据，将任务划分成多个子任务，这些子任务被送进不同的计算机进行并行处理；在Reduce阶段每一个Map阶段子任务的计算结果被组合成最终的输出结果，并且Map阶段的输出被持久化的传输到分布式文件系统HDFS中；利用混合高斯模型YCbCr空间进行肤色检测，肤色检测，首先建立混合高斯模型，选择500张不同年龄、性别和光照下的图片作为训练样本，手动分割出这些图片的肤色区域，将切分出来的肤色图像从RGB色彩空间转到YCbCr色彩空间，得到肤色区域的训练数据，统计肤色在CbCr空间中的概率，计算CbCr的均值和协方差，得到用于分割肤色的混合高斯模型；步骤2中所提取的图像被持久化到分布式文件系统HDFS中作为输入图像，然后把颜色空间转化到YCbCr色彩空间中，获得各像素点的CbCr值，计算每个像素点的CbCr值在混合高斯模型中的概率值，将概率值大于训练数据统计阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为图像的肤色区域，然后保留肤色区域，擦除非肤色区域，再对肤色区域进行形态学处理填充小的不连通区域、滤除噪声点，并计算出肤色区域的总面积、肤色区域的块数和每一块的面积，作为判断的相关依据。所述的人脸检测，具体是采用Bootstrap算法，从三个视角分别训练人脸检测器，通过三个人脸检测器的集成实现多视角人脸的检测。Bootstrap算法基本思想是将训练得到的多个具有互补性能的弱分类器通过集成的方法提升为强分类器。三个视角的人脸检测器分别是左45度、右45度、和正面人脸检测器，通过Bootstrap算法分别训练。然后将三个视角在不同区间上训练的检测器进行集成。图像判定。最终通过将云计算引入到网络直播视频的审核中，通过集成大量的廉价计算机形成一个计算网络，将多个直播间的视频分配到多台计算机上然后再通过云计算的强大处理能力来实现网络直播平台的不良图 7 CN 108805010 A 说 明 书 5/6页 像的检测。从而实现自动化检测不良视频内容，节约人工成本；通过MapReduce过程实现直播空间的图像提取和通过分布式文件系统HDFS的应用使整个方法的实现更加简单成本也更低。 [0025]实施例4，如图1，所述网络直播平台不良图像检测方法，通过以下步骤实现，设置要监控的直播间地址如IP地址；直播视频的格式各种视频格式如MP4、rm、rmvb、avi等；采样间隔为10秒或30秒等；预警上线T是一个调节值，比如0.03就是说100张图像帧中有3张检测有异常，就认为属于不良视频；在MapReduce过程中实现直播间图像提取，包括Map阶段和Reduce阶段；具体在Map阶段接收视频数据，将任务划分成多个子任务，这些子任务被送进不同的计算机进行并行处理；在Reduce阶段每一个Map阶段子任务的计算结果被组合成最终的输出结果，并且Map阶段的输出被持久化的传输到分布式文件系统HDFS中；利用混合高斯模型YCbCr空间进行肤色检测，肤色检测，首先建立混合高斯模型，选择500张不同年龄、性别和光照下的图片作为训练样本，手动分割出这些图片的肤色区域，将切分出来的肤色图像从RGB色彩空间转到YCbCr色彩空间，得到肤色区域的训练数据，统计肤色在CbCr空间中的概率，计算CbCr的均值和协方差，得到用于分割肤色的混合高斯模型；步骤2中所提取的图像被持久化到分布式文件系统HDFS中作为输入图像，然后把颜色空间转化到YCbCr色彩空间中，获得各像素点的CbCr值，计算每个像素点的CbCr值在混合高斯模型中的概率值，将概率值大于训练数据统计阈值的像素点标记为肤色点，并将所有肤色点构成的区域作为图像的肤色区域，然后保留肤色区域，擦除非肤色区域，再对肤色区域进行形态学处理填充小的不连通区域、滤除噪声点，并计算出肤色区域的总面积、肤色区域的块数和每一块的面积，作为判断的相关依据。所述的人脸检测，具体是采用Bootstrap算法，从三个视角分别训练人脸检测器，通过三个人脸检测器的集成实现多视角人脸的检测。Bootstrap算法基本思想是将训练得到的多个具有互补性能的弱分类器通过集成的方法提升为强分类器。三个视角的人脸检测器分别是左45度、右45度、和正面人脸检测器，通过Bootstrap算法分别训练。然后将三个视角在不同区间上训练的检测器进行集成。图像判定是，Reduce阶段收集Map阶段的输出结果，输入是一个＜Key-Value＞键值对，键对应的是<房间id，图像帧id>，值对应的是检测结果 8 CN 108805010 A 说 明 书 6/6页 测效率更高，由于采用云计算架构，直播间不良视频的检测被分配到不同计算机上并行执行，处理速度只与计算机数量有关，通过增加不同数量的计算机，能够满足各种实际应用的需求；通过MapReduce过程实现直播空间的图像提取和通过分布式文件系统HDFS的应用使整个方法的实现更加简单成本也更低。 9 CN 108805010 A 说 明 书 附 图 1/1页 图1 10 因篇幅问题不能全部显示，请点此查看更多更全内容