(12)发明专利申请
(10)申请公布号(10)申请公布号 CN 103714350 A(43)申请公布日 2014.04.09
(21)申请号 201310687910.7(22)申请日 2013.12.13
(71)申请人安徽科大讯飞信息科技股份有限公
司
地址230088 安徽省合肥市高新开发区望江
西路666号(72)发明人魏岩 雷琴辉 竺博 李腾 魏征
庄纪军 郭涛(74)专利代理机构北京维澳专利代理有限公司
11252
代理人王立民 吉海莲(51)Int.Cl.
G06K 9/64(2006.01)G06F 17/30(2006.01)
(54)发明名称
基于台标位置的电视广告检测方法及系统(57)摘要
本发明公开了一种基于台标位置的电视广告检测方法及系统，该方法包括：获取实时电视视频；从实时电视视频中提取台标名称和台标位置；从台标模板库中获取与台标名称对应的台标位置模板；根据台标位置和台标位置模板，确定台标偏移量；根据台标偏移量，对设定时间段内实时电视视频中的每帧图像进行偏移，得到偏移后图像；提取偏移后图像的图像特征，得到图像特征序列；判断广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；如果存在，则输出台标名称和广告模板库中与图像特征序列模板相对应的广告名称。本发明解决了画面偏移而带来的匹配错误问题，提高了广告检测的准确性。CN 103714350 A权利要求书3页 说明书8页 附图5页权利要求书3页 说明书8页 附图5页
CN 103714350 A
权 利 要 求 书
1/3页
1.一种基于台标位置的电视广告检测方法，其特征在于，包括：获取实时电视视频；
从所述实时电视视频中提取台标名称和台标位置；
从台标模板库中获取与所述台标名称对应的台标位置模板；根据所述台标位置和所述台标位置模板，确定台标偏移量；根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像；
提取所述偏移后图像的图像特征，得到图像特征序列；
判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；
如果存在，则输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：离线构建所述台标模板库和所述广告模板库，所述离线构建所述台标模板库和所述广告模板库包括：
获取多个广告视频；
提取所述广告视频中的台标名称、台标位置、以及图像特征序列；
将对应所述台标名称的台标位置作为台标位置模板保存到台标模板库；
将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。3.根据权利要求2所述的方法，其特征在于，所述提取所述广告视频中的台标名称和台标位置包括：
获取所述广告视频的任意一帧图像；截取所述图像的左上角区域；提取所述左上角区域的边缘特征；根据所述边缘特征，获取所述台标名称和台标位置。4.根据权利要求2所述的方法，其特征在于，所述提取所述广告视频中的图像特征序列包括：
依次对所述广告视频中的每帧图像，截取所述图像的中间部分并提取所述中间部分的图像特征，得到所述广告视频中的图像特征序列。
5.根据权利要求1所述的方法，其特征在于，所述从所述实时电视视频中提取台标名称和台标位置包括：
获取所述实时电视视频的当前帧的图像；截取所述图像的左上角区域；提取所述左上角区域的边缘特征；根据所述边缘特征，获取所述台标名称和台标位置。6.根据权利要求1所述的方法，其特征在于，所述提取偏移后图像的图像特征包括：截取所述偏移后图像的中间部分，并提取所述中间部分的图像特征。7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像包括：
根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得
2
CN 103714350 A
权 利 要 求 书
2/3页
到第一偏移图像；
对所述第一偏移图像进行二次偏移，得到所述偏移后图像；其中，所述对所述第一偏移图像进行二次偏移包括：
将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。8.一种基于台标位置的电视广告检测系统，其特征在于，包括：在线视频获取单元，用于获取实时电视视频；在线台标提取单元，用于从所述实时电视视频中提取台标名称和台标位置；偏移量确定单元，用于从台标模板库中获取与所述台标名称对应的台标位置模板；并且根据所述台标位置和所述台标位置模板，确定台标偏移量；
偏移后图像确定单元，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像；
在线图像特征提取单元，用于提取所述偏移后图像的图像特征，得到图像特征序列；判断单元，用于判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；
输出单元，用于在所述广告模板库中存在包含全部或部分所述图像特征序列的图像特征序列模板时，输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：模板库离线构建单元，用于离线构建所述台标模板库和所述广告模板库，所述模板库离线构建单元包括：
广告视频获取单元，用于获取多个广告视频；离线台标提取单元，用于提取所述广告视频中的台标名称和台标位置；离线图像特征提取单元，用于提取所述广告视频中的图像特征序列；子构建单元，用于将对应所述台标名称的台标位置作为台标位置模板保存到台标模板库；将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。
10.根据权利要求9所述的系统，其特征在于，所述离线台标提取单元包括：离线图像获取单元，用于获取所述广告视频的任意一帧图像；离线截取单元，用于截取所述图像的左上角区域；离线边缘特征提取单元，用于提取所述左上角区域的边缘特征；离线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置。11.根据权利要求9所述的系统，其特征在于，所述离线图像特征提取单元具体用于：依次对所述广告视频中的每帧图像，截取所述图像的中间部分并提取所述中间部分的图像特征，得到所述广告视频中的图像特征序列。
12.根据权利要求8所述的系统，其特征在于，所述在线台标提取单元包括：在线图像获取单元，用于获取所述实时电视视频的当前帧的图像；在线截取单元，用于截取所述图像的左上角区域；在线边缘特征提取单元，用于提取所述左上角区域的边缘特征；
3
CN 103714350 A
权 利 要 求 书
3/3页
在线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置。13.根据权利要求8所述的系统，其特征在于，所述在线图像特征提取单元具体用于截取所述偏移后图像的中间部分，并提取所述中间部分的图像特征。
14.根据权利要求8至13任一项所述的系统，其特征在于，所述偏移后图像确定单元包括：
一次偏移单元，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到第一偏移图像；
二次偏移单元，用于对所述第一偏移图像进行二次偏移，得到所述偏移后图像；所述二次偏移单元具体用于：将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。
4
CN 103714350 A
说 明 书
基于台标位置的电视广告检测方法及系统
1/8页
技术领域
[0001]
本发明涉及图像处理领域，尤其涉及一种基于台标位置的电视广告检测方法及系
统。背景技术
现有技术中的电视视频检测系统，主要用于从视频中检测出当前播放的广告的名
称，计算出该广告的起始时间，具有很大的实用价值和市场前景。具体方法是，利用事先建立好的广告模型，与当前播放的广告的视频信息进行匹配，理论上可以很好地检测出当前播放的广告属于哪一个广告模板。但是，在实际应用中，相同的广告会存在一些变化，如图像画面的失真、丢帧和广告画面的整体偏移等等，这些干扰因素将会导致广告检测失败，从而制约了电视视频检测系统的准确性及其推广。
[0002]
发明内容
[0003] 本发明的目的在于针对现有技术中对偏移后的图像识别不准的不足，提供了一种基于台标位置的电视广告检测方法及系统，通过预先计算台标位置估计出偏移量，然后再进行电视广告检测的方法，提高了电视广告检测的准确性。[0004] 为实现上述目的，本发明的技术方案是：[0005] 一种基于台标位置的电视广告检测方法，包括：[0006] 获取实时电视视频；
[0007] 从所述实时电视视频中提取台标名称和台标位置；
[0008] 从台标模板库中获取与所述台标名称对应的台标位置模板；[0009] 根据所述台标位置和所述台标位置模板，确定台标偏移量；[0010] 根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像；
[0011] 提取所述偏移后图像的图像特征，得到图像特征序列；
[0012] 判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；
[0013] 如果存在，则输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。[0014] 优选的是，离线构建所述台标模板库和所述广告模板库，所述离线构建所述台标模板库和所述广告模板库包括：[0015] 获取多个广告视频；
[0016] 提取所述广告视频中的台标名称、台标位置、以及图像特征序列；
[0017] 将对应所述台标名称的台标位置作为台标位置模板保存到台标模板库；
[0018] 将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。[0019] 优选的是，所述提取所述广告视频中的台标名称和台标位置包括：
5
CN 103714350 A[0020] [0021] [0022] [0023] [0024] [0025]
说 明 书
2/8页
获取所述广告视频的任意一帧图像；截取所述图像的左上角区域；提取所述左上角区域的边缘特征；根据所述边缘特征，获取所述台标名称和台标位置。优选的是，所述提取所述广告视频中的图像特征序列包括：
依次对所述广告视频中的每帧图像，截取所述图像的中间部分并提取所述中间部
分的图像特征，得到所述广告视频中的图像特征序列。[0026] 优选的是，所述从所述实时电视视频中提取台标名称和台标位置包括：[0027] 获取所述实时电视视频的当前帧的图像；[0028] 截取所述图像的左上角区域；[0029] 提取所述左上角区域的边缘特征；[0030] 根据所述边缘特征，获取所述台标名称和台标位置。[0031] 优选的是，所述提取偏移后图像的图像特征包括：[0032] 截取所述偏移后图像的中间部分，并提取所述中间部分的图像特征。[0033] 优选的是，所述根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像包括：[0034] 根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到第一偏移图像；
[0035] 对所述第一偏移图像进行二次偏移，得到所述偏移后图像；其中，所述对所述第一偏移图像进行二次偏移包括：
[0036] 将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者[0037] 将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者[0038] 将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者[0039] 将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。[0040] 一种基于台标位置的电视广告检测系统，包括：[0041] 在线视频获取单元，用于获取实时电视视频；[0042] 在线台标提取单元，用于从所述实时电视视频中提取台标名称和台标位置；[0043] 偏移量确定单元，用于从台标模板库中获取与所述台标名称对应的台标位置模板；并且根据所述台标位置和所述台标位置模板，确定台标偏移量；偏移后图像确定单元，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像；[0045] 在线图像特征提取单元，用于提取所述偏移后图像的图像特征，得到图像特征序列；
[0046] 判断单元，用于判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；[0047] 输出单元，用于在所述广告模板库中存在包含全部或部分所述图像特征序列的图像特征序列模板时，输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。
[0048] 优选的是，所述系统还包括：模板库离线构建单元，用于离线构建所述台标模板库
[0044]
6
CN 103714350 A
说 明 书
3/8页
和所述广告模板库，所述模板库离线构建单元包括：[0049] 广告视频获取单元，用于获取多个广告视频；[0050] 离线台标提取单元，用于提取所述广告视频中的台标名称和台标位置；[0051] 离线图像特征提取单元，用于提取所述广告视频中的图像特征序列；[0052] 子构建单元，用于将对应所述台标名称的台标位置作为台标位置模板保存到台标模板库；将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。[0053] 优选的是，所述离线台标提取单元包括：[0054] 离线图像获取单元，用于获取所述广告视频的任意一帧图像；[0055] 离线截取单元，用于截取所述图像的左上角区域；[0056] 离线边缘特征提取单元，用于提取所述左上角区域的边缘特征；[0057] 离线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置。[0058] 优选的是，所述离线图像特征提取单元具体用于：[0059] 依次对所述广告视频中的每帧图像，截取所述图像的中间部分并提取所述中间部分的图像特征，得到所述广告视频中的图像特征序列。[0060] 优选的是，所述在线台标提取单元包括：[0061] 在线图像获取单元，用于获取所述实时电视视频的当前帧的图像；[0062] 在线截取单元，用于截取所述图像的左上角区域；[0063] 在线边缘特征提取单元，用于提取所述左上角区域的边缘特征；[0064] 在线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置。[0065] 优选的是，所述在线图像特征提取单元具体用于截取所述偏移后图像的中间部分，并提取所述中间部分的图像特征。[0066] 优选的是，所述偏移后图像确定单元包括：[0067] 一次偏移单元，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到第一偏移图像；[0068] 二次偏移单元，用于对所述第一偏移图像进行二次偏移，得到所述偏移后图像；[0069] 所述二次偏移单元具体用于：[0070] 将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者[0071] 将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者[0072] 将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者[0073] 将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。[0074] 本发明的有益效果在于：本发明提供的基于台标位置的电视广告检测方法及系统，解决了画面偏移而带来的匹配错误问题，从而提高了广告电视检测的准确性。另外，所述电视广告检测方法结合部分位置偏移的搜索，降低了全局遍历搜索的计算复杂度，使其在实时系统中得以应用。
附图说明
[0075] 为了更清楚地说明本发明实施的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
7
CN 103714350 A[0076]
说 明 书
4/8页
图1示出了本发明实施例离线构建台标模板库和广告模板库的流程图；
[0077] 图2示出了本发明实施例基于台标位置的电视广告检测方法的流程图；
[0078] 图3示出了对设定时间段内实时电视视频中的每帧图像进行偏移的方法流程图；[0079] 图4示出了本发明所述的基于台标位置的电视广告检测方法和应用现有技术中的全局遍历的检测方法的效果对比图；
[0080] 图5示出了本发明实施例基于台标位置的电视广告检测系统的结构示意图；[0081] 图6示出了本发明实施例模板库离线构建单元的结构示意图。
具体实施方式
[0082] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0083] 本发明针对现有技术中对偏移后的图像识别不准的不足，提供了一种基于台标位置的电视广告检测方法，通过预先计算台标位置估计出偏移量，然后再进行电视广告检测的方法，提高了电视广告检测的准确性。[0084] 在进行广告检测之前，首先应离线构建两个模板库：台标模板库和广告模板库，台标模板库中存储有多组彼此对应的台标名称和台标位置模板，广告模板库中存储有多组彼此对应的台标名称、广告名称和图像特征序列模板。[0085] 如图1所示，是本发明实施例离线构建所述台标模板库和所述广告模板库的方法流程图，所述离线构建的方法包括以下步骤：[0086] 步骤101：获取多个广告视频。[0087] 具体地，利用机顶盒与高清视频采集卡获取多个广告视频。[0088] 步骤102：提取所述广告视频中的台标名称、台标位置、以及图像特征序列。[0089] 具体地，一般来讲，台标都位于左上角的位置，因此，提取台标名称和台标位置时，只需要提取图像左上角的部分，例如左上角200*100像素的区域，节省了提取边缘的时间，提高了台标检测的效率。基于此，所述提取所述广告视频中的台标名称和台标位置包括以下步骤：
[0090] 获取所述广告视频的任意一帧图像；[0091] 截取所述图像的左上角区域；[0092] 提取所述左上角区域的边缘特征，在此实施例中本发明采用canny算子提取边缘特征，由于采用canny算子提取图像的边缘特征是本领域技术人员惯常采用的技术手段，因此在此不再进行赘述；[0093] 根据所述边缘特征，获取所述台标名称和台标位置。[0094] 另外，一般来讲，广告视频中的重要信息都集中在每帧图像的中间部分(x,y,width,height)，并且图像周边会存在黑边与添加的广告字幕的干扰，因此，本发明采用以下方法提取广告视频中的图像特征序列：依次对所述广告视频中的每帧图像，截取所述图像的中间部分(x,y,width,height)并提取所述中间部分的图像特征，得到所述广告视频中的图像特征序列。在此实施例中，本发明采用HOG特征和颜色三阶矩提取图像特
8
CN 103714350 A
说 明 书
5/8页
征，其中对于颜色三阶矩的提取方法，颜色一阶矩（均值）的求解公式为颜
色二阶矩（方差）的求解公式为颜色三阶矩（斜率）的求解公式为
由于采用HOG特征和颜色三阶矩的方法提取图像特征是本领域技
术人员惯常采用的技术手段，因此在此不再进行赘述。
[0095]
步骤103：将对应所述台标名称的台标位置作为台标位置模板保存到台标模板
库。
步骤104：将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。
[0097] 如图2所示，是本发明实施例基于台标位置的电视广告检测方法的流程图，在开始检测之前，需加载离线构建的台标模板库和广告模板库，这里，模板库的资源加载是全局性的，在整个引擎初始化时加载一次即可，全局加载的模板库中的数据将在后续的检测步骤中陆续被调用。
[0098] 所述检测方法包括以下步骤：[0099] 步骤201：获取实时电视视频。[0100] 具体地，利用机顶盒与高清视频采集卡，获取实时电视视频。[0101] 步骤202：从所述实时电视视频中提取台标名称和台标位置(x2,y2)。[0102] 具体地，与提取广告视频中的台标名称和台标位置类似，提取实时电视视频中的台标名称和台标位置时，同样只需要提取图像左上角的部分，例如左上角200*100像素的区域，从而节省了提取边缘的时间，提高了台标检测的效率。基于此，所述从实时电视视频中提取台标名称和台标位置的方法包括以下步骤：[0103] 获取所述实时电视视频的当前帧的图像；[0104] 截取所述图像的左上角区域；[0105] 提取所述左上角区域的边缘特征，在此实施例中本发明采用canny算子提取边缘特征；
[0106] 根据所述边缘特征，获取所述台标名称和台标位置(x2,y2)。[0107] 步骤203：从台标模板库中获取与所述台标名称对应的台标位置模板(x1,y1)。[0108] 步骤204：根据所述台标位置(x2,y2)和所述台标位置模板(x1,y1)，确定台标偏移量(Δx,Δy)，其中Δx=x2-x1，Δy=y2-y1。[0109] 步骤205：根据所述台标偏移量(Δx,Δy)，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像。[0110] 具体地，对于同一实时电视视频来说，每帧图像的画面偏移往往具有整体性，即每帧图像的台标与画面内容会产生同等距离的偏移。基于此，需要根据已经获取的台标偏移量(Δx,Δy)对检测时间段内的实时电视视频中的每帧图像进行偏移，从而克服图像偏移带来的匹配失败的问题。
[0096]
9
CN 103714350 A[0111]
说 明 书
6/8页
步骤206：提取所述偏移后图像的图像特征，得到图像特征序列。
[0112] 具体地，与提取广告视频中的图像特征序列类似，提取实时电视视频中的图像特征序列时，同样只需要提取图像的中间部分，基于此，所述提取偏移后图像的图像特征包括：截取所述偏移后图像的中间部分(x+Δx,y+Δy,width,height)，并提取所述中间部分(x+Δx,y+Δy,width,height)的图像特征。
步骤207：判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的
图像特征序列模板。[0114] 步骤208：如果所述广告模板库中存在包含全部或部分所述图像特征序列的图像特征序列模板，则输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。
[0115] 具体地，所述检测方法还包括在步骤208之后，利用广告时长进行进一步筛选：[0116] 假设通过步骤208从广告模板库中筛选出N个图像特征序列模板；
[0117] 按照步骤205和206的方法对所述设定时间段之后的后续时间段内所述实时视频中的每帧图像进行偏移和图像特征提取，得到后续图像特征序列。这里，所述后续时间段的设定得较长，通常大于一个普通广告的时长，以确保实时电视视频中的某个广告全部落入此两个时间段内；
[0118] 将对应所述设定的时间段的图像特征序列与所述后续图像特征序列连接起来，形成总图像特征序列；
[0119] 依次对于上述N个图像特征序列模板中的每个图像特征序列模板，判断所述总图像特征序列是否包含全部所述图像特征序列模板，如果是，则进一步确定所述总图像特征序列与所述图像特征序列模板相匹配，输出所述广告模板库中与所述图像特征序列模板相对应的广告名称。经过进一步筛选，提高了广告检测结果的可靠性。之后，如果实时电视视频未结束，则继续进行下一轮的广告检测。[0120] 特别地，通过上述步骤206对实时电视视频中的图像进行的偏移可能存在一定的误差，并不一定很准确，因此，本发明进一步提供了一种对图像进行二次偏移的方法，具体请参照图3，是对设定时间段内所述实时电视视频中的每帧图像进行偏移的方法，所述方法包括以下步骤：[0121] 步骤301：根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到第一偏移图像；
[0113]
步骤302：对所述第一偏移图像进行二次偏移，得到所述偏移后图像；其中，所述对所述第一偏移图像进行二次偏移包括：[0123] 将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者[0124] 将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者[0125] 将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者[0126] 将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。
[0127] 下面以移动一个设定的间距像素为例说明对第一偏移图像进行二次偏移的方法，二次偏移后得到的偏移后图像，偏移后图像的中间部分表示为(x′,y′,width,height)：所述二次偏移的方法满足以下公式：x′=x+Δx+offx*K，y′=y+Δy+offy*K；width′=width；height′=height，其中-1≤offx≤1，-1≤offy≤1，K是搜索的间距
[0122]
10
CN 103714350 A
说 明 书
7/8页
像素，即将所述第一偏移图像分别向左、向上移动一个设定的间距像素K；或者将所述第一偏移图像分别向左、向下移动一个设定的间距像素K；或者将所述第一偏移图像分别向右、向上移动一个设定的间距像素K；或者将所述第一偏移图像分别向右、向下移动一个设定的间距像素K。通过上述在一次偏移的基础上加入二次偏移的方法，即加入了小范围的偏移搜索，提高了搜索的准确性，从而降低了全局搜索带来的计算复杂度。
[0128] 图4是应用本发明所述的基于台标位置的电视广告检测方法和应用现有技术中的全局遍历的检测方法的效果对比图，其中，横坐标是处理视频的时长，纵坐标是处理消耗的时间，并且所述全局遍历的全局搜索范围是选择的广告截取区域周围10*10的范围，对于每一次运算都要执行100次偏移搜索，而利用本发明所述的基于台标位置的电视广告检测方法只需要在初始时刻计算出台标偏移量，从而减少了搜索的次数，将时间复杂度降低。另外，考虑到电视换台的情况，在检测出台标位置信息后，每次都用当前的台标位置与初次判断出的结果进行对比，若出现较大偏差，则重新进行台标位置检测，从而能够适应频道变换的情况。[0129] 综上，与现有技术中电视视频检测方法相比，本发明提供的基于台标位置的电视广告检测方法，解决了画面偏移而带来的匹配错误问题，从而提高了广告电视检测的准确性。另外，所述电视广告检测方法结合部分位置偏移的搜索，降低了全局遍历搜索的计算复杂度，使其在实时系统中得以应用。相应地，本发明实施例还提供一种基于台标位置的电视广告检测系统，如图5所示，是该系统的结构示意图。[0131] 在该实施例中，所述基于台标位置的电视广告检测系统包括：[0132] 在线视频获取单元501，用于获取实时电视视频；[0133] 在线台标提取单元502，用于从所述实时电视视频中提取台标名称和台标位置。具体地，所述在线台标提取单元502包括：在线图像获取单元，用于获取所述实时电视视频的当前帧的图像；在线截取单元，用于截取所述图像的左上角区域；在线边缘特征提取单元，用于提取所述左上角区域的边缘特征；和在线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置；[0134] 偏移量确定单元503，用于从台标模板库中获取与所述台标名称对应的台标位置模板；并且根据所述台标位置和所述台标位置模板，确定台标偏移量；[0135] 偏移后图像确定单元504，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中的每帧图像进行偏移，得到偏移后图像；[0136] 在线图像特征提取单元505，用于提取所述偏移后图像的图像特征，得到图像特征序列。具体地，所述在线图像特征提取单元505具体用于截取所述偏移后图像的中间部分，并提取所述中间部分的图像特征，得到图像特征序列；[0137] 判断单元506，用于判断所述广告模板库中是否存在包含全部或部分所述图像特征序列的图像特征序列模板；[0138] 输出单元507，用于在所述广告模板库中存在包含全部或部分所述图像特征序列的图像特征序列模板时，输出所述台标名称和所述广告模板库中与所述图像特征序列模板相对应的广告名称。
[0130] [0139]
本实施例中所述的偏移后图像确定单元504包括：
11
CN 103714350 A[0140]
说 明 书
8/8页
一次偏移单元，用于根据所述台标偏移量，对设定时间段内所述实时电视视频中
的每帧图像进行偏移，得到第一偏移图像；[0141] 二次偏移单元，用于对所述第一偏移图像进行二次偏移，得到所述偏移后图像；所述二次偏移单元具体用于：
[0142] 将所述第一偏移图像分别向左、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向左、向下移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向上移动一个或多个设定的间距像素；或者将所述第一偏移图像分别向右、向下移动一个或多个设定的间距像素。
[0143] 上述台标模板库和广告模板库是离线构建的，从而所述检测系统还包括模板库离线构建单元，用于离线构建所述台标模板库和所述广告模板库，如图6所示，是所述模板库离线构建单元的结构示意图，所述模板库离线构建单元包括：[0144] 广告视频获取单元601，用于获取多个广告视频；[0145] 离线台标提取单元602，用于提取所述广告视频中的台标名称和台标位置。具体地，所述离线台标提取单元602包括：离线图像获取单元，用于获取所述广告视频的任意一帧图像；离线截取单元，用于截取所述图像的左上角区域；离线边缘特征提取单元，用于提取所述左上角区域的边缘特征；和离线台标获取单元，用于根据所述边缘特征，获取所述台标名称和台标位置；
离线图像特征提取单元603，用于提取所述广告视频中的图像特征序列。具体地，
所述离合图像特征提取单元具体用于：依次对所述广告视频中的每帧图像，截取所述图像的中间部分并提取所述中间部分的图像特征，得到所述广告视频中的图像特征序列；[0147] 子构建单元604，用于将对应所述台标名称的台标位置作为台标位置模板保存到台标模板库；将对应所述台标名称的图像特征序列作为图像特征序列模板保存到广告模板库。
[0148] 综上，与现有技术中电视视频检测系统相比，本发明提供的基于台标位置的电视广告检测系统，解决了画面偏移而带来的匹配错误问题，从而提高了广告电视检测的准确性。另外，所述电视广告检测系统结合部分位置偏移的搜索，降低了全局遍历搜索的计算复杂度，使其在实时系统中得以应用。
[0149] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0150] 以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
[0146]
12
CN 103714350 A
说 明 书 附 图
1/5页
图1
13
CN 103714350 A
说 明 书 附 图
2/5页
图2
14
CN 103714350 A
说 明 书 附 图
3/5页
图3
图4
15
CN 103714350 A
说 明 书 附 图
4/5页
图5
16
CN 103714350 A
说 明 书 附 图
5/5页
图6
17
因篇幅问题不能全部显示，请点此查看更多更全内容