基于特征金字塔网络的运动目标检测算法

基于特征金字塔网络的运动目标检测算法鄢

酝燥增蚤灶早韵遭躁藻糟贼泽阅藻贼藻糟贼蚤燥灶月葬泽藻凿燥灶孕赠则葬皂蚤凿云藻葬贼怎则藻晕藻贼憎燥则噪泽

林

俪

王

斌渊上海大学通信与信息工程学院袁上海圆园园源源源冤

摘要院目前袁国内外已有许多背景建模算法都取得了不错的成果袁但与基于神经网络进行运动目标检测的算法相比袁它们的综合性能指标云原酝藻葬泽怎则藻仍偏低遥基于特征金字塔网络的结构提出了一种通用后处理方法袁即残差背景网络袁以提高现有的背景建模算法对各类困难场景的处理能力遥通过在悦阅灶藻贼圆园员源数据集上的实验可证明该后处理方法能有效地提升现有的大多数背景建模法的整体性能遥

关键词院运动目标检测曰背景建模曰卷积神经网络曰特征金字塔

粤遭泽贼则葬糟贼押粤早藻灶藻则葬造责燥泽贼原责则燥糟藻泽泽蚤灶早葬责责则燥葬糟澡遭葬泽藻凿燥灶责赠则葬皂蚤凿枣藻葬贼怎则藻灶藻贼憎燥则噪泽熏则藻泽蚤凿怎葬造遭葬糟噪早则燥怎灶凿灶藻贼憎燥则噪泽熏蚤泽责则燥鄄责燥泽藻凿贼燥蚤皂责则燥增藻贼澡藻葬糟糟怎则葬糟赠燥枣藻曾蚤泽贼蚤灶早遭葬糟噪早则燥怎灶凿皂燥凿藻造蚤灶早葬造早燥则蚤贼澡皂蚤灶糟澡葬造造藻灶早蚤灶早增蚤凿藻燥泽糟藻灶藻泽援耘增葬造怎葬贼蚤燥灶责藻则枣燥则皂藻凿燥灶贼澡藻悦阅灶藻贼圆园员源凿葬贼葬泽藻贼则藻增藻葬造泽贼澡葬贼贼澡则燥怎早澡燥怎则葬责责则燥葬糟澡熏皂燥泽贼燥枣遭藻贼贼藻则责藻则枣燥则皂葬灶糟藻援

运藻赠憎燥则凿泽押皂燥增蚤灶早燥遭躁藻糟贼泽凿藻贼藻糟贼蚤燥灶熏遭葬糟噪早则燥怎灶凿皂燥凿藻造蚤灶早熏糟燥灶增燥造怎贼蚤燥灶葬造灶藻怎则葬造灶藻贼憎燥则噪泽熏责赠则葬皂蚤凿枣藻葬贼怎则藻

贼澡藻藻曾蚤泽贼蚤灶早遭葬糟噪早则燥怎灶凿泽怎遭贼则葬糟贼蚤燥灶皂藻贼澡燥凿泽糟葬灶早藻贼

运动目标检测袁指在视频序列中检测出变化区域并将运动目标从背景图像中提取出来袁得到前景图像遥虽然已有许多背景建模算法袁如灾蚤月藻算法咱员暂尧杂怎月杂耘晕杂耘咱圆暂尧陨哉栽陨杂原缘咱猿暂都达到了较高的准确度袁但它们处理各种复杂状况的能力较弱遥深度学习的方法具有更强的特征学习能力袁能利用其获得的深度抽象特征达到更好的处理效果袁在应对各类复杂情况时袁有着明显的检测优势遥文献咱源暂提出了一个卷积神经网络悦燥灶增晕藻贼用于运动目标检测袁特别是对前景阴影和夜间场景有着较好的检测结果曰杂葬噪噪燥泽等人咱缘暂引入了猿阅卷积对最邻近的连续若干帧图像进行处理袁使网络能同时学习空间维度和时间维度上的图像信息袁以提高检测的准确率曰宰葬灶早等人咱远暂提出了一种基于级联结构的卷积神经网络袁并将其命名为悦葬泽糟葬凿藻悦晕晕袁利用图像金字塔结构提高对大尺寸目标的检测能力袁最后通过计算多尺度的输出结果的均值对前景进行分割遥员残差背景网络

基于卷积神经网络的运动目标检测算法在训练过程中袁将图像分割成多个固定大小的图像块作为前向传播的输入遥由于网络训练过程采取监督式学习的方式袁以输入图像中前景与背景的真实分布作为标签遥接着利用反向传播算法不断迭代袁计算各隐藏神经层的神经元袁使关于前向传播过程的输出结果和标签的损失函数最小化遥

在测试阶段袁利用这些学习到的神经元对新输入的图像进行处理袁提取出输入图像的深度抽象特征袁最终根据前向传播过程的输出结果将测试图像中的像素分为前景或背景遥卷积神经网络训练与测试过程的示意图如图员所示遥员援员训练样本

基于卷积神经网络的运动目标检测方法常以人工标注的真值图像作为标签对模型进行训练袁文献眼远演中的实验表示对于简单的视频场景袁只需要缘园帧进行训练遥然而对于更复杂的场景袁如动态场景或孕栽在摄像机拍摄的视频序列袁最好选择更多的训练样本袁即圆园园帧遥为使各个视频的训练样本数量保持一致并且达到更好的训练效果袁残差背景网络的训练样本数量晕设定为

鄢国家自然科学基金渊远员远园员圆愿园冤和教育部渊孕圆园员远园远冤资助

图员网络训练与测试过程示意图

圆园园袁且训练样本中应尽可能多地包含运动目标遥员援圆网络结构

网络层数越深袁图像的语义特征也就越丰富袁但特征图的分辨率也往往越低袁可能会丢失部分空间信息遥低层网络的语义特征较少袁但其高分辨率能维持更细节的位置信息遥运动目标检测对图像的每个像素进行分类袁使最终的输出图像与原始图像保持相同的分辨率袁因此整个网络需要结合高层丰富的语义特征和低层充足的位置信息遥如图圆葬所示袁特征金字塔网络咱苑暂通过横向连接组合相同尺寸的低层特征图和高层特征图袁使网络的输出包含充足的位置信息和语义特征遥

残差背景网络以特征金字塔网络为基础袁以砸郧月图像作为网络的输入袁自底向上的特征金字塔渊参见图圆遭冤进行了三次尺度变化袁用云灶表示第灶个阶段最后一层的输出特征图袁最终生成特征金字塔邀云园袁云员袁云圆袁云猿妖遥

如图圆遭所示袁通过自顶向下的特征金字塔可将低分辨率图重建回高分辨率图遥使用圆作为最邻近上采样因子袁可以得到与邀云园袁云员袁云圆袁云猿妖大小相同的反向特征金字塔邀月猿袁月圆袁月员袁月园妖遥

经过两个反向的特征金字塔后袁通过全连接层建立最终完整的输出图像遥由于全连接操作会把卷积输出的二维特征图转换成一维的袁破坏了图像的空间结构遥因此袁通常采用员鄢员的卷积代替全连接层袁使输出为二维的图像袁且具有与输入相对应的

叶工业控制计算机曳圆园员怨年第猿圆卷第愿期图圆

残差背景网络结构

空间结构袁整体参数设定如表员尧表圆所示遥

表员自底向上的网络参数

表圆自顶向下的网络参数

为了利用浅层特征图的强空间性袁残差背景网络采用多层残差作为横向连接使其与高层特征图结合遥两个特征金字塔的最顶层通过员鄢员的卷积操作相连袁而其余层则如图圆葬所示袁特征图云灶经过员鄢员的卷积后袁与对应具有相同大小的特征图月灶进行相加袁得到下一层的输入遥

残差背景网络学习的是残差图像的特征袁由网络的输出与背景建模法的检测结果进行相减得到袁进而分析各算法的隐藏性质并修正其错误的分类遥

整个卷积神经网络采用砸郧月图像作为输入袁最后经过杂蚤早皂燥蚤凿函数将数据映射到园至员之间袁生成归一化后的灰度图像袁表示该像素被判为前景的概率遥

网络的二元交叉熵损失函数为院

运

蕴越原员

噪曾越员

早曾

造燥早渊责曾

冤垣渊员原早曾

冤造燥早渊员原责曾

冤冤

其中运移渊为输出图像的像素总数袁早曾为像素曾在真值图像上的标签袁责曾为输出图像中像素曾被预测为前景的概率遥圆实验结果

云酝越

圆栽孕垣云孕垣云晕圆栽孕云原酝藻葬泽怎则藻能够反映各类检测算法的整体性能袁栽孕为被正确判为前景的像素数量袁云晕为被错误判为背景的像素数量袁栽晕尧云孕同理遥

由于网络的输出是前景概率图像袁因此需要一个合适的阈值栽澡将图像二值化袁使其仅表示前景和背景两类遥网络输出的前景概率图在不同阈值下的云酝如图猿所示袁园援苑至园援愿的阈值能使最终的二值检测结果得到更高的云酝袁所以后续实验中设定阈值栽澡越园援苑遥

如表猿所示袁各背景建模法经过网络的处理后袁在针对一些极具挑战性的视频类别袁如动态视频尧夜间视频时袁云酝也有着明

113

图猿不同阈值下的云酝

显的提高遥表中最后一行反映了后处理前后各背景建模法的整体性能袁目前最准确的背景建模法的云酝也仅达园援苑愿袁残差背景网络可使各算法的云酝至少提升到园援愿圆遥

表猿

不同类别下各背景建模法及其经过网络处理后的云酝

图源为输入图像尧真值图像尧三种背景建模法的原始结果以及经过网络修复后的输出图像遥网络对各背景建模法的学习过程中袁训练样本保持不变遥残差背景网络能有效地去除噪声袁修正大部分被原算法判成前景的背景区域袁也能对运动目标的空洞进行填补袁且无论网络有多深袁都可依靠特征金字塔的横向连接保留足够的空间信息遥

图源残差背景网络的实验结果

猿结束语

目前基于卷积神经网络的运动目标检测算法都采取的是监督式学习的方式袁网络必须获得先验知识袁后续工作将尝试利用半监督甚至无监督的深度学习方法袁并试图解决网络对应用场景的普遍适应问题遥

渊下转第员员缘页冤

叶工业控制计算机曳圆园员怨年第猿圆卷第愿期115

图缘员园园匀扎时输出电压情况

图猿流体分析压力云图

网格划分后袁设置频率范围为圆园耀圆园园匀扎遥假设在风场作用下袁压电振子表面受到缘园孕葬的压力袁经过计算将其转换为受到园援圆晕的作用力遥为了获得压电振子在变形过程中产生的电压袁将压电片和铜片接触的四个面设为零电位遥

表员

材料参数

其趋势与压电振子的位移曲线基本吻合遥在缘园匀扎的激振频率下袁该风能收集器能够输出源源援愿灾的电压袁足以适用于一般风速场合遥源结束语

在员园皂辕泽的风速下袁压电振子表面可以产生

缘园孕葬左右的压强袁并在这图远激振频率与输出电压的关系曲线种压强及缘园匀扎频率的作用下可以产生源源援愿灾的电压遥通过有限元分析有效地验证了该风能收集器在风能采集领域的有效性遥

参考文献

图源为谐响应分析后得到的压电振子位移曲线袁从图中可以看出铜片位移和频率的关系是一种不规则的波浪形袁并且通过数据分析袁第一峰值在频率为缘远匀扎时取到袁第二峰值则在频率为员源远匀扎时取到袁而最小值则在频率为员员园匀扎时取到遥由于形变的大小决定风能收集器输出电压的大小袁换句话说袁在正常情况下袁当风的频率为缘远匀扎时可以得到压电薄膜输出电压的最大值袁风的频率为员员园匀扎时可以得到输出电压的最小值遥

咱员暂杂澡葬凿砸燥怎灶凿赠熏耘造蚤杂援蕴藻造葬灶凿熏允藻泽泽赠月葬噪藻则熏藻贼葬造援陨皂责则燥增蚤灶早

孕燥憎藻则韵怎贼责怎贼枣燥则灾蚤遭则葬贼蚤燥灶原月葬泽藻凿耘灶藻则早赠杂糟葬增藻灶早藻则泽孕藻则增葬泽蚤增藻糟燥皂责怎贼蚤灶早熏圆园园缘熏源穴员雪

眼允演援

咱圆暂月则蚤葬灶孕葬贼则蚤糟噪韵贼蚤泽援哉造贼则葬原蕴燥憎孕燥憎藻则宰蚤则藻造藻泽泽栽藻糟澡灶燥造燥早蚤藻泽枣燥则咱猿暂砸燥怎灶凿赠杂熏孕运宰则蚤早澡贼熏允砸葬遭葬藻赠援粤泽贼怎凿赠燥枣造燥憎造藻增藻造增蚤遭则葬鄄

贼蚤燥灶泽葬泽葬孕燥憎藻则泽燥怎则糟藻枣燥则宰蚤则藻造藻泽泽泽藻灶泽燥则灶燥凿藻泽眼允演援悦燥皂鄄责怎贼藻则悦燥皂皂怎灶蚤糟葬贼蚤燥灶泽熏圆园园猿熏圆远穴员员雪押员员猿员原员员源源学袁圆园员圆

咱源暂李永贵援高层建筑风荷载与风致弯扭耦合响应研究咱阅暂援长沙院湖南大咱缘暂杂燥凿葬灶燥匀粤熏孕葬则噪郧陨灶皂葬灶阅援耘泽贼蚤皂葬贼蚤燥灶燥枣藻造藻糟贼则蚤糟糟澡葬则早藻

燥怎贼责怎贼枣燥则责蚤藻扎燥藻造藻糟贼则蚤糟藻灶藻则早赠澡葬则增藻泽贼蚤灶早眼允演援杂贼则葬蚤灶熏圆园园源熏源园渊圆冤押源怨原缘愿

杂藻灶泽燥则晕藻贼憎燥则噪泽眼阅演援哉灶蚤增藻则泽蚤贼赠燥枣悦葬造蚤枣燥则灶蚤葬援月藻则噪藻造藻赠援圆园园圆

图源压电振子位移曲线

图缘所示为在员园园匀扎激振频率的作用下袁风能收集器电压的输出情况袁从图中可以看出袁此时风能收集器输出电压峰值可以达到员愿援源灾遥

图远所示为激振频率与输出电压的关系曲线袁从图中可以在缘园耀员员园匀扎的范围内袁输出电压随着激振频率的增大而减小袁

渊上接第员员猿页冤

咱员暂韵造蚤增蚤藻则月熏酝葬则糟灾援灾蚤月藻押葬怎灶蚤增藻则泽葬造遭葬糟噪早则燥怎灶凿泽怎遭贼则葬糟贼蚤燥灶

葬造早燥则蚤贼澡皂枣燥则增蚤凿藻燥泽藻择怎藻灶糟藻泽援眼允演援陨耘耘耘栽则葬灶泽葬糟贼蚤燥灶泽燥灶陨皂鄄杂燥糟蚤藻贼赠熏圆园员员熏圆园穴远雪押员苑园怨原员苑圆源

葬早藻孕则燥糟藻泽泽蚤灶早粤孕怎遭造蚤糟葬贼蚤燥灶燥枣贼澡藻陨耘耘耘杂蚤早灶葬造孕则燥糟藻泽泽蚤灶早咱圆暂杂贼原悦澡葬则造藻泽孕蕴熏月蚤造燥凿藻葬怎郧粤熏月藻则早藻增蚤灶砸援杂怎月杂耘晕杂耘押粤

哉灶蚤增藻则泽葬造悦澡葬灶早藻阅藻贼藻糟贼蚤燥灶酝藻贼澡燥凿憎蚤贼澡蕴燥糟葬造粤凿葬责贼蚤增藻杂藻灶鄄泽蚤贼蚤增蚤贼赠眼允演援陨耘耘耘栽则葬灶泽葬糟贼蚤燥灶泽燥灶陨皂葬早藻孕则燥糟藻泽泽蚤灶早熏圆园员源熏圆源穴员雪咱猿暂月蚤葬灶糟燥杂熏悦蚤燥糟糟葬郧熏杂糟澡藻贼贼蚤灶蚤砸援匀燥憎云葬则悦葬灶再燥怎郧藻贼遭赠

悦燥灶枣藻则藻灶糟藻燥灶陨皂葬早藻粤灶葬造赠泽蚤泽驭孕则燥糟藻泽泽蚤灶早援圆园员苑

咱远暂赵兴强援基于颤振机理的微型压电风致振动能量收集器基础理论与咱苑暂王军龙援基于压电材料的振动发电装置的研究咱阅暂援镇江院江苏大学袁

圆园员园

咱收稿日期院圆园员怨援源援员员暂

关键技术咱阅暂援重庆院重庆大学袁圆园员猿

陨灶贼藻则灶葬贼蚤燥灶葬造悦燥灶枣藻则藻灶糟藻燥灶杂赠泽贼藻皂泽熏杂蚤早灶葬造泽葬灶凿陨皂葬早藻孕则燥鄄

参考文献

咱缘暂杂葬噪噪燥泽阅熏蕴蚤怎匀熏匀葬灶允熏藻贼葬造援耘灶凿原贼燥原藻灶凿增蚤凿藻燥遭葬糟噪早则燥怎灶凿

泽怎遭贼则葬糟贼蚤燥灶憎蚤贼澡猿凿糟燥灶增燥造怎贼蚤燥灶葬造灶藻怎则葬造灶藻贼憎燥则噪泽眼允演援酝怎造贼蚤皂藻鄄凿蚤葬栽燥燥造泽葬灶凿粤责责造蚤糟葬贼蚤燥灶泽熏圆园员苑熏苑苑穴远雪

咱远暂宰葬灶早再熏蕴怎燥在熏允燥凿燥蚤灶孕酝援陨灶贼藻则葬糟贼蚤增藻阅藻藻责蕴藻葬则灶蚤灶早酝藻贼澡燥凿

枣燥则杂藻早皂藻灶贼蚤灶早酝燥增蚤灶早韵遭躁藻糟贼泽眼允演援孕葬贼贼藻则灶砸藻糟燥早灶蚤贼蚤燥灶蕴藻贼鄄贼藻则泽熏圆园员远押杂园员远苑愿远缘缘员远猿园圆源苑员

咱苑暂蕴蚤灶栽再熏阅燥造造佗则孕蚤燥贼则熏郧蚤则泽澡蚤糟噪砸熏藻贼葬造援云藻葬贼怎则藻孕赠则葬皂蚤凿晕藻贼鄄

憎燥则噪泽枣燥则韵遭躁藻糟贼阅藻贼藻糟贼蚤燥灶眼允演援圆园员苑陨耘耘耘悦燥灶枣藻则藻灶糟藻燥灶悦燥皂责怎贼藻则灾蚤泽蚤燥灶葬灶凿孕葬贼贼藻灶砸藻糟燥早灶蚤贼蚤燥灶穴悦灾孕砸雪陨耘耘耘悦燥皂鄄责怎贼藻则杂燥糟蚤藻贼赠熏圆园员苑

咱收稿日期院圆园员怨援缘援员缘暂

糟藻泽泽蚤灶早穴陨宰杂杂陨孕雪援陨耘耘耘熏圆园员远

悦燥皂遭蚤灶蚤灶早悦澡葬灶早藻阅藻贼藻糟贼蚤燥灶粤造早燥则蚤贼澡皂泽芽眼悦演辕辕陨灶贼藻则灶葬贼蚤燥灶葬造

咱源暂月则葬澡葬皂酝熏阅则燥燥早藻灶遭则燥藻糟噪酝灾援阅藻藻责遭葬糟噪早则燥怎灶凿泽怎遭贼则葬糟贼蚤燥灶

憎蚤贼澡泽糟藻灶藻原泽责藻糟蚤枣蚤糟糟燥灶增燥造怎贼蚤燥灶葬造灶藻怎则葬造灶藻贼憎燥则噪泽眼悦演辕辕圆园员远