(12)发明专利申请
(10)申请公布号 CN 108241871 A(43)申请公布日 2018.07.03
(21)申请号 201711446522.4(22)申请日 2017.12.27
(71)申请人 华北水利水电大学
地址 450045 河南省郑州市金水区北环路
36号(72)发明人 何培培 翟燕 马开锋 黄桂平 (74)专利代理机构 郑州中原专利事务所有限公
司 41109
代理人 王晓丽 李想(51)Int.Cl.
G06K 9/62(2006.01)G06K 9/46(2006.01)G06K 9/03(2006.01)G06K 9/00(2006.01)
权利要求书1页 说明书6页 附图2页
CN 108241871 A(54)发明名称
基于多特征的激光点云与影像融合数据分类方法(57)摘要
基于多特征的激光点云与影像融合数据分类方法：步骤1数据预处理：对航空影像和无人机载激光点云数据进行预先处理；步骤2样本提取：综合利用点云数据提供的几何特征以及航空影像提供的光谱特征进行各类别样本提取；步骤3基于多特征的融合数据分类：根据样本数据使用向量描述模型进行分类；步骤4精度评定：对分类后的数据进行精度评定。本发明地物提取完整，分类精度高。本发明从融合影像光谱信息的角度出发，并根据应用目的及地物分类需求进行数据融合，并针对分类的主要地物设定相应的分类规则，建立分类类别和分类特征之间的对应关系，能够提取比较完整的地物区域，减少误分类现象。
CN 108241871 A
权 利 要 求 书
1/1页
1.基于多特征的激光点云与影像融合数据分类方法，其特征在于：步骤1数据预处理：对航空影像和无人机载激光点云数据进行预先处理；步骤2样本提取：综合利用点云数据提供的几何特征以及航空影像提供的的光谱特征进行各类别样本提取；
步骤3基于多特征的融合数据分类：根据样本数据使用向量描述模型进行分类；步骤4精度评定：对分类后的数据进行精度评定。
2.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述数据预处理中对影像进行基于像斑的彩色分割处理。
3.如权利要求2所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：对影像进行基于像斑的彩色分割处理采用OSTU算法对影像进行自适应分割。
4.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述数据预处理中激光点云数据进行点云滤波处理。
5.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述数据预处理中激光点云数据采用小尺度的规则格网压缩和组织点云数据。
6.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述步骤2具体包括：
步骤2.1：确定待分类类别：根据输入数据确定分类类别；步骤2.2：点云特征空间建立：根据样本的属性信息建立每一个激光点的特征描述；步骤2.3：分类线索归纳：根据融合数据特征作为分类线索；步骤2.4：选择训练样本：结合分类线索，依次选取每一类别具有代表性特征的若干样本数据集，人工判定类别。
7.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述步骤3采用词袋（bag of words）模型对数据进行分类。
8.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述步骤3的具体过程如下：
步骤3.1：特征提取：利用影像数据提供的光谱特征提取点云数据特征；步骤3.2：特征空间建立：通过各个类别样本统计的先验知识，构造通过加权组合形式的特征向量；
步骤3.3：空间聚类：根据特征描述子之间的空间距离，将具有相似的局部特征聚集成不同的类别。
9.如权利要求8所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述空间聚类采用K均值聚类算法，具体过程如下：
①确定初始聚类中心：初始聚类中心随机选取，或者根据先验知识指定；②分配样本类别：计算每个样本到聚类中心的欧式距离；③根据每个类别数据对象的平均值计算新的聚类中心，若聚类中心没有发生变化，则代表算法收敛，聚类结束；若聚类中心发生变化，则返回第②步重新分配类别，直到聚类中心不发生变化为止。
10.如权利要求1所述的基于多特征的激光点云与影像融合数据分类方法，其特征在于：所述步骤4采用混淆矩阵评价分类结果。
2
CN 108241871 A
说 明 书
基于多特征的激光点云与影像融合数据分类方法
1/6页
技术领域
[0001]本发明涉及一种数据分类方法，具体涉及基于多特征的激光点云与影像融合数据分类方法。
背景技术
[0002]传统地物分类的数据源主要来自航空航天摄影的遥感影像，依据影像的光谱、纹理等特征进行分类，但是容易受时间、气候以及天气影响，特别是近年来我国空气质量的严重下降，已难以满足实际应用的需求。而激光雷达技术（Light Detection And Ranging，LiDAR）作为一种新型的主动式遥感技术，能够快速、准确、及时地获取地球表面遥感数据，使其在重大自然灾害应急响应、低空大比例尺高精度测图、城市规划或地物三维模型重建以及城市植被分析等情况下，拥有卫星遥感和普通航空遥感不可取代的作用。不少文献已表明在许多情况下，激光点云结合其他数据源，例如高分辨率遥感影像、多光谱数据等，可以改善分类结果，提高分类精度。因此，融合机载LiDAR 获取的海量激光点云和影像数据进行快速而精确的解译已成为国内外研究人员的关注热点。[0003]在当前激光点云与影像融合数据分类研究中，大多数研究人员采用的是借助于点云数据的高精度三维空间信息，利用成熟的影像分类技术完成地物分类需求，例如Charaniya 等人根据LiDAR 点云数据提供的高程，高程纹理，激光强度以及多次回波等多种特性和航空影像提供的亮度信息作为分类特征；苏伟等利用 LiDAR点云生成的DSM、QuickBird 遥感影像和NDVI数据进行多尺度分割，利用面向对象的方法划分城区土地利用覆盖面积，可使分类精度得到明显改善；杨耘等人首先利用面向对象的方法对航空影像进行分割，然后结合航空影像的光谱、形状和上下文信息，以及LiDAR表面的粗糙度和高程特征，构建SVM分类器对点云进行分类，试验表明该方法综合利用了面向对象的影像分割方法以及基于机器学习的SVM分类器，可以提高城区遥感影像分类的可靠性；此外，也有一些专家选择以点云为主，而利用影像的光谱信息增加维度进行地物目标识别与分类，其中，Rottensteiner应用 Dempster–Shafer 原理融合多光谱航空影像和LiDAR 数据来检测建筑物，并根据影像像素的各种属性（如：颜色，高度变量和表面粗糙度等）实现了基于像素的分类，然后通过区域方式验证分类结果。发明内容
[0004]为解决上述问题，本发明提供基于多特征的激光点云与影像融合数据分类方法。[0005]本发明的技术方案具体为：
基于多特征的激光点云与影像融合数据分类方法：步骤1数据预处理：对航空影像和无人机载激光点云数据进行预先处理；步骤2样本提取：综合利用点云数据提供的几何特征以及航空影像提供的的光谱特征进行各类别样本提取；
步骤3基于多特征的融合数据分类：根据样本数据使用向量描述模型进行分类；
3
CN 108241871 A
说 明 书
2/6页
步骤4精度评定：对分类后的数据进行精度评定。[0006]进一步的：所述数据预处理中对影像进行基于像斑的彩色分割处理。[0007]进一步的：对影像进行基于像斑的彩色分割处理采用OSTU算法对影像进行自适应分割。
[0008]进一步的：所述数据预处理中激光点云数据进行点云滤波处理。[0009]进一步的：所述数据预处理中激光点云数据采用小尺度的规则格网压缩和组织点云数据。
[0010]进一步的：所述步骤2具体包括：
步骤2.1：确定待分类类别：根据输入数据确定分类类别；步骤2.2：点云特征空间建立：根据样本的属性信息建立每一个激光点的特征描述；步骤2.3：分类线索归纳：根据融合数据特征作为分类线索；步骤2.4：选择训练样本：结合分类线索，依次选取每一类别具有代表性特征的若干样本数据集，人工判定类别。[0011]进一步的：所述步骤3采用词袋（bag of words）模型对数据进行分类。[0012]进一步的：所述步骤3的具体过程如下：
步骤3.1：特征提取：利用影像数据提供的光谱特征提取点云数据特征；步骤3.2：特征空间建立：通过各个类别样本统计的先验知识，构造通过加权组合形式的特征向量；
步骤3.3：空间聚类：根据特征描述子之间的空间距离，将具有相似的局部特征聚集成不同的类别。
[0013]进一步的：所述空间聚类采用K均值聚类算法，具体过程如下：
①确定初始聚类中心：初始聚类中心随机选取，或者根据先验知识指定；②分配样本类别：计算每个样本到聚类中心的欧式距离；③根据每个类别数据对象的平均值计算新的聚类中心，若聚类中心没有发生变化，则代表算法收敛，聚类结束；若聚类中心发生变化，则返回第②步重新分配类别，直到聚类中心不发生变化为止。[0014]进一步的：所述步骤4采用混淆矩阵评价分类结果。[0015]相对于现有技术，本发明的技术效果为：
1、地物提取完整，分类精度高。本发明从融合影像光谱信息的角度出发，并根据应用目的及地物分类需求进行数据融合，并针对分类的主要地物设定相应的分类规则，建立分类类别和分类特征之间的对应关系，能够提取比较完整的地物区域，减少误分类现象。主要体现在建筑物点云很少出现与高植被混淆的散点特征；对于地面点集部分，裸地和草地通过光谱特征有效地被区分。[0016]2、算法性能稳定，效率快。本发明根据应用目的及地物分类需求进行数据融合，并针对分类的主要地物设定相应的分类规则，提取分类样本，并以此为先验知识，建立分类类别和分类特征之间的对应关系，达到提高城区地物分类精度的同时，减少分类任务的复杂度，提高了算法的运算效率。此外，引入机器学习中的词袋模型，提高了分类器的稳定性，获取更高、更精确的分类结果。
4
CN 108241871 A
说 明 书
3/6页
附图说明
[0017]图1是影像对象的词袋模型表示过程。[0018]图2为本发明的流程示意图。
具体实施方式
[0019]由于地物的复杂性和类别多样性，现有技术单纯利用点云数据进行精确的地物分类与识别等处理存在很大难度的问题，针对以上问题，利用融合不同特征的数据源进行点云分类结果能够改善单纯利用LiDAR点云分类的精度。因此本发明依然从激光点云和航空影像两类不同传感器获取的数据着手，提出了一种基于多特征的激光点云与影像融合数据分类方法。此方法主要涉及三部分内容，即多源数据融合特征描述模块，基于多特征的点云分类器设计模块以及分类精度分析模块。其目的在于采用融合多源数据的分类策略针对分类的主要地物设定相应的分类规则，然后建立分类类别和分类特征之间的对应关系，并减少分类任务的复杂度，最终将点云分类为建筑物、树木、草地、裸露地面以及不确定等五类。为了实现上述目的，本发明基于多特征的激光点云与影像融合分类方法中（分类方法流程见附图2），包括以下过程：
步骤1数据预处理：用于影像分割处理，为后续影像辅助点云分类提供光谱信息，同时针对点云的滤波处理，能够很好的分离出地物点与地面点，为进行融合数据分类样本提取提供先验知识。
[0020]步骤2样本提取：确定待分类别后，结合分类线索，依次选取每一类别具有代表性特征的若干样本数据集，不仅能够提高分类精度，而且能够很好地提高算法效率。[0021]步骤3基于多特征的融合数据分类：以提取的样本为先验知识，引入视觉词袋模型，研究如何自适应地修正分类参数，探索LIDAR点云与航空影像融合数据精细分类方法，从计算机视觉角度完善激光点云高精度地物分类与目标识别的关键理论与技术。[0022]步骤4精度评定：为了评价分类器设计的合理性，将分别从定量和定性两个方面对分类精度进行分析，其中定量部分采用混淆矩阵进行评价分类结果。[0023]本发明提供的技术方案具体步骤如下：
步骤1：数据预处理；由于本发明处理的是源自两类不同成像机理的数据，即航空影像与无人机载激光点云，因此在源数据预处理操作中需要针对单一数据源进行对应的预处理工作。
[0024]
首先，航空影像预处理算法已相当成熟，在这里，采用现有技术对影像进行基于然后，关于激光点云数据预处理的主要工作是点云滤波，鉴于本发明是影像辅
像斑的彩色分割处理，顾及整体算法的运行效率，采用OSTU算法对影像进行自适应分割。
[0025]
助点云进行融合分类的，同时测区大多以城区为基准，其地形相对平坦，为了提高处理效
率，采用小尺度的规则格网压缩和组织点云数据，不仅能够有效地分离地面点与地物点，而且能够最大程度的保留点云的原始信息。[0026]步骤2样本提取；在该模块中，首先确定待分类对象类别，综合利用点云数据提供的几何特征以及航空影像提供的的光谱特征进行各类别样本提取，作为先验知识，为多特征点云分类时特征向量权重提供条件。
5
CN 108241871 A[0027]
说 明 书
4/6页
步骤2.1：确定待分类类别；根据输入数据（原始LiDAR点云数据和对应的航空正射
影像数据），分析所选测区内的地物特征和原始数据的特性大致确定分类类别。常用的分类类别有：建筑物、树木、草地、裸地、道路、汽车等，一般设计分类器的过程中可根据实际情况进行调整，例如根据点云提供的高程信息和影像提供的光谱特性，在这里，便将汽车、路灯等归为不确定类别。[0028]步骤2.2：点云特征空间建立。原始激光点云经过高精度滤波可以将地物初步分为地面点和非地面点，根据已经取得的类别（建筑物、树木、草地以及裸地）样本的属性信息，建立每一个激光点的特征描述，结合提供的先验知识对特征向量进行归一化加权（以直方图形式表示），形成融合数据的特征空间。[0029]步骤2.3：分类线索归纳。主要根据融合数据特征来作为分类线索，具体可表述为：
①对于非地面点，点云数据的首末次高差可作为初步判断是否为树的依据；此外，通过建立LiDAR点云中某激光点一定窗口内的离散矩阵获取特征值，计算该点的空间离散度，也作为判别树木与建筑物的标准之一。[0030]②对于地面点，将激光点云的强度信息以及影像提供光谱特征作为判别草地与裸露地面的标准。[0031]步骤2.4：选择训练样本。确定待分类别后，结合分类线索，依次选取每一类别具有代表性特征的若干样本数据集。在选取样本点过程中参考配准后的影像数据，人工判定类别。
[0032]步骤3：基于多特征的融合数据分类。在基于多特征点云融合数据分类过程中，本发明引入词袋（（Bag of Words，简称BOW））模型，并根据先验知识对特征向量进行加权，设计分类器，实现结合影像数据的LiDAR点云分类，最终将复杂的城市地貌的点云数据分类为草地、建筑物、裸地、植被和不确定等五大类地物，从而实现结合航空影像有效地解决LiDAR点云分类的难题。词袋模型 ，其概念起源于计算机视觉中图像场景识别和分类，主要思想是将图像按照局部特征描述向量分割成一个个视觉单词（visual words），所有视觉单词集合形成视觉词典（visual dictionary），通过分析视觉单词间的潜在的语义联系，完成对场景或物体的识别和分类。词袋模型建立过程可如附图1所表示，主要包括特征提取、特征描述、特征空间聚类以及视觉词典生成。[0033]步骤3.1：特征提取。在本发明中，充分利用影像数据提供的光谱特征，并根据测区地物的类别，有针对性的提取点云数据特征（高度信息，回波强度，多次回波信息以及离散度）。
[0034]步骤3.2：特征空间建立；使特征向量加权归一化。在基于词袋模型的LiDAR点云分类算法中，对于融合影像数据的LIDAR点云，对于融合影像数据的LIDAR点云，每个激光点同时具备两类数据的优点，即每个激光点均可按照融合特征描述的计算方式进行特征提取，包括：光谱均值、空间三维坐标、离散度以及强度特征的多个统计量，形成特征描述子。通过各个类别样本统计的先验知识，构造通过加权组合形式的特征向量，并以直方图形式表示，主要是为了提高词袋模型对地物的表示能力。[0035]步骤3.3：空间聚类。空间聚类就是根据特征描述子之间的空间距离，将具有相似的局部特征聚集成不同的类别，本发明采用最常用的聚类算法是K均值算法。其基本思想是对于给定的一组向量，其中，每个向量均为m维向量，将n个特征按照式（1）的聚类准则划分
6
CN 108241871 A
说 明 书
。
（1）
代表
的均值。
5/6页
到k（k 其中， [0037] K均值聚类的具体实现步骤可归纳为： ①确定初始聚类中心。从n个样本中选择k个初始聚类中心。初始聚类中心可以随机选取，也可以根据先验知识指定。[0038]②分配样本类别。计算每个样本到聚类中心的欧式距离（如式（2），按照距离最小原则，将 n个样本分配到 k个类别中。 [0039] （2） 便是所求解的欧式距离。 其中，H，K分别两个特征向量， [0040] ③根据每个类别数据对象的平均值计算新的聚类中心。若聚类中心没有发生变化，则代表算法收敛，聚类结束；若聚类中心发生变化，则返回第②步重新分配类别，直到聚类中心不发生变化为止。[0041]步骤4：精度评定；经过多特征的点云分类，可以将复杂的城区地物分为五大类：建筑物、树木、草地、裸地以及不确定地物，为了评价分类器设计的合理性，定量结果评价采用混淆矩阵进行评价分类结果。采用混淆矩阵评价算法分类精度，其中Kappa系数和总体精度OA是两个主要的评价指标；Ⅰ类误差表示每一类别的遗漏误差，对应于矩阵中非对角线的行元素，而Ⅱ类误差分别表示每一类别的错分误差，与矩阵中非对角线的列元素对应；生产者精度PA（Producer Accracy）表示正确类别的漏分误差，对应于矩阵对角线数值与列中所有数值和的百分比，用户精度UA（User Accracy）表示所划分的错误类别多分误差，对应于矩阵对角线数值与行中所有数值和的百分比。考虑到分类精度对比需求，本发明针对分类精度统计时按照如下原则：首先采取人工辅助的方法提取参考数据，即：选取特定区域内的点云数据，借助Terrascan软件手工分类工具进行人工编辑，形成参考数据；然后在进行误差统计过程中，采用将已分类的地物与正射影像叠加，检查误分类点集。其中，将裸地、车辆或未滤掉的道路两旁的附属物（路灯、栏杆等）均视为未识别类别。 [0042]现有的关于激光点云数据的分类研究大多集中在依据点云数据高程信息、强度信息、以及回波信息等进行单一类别的点云提取。由于地物的复杂性和类别多样性，单纯利用点云数据进行精确的地物分类与识别等处理存在很大难度的问题，因此，本发明针对此类问题，提出的基于多特征的激光点云与影像融合数据分类方法的优点在于： 1、 地物提取完整，分类精度高。本发明从融合影像光谱信息的角度出发，并根据应用目的及地物分类需求进行数据融合，并针对分类的主要地物设定相应的分类规则，建立分类类别和分类特征之间的对应关系，能够提取比较完整的地物区域，减少误分类现象。主要体现在建筑物点云很少出现与高植被混淆的散点特征；对于地面点集部分，裸地和草地通过光谱特征有效地被区分。 7 CN 108241871 A[0043] 说 明 书 6/6页 2、算法性能稳定，效率快。本发明根据应用目的及地物分类需求进行数据融合，并 针对分类的主要地物设定相应的分类规则，提取分类样本，并以此为先验知识，建立分类类别和分类特征之间的对应关系，达到提高城区地物分类精度的同时，减少分类任务的复杂度，提高了算法的运算效率。此外，引入机器学习中的词袋模型，提高了分类器的稳定性，获取更高、更精确的分类结果。 [0044]以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。 8 CN 108241871 A 说 明 书 附 图 1/2页 图1 9 CN 108241871 A 说 明 书 附 图 2/2页 图2 10 因篇幅问题不能全部显示，请点此查看更多更全内容