上海电力学院
《应用多元统计分析》 ——判别分析与聚类分析
学院: 姓名: 学号:
2016年4月
我国部分城市经济发展水平的聚类分析
和判别分析
摘要:本文基于《中国统计年鉴》(2012年版)统计数据,寻找评价城市经济
发展水平的指标,包括第二三产业发展水平、固定投资额、社会消费零售总额和进出口贸易交流五个指标,利用统计软件SPSS综合考虑各指标,对所选城市进行K-Means 聚类分析,利用Fisher 线性判别待判城市类型,进一步验证所建模型的有效性。
关键字:聚类分析,判别分析,SPSS ,城市经济发展水平 1,引言
经过改革开放后三十多年的长足进展,中国城市化已步入中期阶段,步伐加快,质量显著提高。同时,中国城市化又处于周期转折点上,上一周期行将结束,下一周期将要开始。2011年中国城市化率首次突破50%,意味着中国城镇人口首次超过农村人口,中国城市化进入关键发展阶段,这必将引起深刻的社会变革。
根据2011年4月公布的第六次人口普查数据,2010年中国居住城镇的人口接近6.6亿人,城镇化率达到49.68%,全国已有近一半的人口居住在城镇,这意味着中国将进入城镇时代。在过去30多年中,中国的城市化发展取得了很大成绩。然而,总体上中国的城市化道路是城市化滞后于工业化的非均衡道路;是土地城市化快于人口城市化的非规整道路;是以抑制农村、农业、农民的经济利益来支持城市发展,导致不能兼顾效率和公平的非协调道路;是片面追求城市发展的数量和规模,而以生态环境损失为代价的非持续道路;是以生产要素的高投入,而不是投入少、产值高、依靠科技拉动经济增长的非集约道路。传统的城市化存在着诸多弊端,中国未来的城市化必须走出一条具有自身特色的新型城市化道路。
具体而言,中国城市经济发展水平受限于地理、环境、资源以及国家政策等因素的影响,我国不同区域的城市化进程尚存在很大差异。2012年中国城市发展报告中指出,从区域角度看,目前沿海一带城市发展起步早,与国际贸易交流往来频率高,经济发展水平较高,西部地区受到国家政策的大力扶持,表现出了强劲的增长势头,西部主要城市经济发展水平仅次于沿海发达地区,而中部地区
城市发展的水平已经落到了最后。显然,通过研究不同城市的经济发展状况和经济类型,指出其发展差异所在,可以为政府在出台相关政策来平衡区域经济发展,缩小不同地区人民生活水平的差异提供一定的指导意见,也为我们深刻理解国家相关政策提供了扎实的基础。
2,相关统计基础理论
2.1,聚类分析
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类分析的目标就是在相似的基础上收集数据来分类。从统计学的观点看,聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中,如SPSS、SAS等。
本文使用统计软件SPSS对所收集的数据进行快速聚类,其特点是:在确定类别数量基础上,先给定一个粗糙的初始分类,然后按照某种原则进行反复修改,直至分类较为合理。在选定类中心作为凝聚点的基础上进行分类和修正的方法有很多,本文使用的是K-Means 算法。
K-Means 算法接受输入量k ;然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。
K-Means 算法的工作过程说明如下:首先从n个数据对象任意选择 k 个对象作为初始聚类中心;而对于所剩下其它对象,则根据它们与这些聚类中心的相似度(距离),分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数。 一般而言,k个聚类具有以下特点:各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。 2.2,判别分析
判别分析是市场研究的重要分析技术,也是多变量分析技术。它可以就一定数量的个体的一个分类变量和相应的其它多元变量的已知信息,确定分类变量与
其它多元变量之间的数量关系,建立判别函数,并利用判别函数构建Biplot二元判别图(概念图)。同时,利用这一数量关系对其他已知多元变量的信息、但未知分组的子类型的个体进行判别分组。判别分析属于监督类分析方法,例如:市场细分研究中,常涉及判别个体所属类型的问题,也常涉及不同品牌在一组产品属性之间的消费者偏好和认知概念,判别分析可以很好地对这种差异进行鉴别。并在低维度空间表现这种差异。
判别分析主要有距离判别、贝叶斯(Bayes)判别、费舍尔(Fisher)判别等几种常用方法。
距离判别的基本原理是:首先对样本到总体G之间的距离进行合理规定,然后依照“就近”原则判定样本的归属,常用马氏距离(Mahalanobis)规定为:
d2(x,G)(xu)'1(xu)
式中为p元总体G的协方差阵,x是取自G的样品,则该式即为样品x到总体G的马氏距离。
贝叶斯判别既考虑了先验分布产生的影响,也考虑到误判损失产生的影响,是衡量一个判别优劣的比较合理的准则。
费舍尔判别的基本思想与主成分分析十分相似,当总体是高维向量时,先把其综合成一个一维变量,然后在对一维变量进行距离判别,费舍尔判别实际上是一种降维处理,降维压缩后,样品y到各个总体Gj*的距离可以用欧式距离度量,即:
d(y,G)||yuj||(ai'xai'uj)2
2*j*2i1m由此导出Fisher判别规则为:
d2(y,Gj*)mind2(y,Gj*), 则xGl
1jk本文及使用Fisher判别建立线性判别函数进行距离判别。
3,模型建立
3.1 设置变量
本文综合考虑了评价城市发展指数衡量因素,选取衡量一个城市经济发展水平的主要因素,城市化进程总是伴随着工业化发展,发达的服务业水平是衡量现
代新兴城市的主要指标,此外,综合考虑了固定资产投资总额与社会消费品零售总额以及货物进出口总额作为类别分析的主要经济指标:
X1:城市第二产业产值(亿元) X2:城市第三产业产值(亿元) X3:城市固定资产投资总额(亿元) X4:城市社会消费品零售总额(亿元) X5:货物进出口总额(亿元)
从区域发展角度从上面5个经济指标将城市经济发展水平划分为三大类:
G1:发达城市 G2:中度发达城市 G3:欠发达城市 3.2 数据收集和整理
本文所有数据来源于《中国统计年鉴(2012)》,选取2011年度36个城市主要经济发展水平做模型建立及分析。其中前32个城市相关经济指标水平作为初始样本用于划分类别,建立类别总体G;最后四个城市(杭州、南宁、昆明、银川)及其相关经济发展水平用作待判样品,利用判别函数进行判别分析。所有相关数据经过量纲统一规则化处理见表1所示。
表 1 我国部分城市相关经济发展水平(2011年)
序号 1 2 3 4 5 6 7 8 9 10 11 12 13 城市 第二产业第三产业固定资产投资社会消费品零售货物进出口总额(亿元) 23374.9884 6203.4642 850.1112 513.6306 121.4736 637.215 3630.5874 1040.9322 307.0548 26246.151 3440.6358 5891.2092 1207.719 (亿元) (亿元) 总额(亿元) 总额(亿元) 12363.2 5219.2 1635.8 1097.1 1277.8 2609.8 2550.7 1620.2 2147.8 11142.9 3220.4 2454.5 1426.2 5851.5201 7483.6973 3026.9778 1024.1444 1031.6781 4577.094 4580.0585 2356.6189 3011.971 5064.2624 3757.2517 2385.5072 3376.9652 6900.3246 3395.06 1662.9864 973.2937 890.0478 2426.8655 1924.794 1515.8537 2070.4129 6814.8 2697.0997 2018.8617 1111.1188 北 京 3752.5 天 津 5928.3 石 家 庄 2031.9 太 原 949.2 呼和浩特 790.0 沈 阳 3026.9 大 连 3204.2 长 春 2092.7 哈 尔 滨 1647.2 上 海 7927.9 南 京 2760.8 宁 波 3349.5 合 肥 2002.2 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 福 州 1711.2 厦 门 1297.1 南 昌 1579.3 济 南 1829.0 青 岛 3150.7 郑 州 2874.2 武 汉 3254.0 长 沙 3151.7 广 州 4577.0 深 圳 5343.3 海 口 177.9 重 庆 5543.0 成 都 3143.8 贵 阳 586.8 拉 萨 75.2 1700.1 1217.5 974.7 2339.5 3158.5 1974.0 3309.5 2224.3 7641.9 6155.7 487.7 3623.8 3383.4 733.7 137.2 1993.9 663.5 332.0 908.9 3458.5 1076.3 1214.6 414.4 2720.2827 1128.0872 2022.3297 1934.3389 3502.5382 3002.5 4255.1621 3510.2425 3412.2 2136.3882 395.0408 7579.4454 4944.0157 1600.5898 220.5031 3352.12 950.5758 528.0052 427.6221 3100.0218 1950.8628 2275.5286 720.5627 1947.8102 800.2779 928.3438 2114.2868 2302.3703 1987.1147 3031.7885 2201.6112 5243 3520.8736 387.1804 3487.807 2861.2835 584.3292 102.5948 1965.9774 639.7231 271.2873 695.0278 2548.3599 1073.1541 1271.7298 274.4705 2083.4856 4210.0002 473.0226 624.123 4329.1302 959.7354 1367.3748 449.3604 6970.26 24845.982 236.1756 1753.0716 2274.3798 392.9796 78.4452 754.74 112.7658 48.9378 541.7904 3838.308 150.6252 721.3224 72.6 西 安 1697.2 兰 州 656.5 西 宁 411.3 乌鲁木齐 759.1 杭 州 3323.8 南 宁 829.6 昆 明 1161.2 银 川 525.2 4,数据结果及分析
4.1 聚类分析
4.1.1 聚类分析过程
采用统计软件SPSS可以快速方便的将样本分类,“K-均值聚类”将样本分为设定好的三类,分类结果如下:
(1)K-均值聚类初始聚类中心
初始聚类中心
1
第二产业(亿元) 第三产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 货物进出口总额(亿元)
7928 11143 5064.262400000
001 6814.8000 26246.15100000
0000 聚类 2
5928 5219 7483.697300000
001 3395.0600 6203.464200000
000 3
75 137 220.5031000000
00 102.5948 78.44520000000
0 (2)样本聚类
聚类成员 案例号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 城市 北 京 天 津 石 家 庄 太 原 呼和浩特 沈 阳 大 连 长 春 哈 尔 滨 上 海 南 京 宁 波 合 肥 福 州 厦 门 南 昌 聚类 1 2 3 3 3 3 2 3 3 1 2 2 3 3 3 3 距离 案例号 城市 济 南 青 岛 郑 州 武 汉 长 沙 广 州 深 圳 海 口 重 庆 成 都 贵 阳 拉 萨 西 安 兰 州 西 宁 乌鲁木齐 聚类 距离 3937.772 17 4379.850 18 1259.026 19 1214.063 20 1414.697 21 3452.674 22 1842.873 23 837.811 24 1584.291 25 3214.673 26 1681.205 27 3455.979 28 1536.881 29 1682.563 30 3577.169 31 617.367 32 3 1347.154 2 1710.043 3 1969.261 2 2771.834 3 2607.583 2 5518.235 1 4887.376 3 2474.750 2 4072.601 2 1942.910 3 1402.620 3 2918.190 3 1652.625 3 1767.334 3 2433.503 3 1898.368 (3)最终聚类中心
最终聚类中心 1 第二产业(亿元) 第三产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 货物进出口总额(亿元) 最终聚类中心间的距离 聚类 1 2 3 1 2 21946.797 3 26337.272 5669.843 5675 9887 4350.723566666668 5745.3327 24822.373800000000 聚类 2 3879 3840 4655.541788888890 2995.7850 3984.457000000000 3 1467 1375 2009.884360000000 1263.8072 782.184900000000 21946.797 26337.272 5669.843
(4)聚类方差分析
方差分析 均方 第二产业(亿元) 第三产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 货物进出口总额(亿元) 34313207.735 100446019.013 24862358.673 30454986.050 753836973.383 聚类 df 2 2 2 2 2 均方 1231856.479 1811059.407 2205819.376 887338.531 1848036.992 误差 df 29 29 29 29 29 27.855 55.463 11.271 34.322 407.912 .000 .000 .000 .000 .000 F Sig. F 检验应仅用于描述性目的,因为选中的聚类将被用来最大化不同聚类中的案例间的差别。观测到的显著性水平并未据此进行更正,因此无法将其解释为是对聚类均值相等这一假设的检验。 4.1.2 聚类结果分析
从上述聚类分析过程可知,样本完全有效,32个个体被分成三大类: G1(发达城市):北京,上海,深圳。
G2(中度发达城市):天津,大连,南京,宁波,青岛,武汉,广州,重庆,程度。
G3(欠发达城市):石家庄,太原,呼和浩特,沈阳,长春,哈尔滨,合肥,福州,厦门,南昌,济南,郑州,长沙,海口,贵阳,拉萨,西安,兰州,西宁,乌鲁木齐。
从城市分类结果可知,北上深作为国际化城市发展代表,其经济发展水平远超其他沿海城市及内陆城市;沿海开放城市以及内陆主要枢纽城市的发展水平高于其他城市;中部地区级西部城市发展水平受限于地理、资源和资本等因素,经济发展表现不强劲。从最后的方差分析中可知,分类检验水平显著,分类结果值得借鉴。
4.2 判别分析
4.2.1 判别结果及分析
一般来讲,利用判别分析首先要明确变量测量尺度及变量的类型和关系;因变量(dependent variable): 分组变量——定性数据(个体、产品/品牌、特征,定类变量)。自变量 (independent variable):判别变量——定量数据(属性的评价得分,数量型变量)。
(1)判别图
图 1 典则判别函数
从图中很明显,看到三个组中心也就是经济发展水平,以及围绕着组中心的样本,说明直观上分组判别式完全可以接受的。
(2)典型判别式函数摘要 特征值 函数 1 2 特征值 37.790 .765 aa方差的 % 98.0 2.0 累积 % 98.0 100.0 正则相关性 .987 .658 a. 分析中使用了前 2 个典型判别式函数。
Wilks 的 Lambda
函数检验
Wilks 的 Lambda
1 到 2 2
.015 .567 114.106 15.336 10 4 .000 .004 卡方
df
Sig.
标准化的典型判别式函数系数 1 第二产业(亿元) 第三产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 货物进出口总额(亿元) -.974 -1.198 .752 1.190 1.409 函数 2 .940 .773 .211 -.675 -.314
结构矩阵
1 货物进出口总额(亿元) 第二产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 第三产业(亿元) 函数 2 *.863 .184 .076 .231 .308 .090 .920 .857 .675 .567 ****判别变量和标准化典型判别式函数之间的汇聚组间相关性 按函数内相关性的绝对大小排序的变量。 *. 每个变量和任意判别式函数间最大的绝对相关性 从表中我们看到,因为分组变量是三类,所以我们得到两个判别函数,其中第一判别函数解释了数据的98%,第二判别函数解释了2%;两个判别函数解释了100%;当然,两个判别函数直接具有显著的差异和判别力。
(3)分类统计量
组的先验概率
类别
先验
用于分析的案例 未加权的
1 2 3 合计
.333 .333 .333 1.000 3 9 20 32 已加权的
3.000 9.000 20.000 32.000
分类函数系数 1 第二产业(亿元) 第三产业(亿元) 固定资产投资总额(亿元) 社会消费品零售总额(亿元) 货物进出口总额(亿元) (常量) Fisher 的线性判别式函数 -.019 -.021 .011 .030 .022 -231.519 类别 2 -.001 -.004 .002 .006 .003 -12.269 3 -.001 -.003 .001 .004 .001 -2.727 Fisher线性判别函数,我们主要用来构建判别方程,理论上说:如果我们知道某个城市在5经济指标的发展水平值,我们就可以估计出该城市应该是哪种类型的。 4.2.2 判别检验
判别变量是数量型测量尺度变量,分析样本个数至少比判别变量多两个,我
们为了得到判别函数,经常需要把样本随机分成训练样本和检验样本等工作,如本文最后四个(序号33-36)个体就可作为检验样本,也成待判样本。
由上表可知Fisher判别方程:
G10.019X10.021X20.011X30.030X40.022X5231.519G20.001X10.004X20.002X30.006X40.003X512.269 G0.001X0.003X0.001X0.004X0.001X2.727123453判别规则:
d2(y,Gj*)mind2(y,Gj*), 则xGl
1jk判别结果:
1 2 3 4 杭 州 南 宁 昆 明 银 川 2 3 3 3 1583.391 842.774 401.567 2095.787 直观上,杭州作为沿海省会城市,虽然达不到北上深的经济发展地位,但其良好的地理位置以及投资开发环境,使得其经济发展水平非常迅速,归类到第二类经济发展城市是可以理解与接收的。其余三个城市虽然都是省会城市,但都属于西部城市,地理位置以及资源物产相对欠缺,得力于国家西部大开发政策影响,经济发展方面距第三类城市相近。
5,结论
从本文所建立的模型对我国部分主要城市经济发展水平进行了聚类分析与判别分析,并运用模型判断最后四个城市,验证模型的有效性。从相关结果及分析可以得到一些直观的结论。
北京作为我国首都,毋庸置疑具有天然的发展优势,其政治中心,交通中心,文化中心的地位吸引了国内外大量的投资建设,一批高科技产业带动的行业发展极大的推动了北京的经济发展;上海作为中国的经济金融中心,加之其周边江浙地带发达的工业基础,都为上海的经济发展增加了强劲的力量;深圳的发展是中国改革开放以来经济发展的典范,开放的力量使得这个沿海城市一举成为中国发达城市的先驱。判别图里清晰的表明北上广的发展远远超过二三类型的城市发展水平。
沿海主要城市以及内陆枢纽城市的发展得益于丰富的资源以及便利交通带
来的大量投资,或者传统的工业基础,这些因素都使得这一类的城市发展迅速,势头强劲。其余中西部城市的发展各有其优劣,但总体上西部城市受国家西部大开发政策影响,变现出新兴的发展势头。判别图分析可见二三类型经济发展水平相差不大。
由此,所建立模型直观上符合我国部分主要城市经济发展水平类型,最后的四个城市判别再次说明了模型的有效性。
参考文献
[1] 孙海燕,周梦,李卫国,冯伟. 应用数理统计[M]. 北京:北京航空航天大学数学系,
2011.
[2] 张建同,孙昌言. 以Excel和SPSS为工具的管理统计[M]. 北京:清华大学出版社,2002. [3] 国家统计局.2012年中国统计年鉴[M]. 中国统计出版社,2012 [4] 中国城市经济学会. 中国城市经济[J].北京:中国社会科学院
因篇幅问题不能全部显示,请点此查看更多更全内容