基于递归神经网络的多频预报方法

维普资讯 http://www.cqvip.com 第３６卷第７期　西安交通大学学报　Ｖｏ１．３６　№７　２００２年７月　ＪＯＵＲＮＡＬ　ＯＦ　ＸＩ　ＡＮ　ＪＩＡＯＴＯＮＧ　ＵＮＩＶＥＲＳＩＴＹ　Ｊｕ１．２００２　文章编号：０２５３－９８７Ｘ（２００２）０７—０７２２—０４　基于递归神经网络的多步预报方法　宁　温广瑞，屈梁生，张西　（西安交通大学机械工程学院，７１００４９，　西安）　摘要：为了解决由多层前馈神经网络递推运算获得的多步预报存在的预报误差迭代累积问题，提　出了基于局部递归神经网络的多步递归神经网络（ＭＳＲＮ）模型，对时间序列进行了多步预报．用模　拟振动数据把ＭＳＲＮ模型用作单步和多步的预报能力，同经典的多层前馈神经网络进行了比较，　并预报了天津石化总公司炼油厂大机组某测点振动的变化趋势．实践表明，用该方法进行多步预　报误差小，并具有良好的预报能力．　关键词：多步预报；神经网络；时间序列　中图分类号：ＴＰ１８３文献标识码：Ａ　Ｍｕｌｔｉ—Ｓｔｅｐ　Ｆｏｒｅｃａｓｔｉｎｇ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　Ｍｏｄｅｌ　肌　Ｇｕａｎｇｒｕｉ，Ｑｕ　Ｌｉａｎｇｓｈｅｎｇ，Ｚｈａｎｇ　Ｘｉｎｉｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｍｅｅｈｉａｎｉｅａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎ　Ｊｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７１００４９，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｐｒｏｂｌｅｍ　０ｆ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ｆｅｅｄｆｏｒｗａｒｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｗｉｔｈ　ａ　ｌｏｎｇ—ｔｅｒｍ　ｐｒｅｄｉｃｔｉｏｎ，ａｎ　ａｌｔｅｒｎａｔｉｖｅ　ｎｅｕｒａｌ　ｍｏｄｅｌ，Ｍｕｌｔｉ—ｓｔｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｍｏｄｅｌ（ＭＳＲＮ），　ｂａｓｅｄ　ｏｎ　ａ　ｐａｒｔｉａｌｌｙ　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｆｏｒ　ｔｈｅ　ｒｅｃｕｒｒｅｎｔ　ｍｏｄｅｌ，ａ　ｌｅａｒｎｉｎｇ　ｐｈａｓｅ　ｗｉｔｈ　ｔｈｅ　ｐｕｒｐｏｓｅ　ｏｆ　ｌｏｎｇ—ｔｅｒｍ　ｐｒｅｄｉｃｔｉｏｎ　ｉｓ　ｉｍｐｏｓｅｄ，ｗｈｉｃｈ　ａｌｌｏｗｓ　ｔｏ　ｏｂｔａｉｎ　ｂｅｔｔｅｒ　ｐｒｅｄｉｃ—　ｔｉｏｎｓ　ｏｆ　ｔｉｍｅ　ｓｅｒｉｅｓ　ｉｎ　ｆｕｔｕｒｅ．Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｖａｌｉｄａｔｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｍｏｄｅｌ　ｔｏ　ｐｒｅｄｉｃｔ　ｔｈｅ　ｄｙｎａｍｉｃ　ｂｅｈａｖｉｏｒ　ｏｆ　ｔｈｅ　ｓｅｒｉｅｓ　ｉｎ　ｔｈｅ　ｆｕｔｕｒｅ，ｔｗｏ　ｄｉｆｆｅｒｅｎｔ　ｄａｔａ　ｔｉｍｅ　ｓｅｒｉｅｓ　ｈａｖｅ　ｂｅｅｎ　ｕｓｅｄ．Ａｎ　ａｒｔｉｉｃｉｆａ１　ｄａｔａ　ｔｉｍｅ　ｓｅｒｉｅｓ　ａｎｄ　ｔｈｅ　ｖｉｂｒａｔｉｏｎ　ｄａｔａ　ｍｅａｓｕｒｅｄ　ｆｒｏｍ　ｒｅａ１　ｔｉｍｅ　ｓｅｒｉｅｓ　ａｒｅ　ｕｓｅｄ　ｔＯ　ｃｏｍｐａｒｅ　ｔｈｅ　ａｂｉｌｉｔｙ　ｏｆ　ｍｕｌｔｉ—ｓｔｅｐ　ｐｒｅｄｉｃｔｉｏｎ．Ｔｈｅ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ＭＳＲＮ　ｍｏｄｅ１　ｃａｎ　ｃｏｎ—　ｆｒｉｂｕｔｅ　ｔｏ　ａ　ｇｏｏｄ　ａｃｃｕｒａｃｙ　ｏｆ　ｐｒｅｄｉｃｔｉｏｎ．　Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉ—ｓｔｅｐ　ｐｒｅｄｉｃｔｉｏｎ；ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ；ｔｉｍｅ　ｓｅｒｉｅｓ　在工程领域中，预报技术有着重要的作用，可以　及时、准确地反映未来的变化趋势，并具有显著的经　归神经结构，以模拟数据比较了单步预报神经网络、　多步预报神经网络和多步预报递归神经网络的预报　能力．通过对天津石化大机组峰值振动的预报结果，　反映出递归网络具有良好的多步预报能力．　济效益．在本文中，将使用ＢＰ（Ｂａｃｋ　Ｐｒｏｐｏｇａｔｉｏｎ）算　法与递归神经网络相结合，提出一种基于递归神经　网络的多步预报方法，并构造了一种多步预报的递　收稿日期：２００１—１０—２５．　作者简介：温广瑞（１９７６￣），男，博士生；屈梁生（联系人），男，教授，博士生导师　维普资讯 http://www.cqvip.com 第７期　温广瑞，等：基于递归神经网络的多步预报方法　１　前馈神经网络的多步预报方法　目前，神经网络被广泛地应用于时间序列的预　报中，所用模型都是基于ＢＰ算法的前馈神经网络　模型．该模型通常都是建立在多层前馈神经网络上，　用时间序列来估计函数Ｆ，如式（１）为一个通常使用　２递归神经网络的多步预报方法　在前一节中，训练前馈神经网络模型的参数是　为了解决时间序列单步预报的问题，所以由式（２）到　式（４）给出的用前馈神经网络模型作多步预报的结　果并不理想，具体原因在于该模型的输入向量　ｈ），…，　（志＋１），　（志），…，ｘ（ｋ—ｄ＋ｈ））　（５）　　（足＋１），　（足），…，ｚ（ｋ—ｄ＋Ｚ），…，（宝（是＋　的非线性自回归模型（ＮＡＲ）．在这种情况下，该时　Ｚ一（间序列是＋１时刻的值通常用ｄ＋１之前的时间序列　值　（足），…，　（足一　）来表示　ｘ（ｋ＋１）一Ｆ（　（志），…，ｘ（ｋ—　））　（１）　式中：ｋ为时间变量；　为预报网络的输入节点数目．　常规神经网络的预报方法Ｅ　，就是建立神经网　络非线性预报模型，即单步神经网络预报方法．可以　将神经网络预报模型用如下预测方程表示　三　ｘ（ｋ＋１）一　ｉ　ｆｉ（　）　（志一　）＋ｅ　Ｉ　＞．　（２）　一０，…，ｄ　Ｊ　式中：ｆｉ（　）为输入变量的非线性函数．ｅ为随机白噪　声．在神经网络预报时，由预报模型可得　三　（志＋１）一　ｆｉ（　）　（志一　）　（３）　在多步预报时，依据以上所建立的预测模型，其结构　如图１所示．把预测值代入预报模型，可逐步推算出　多步的未来值，这样的多步预报过程在获得单步预　报结果时，就已经存在着预报误差，可表示为　￣ｋ－ｔ－１：告　（志＋１）一ｘ（ｋ＋１）］　（４）　在逐步递推过程中，以　（志＋１）及其后来的预报结　果值为网络输入，就引入了输入误差，并随着预测值　的增加，累积误差也迅速增加，因此无法保证多步预　报的精度．　图１前馈神经网络多步递推网络模型　在训练网络参数时，并没有被使用，然而在应用该网　络进行预报时，要求该网络能够与这些输入向量相　匹配，从而导致了很大的预报误差．为了保证对时间　序列未来状态预报的精确性，在训练该模型的参数　时应当使用式（５），从而满足多步预报的需要．多步　递归网络（ＭＳＲＮ）模型正是将预报的输出量反馈为　输入量，利用一种特殊的学习方法来满足多步预报　的需要．　提出用一个局部递归神经网络用来建立ＭＳＲＮ　模型Ｅｚ３，该网络的建立也是起源于一个多层前馈神　经网络，通过从输出神经元到输入神经元来增加反　馈节点，如图２所示．递归神经网络的神经元与通常　一样，被分成输入层、隐含层和输出层，而输入层由　两部分神经元组成．第１部分作为外部的输入，来源　于原始数据或者所测得的时间序列数据．第２部分　由记忆了前面网络的输出反馈神经元组成，这里引　入向量Ｃ（是）来表示反馈神经元的活动．Ｃ（ｋ）：（Ｃ　（志），…，　（志）），每一个神经元由式（６）计算所得，即　Ｃ１（足）一　（　（足＋ｈ＋Ｚ））一　（志＋ｈ＋ｌ—　）　—ｌ，…，ｈ　（６）　式中：Ｚ　是一个算子，用来得出网络输出的第ｉ个　延迟量；　表示网络输出．　余下的该网络里的神经元（隐含层和输出层的　神经元）遵循与多层前馈神经网络相同的公式及算　输入层　隐含层　输出层　图２递归神经网络结构　维普资讯 http://www.cqvip.com 西安交通大学学报　第３６卷　子，仍然使用Ｓｉｇｍｏｉｄ函数计算前面层的输出．　得到．递归模型在模拟时刻ｋ＋３，…，ｋ＋　＋１处的　输出值为　ｘ（ｋ—ｄ＋　），Ｗ２）　ｘ（ｋ），…，ｘ（ｋ—ｄ＋ｈ），Ｗ２）　由于反馈神经元的存在，局部递归神经网络的　用于递归网络结构的动态学习规则．然而，由于局部　递归神经网络的内部结构相似于前馈神经网络，所　　（足＋２），２（ｋ＋１），ｘ（ｋ），…，］　训练采用动态ＢＰ学习算法．在文献Ｅ３］中给出了适　２（ｋ＋３）一Ｆ（　ｌｊ　（１０）　２（ｋ＋ｈ＋１）一Ｆ（　（足＋ｈ），…，２（ｋ＋１），　Ｉ　以该网络的训练也可以使用传统的ＢＰ学习算法，　而且当输入层反馈神经元的数量很高时，在训练过　程中传统的ＢＰ学习算法可以使之很好的收敛．　２．１　多步递归神经网络模型的建立　局部递归神经网络在用作预报时，反馈神经元　的长度ｈ，反馈神经元个数随每次采样而变化，而在　第４步：修正网络的参数Ｗｚ．为了使训练能适　合于多步预报的需要，学习规则采用沿预报区间　足　＋１，足＋　＋１］局部误差的和来修正权值，因此参数　向来修正的，即　一的数目和外部输入单元神经元的数目都依赖于预报　Ｗ２的设置是沿式（１１）给定的误差函数的负梯度方　其他应用中，反馈神经元的数目却是一个定值．假设　预报长度固定为ｈ　，同时假设在时间序列ｋ时刻的　目标是为了预测在ｋ＋１，ｋ＋２，…，ｋ＋ｈ１＋　时刻的　时间序列值，则外部输入单元（来源于原始数据或测　得的时间序列数据）的数目则从ｄ＋１减到ｄ＋１一　ｈ　，而反馈神经元的数目从０增加到ｈ　．因此，通过　外部输入和反馈神经元输入在每个时刻的ｋ处得到　以下的一系列数据．　（１）反馈神经元的数目初始化为０，外部输入单　元初始化为　（足），…，ｘ（ｋ－－ｄ）．　第１步．　当把ＭＳＲＮ模型的结构用作多步预报时，就等　同于把经典神经网络用作多步预报时的结构，即式　（２）～式（４）等同于式（８）～式（１０），但是它们在网络　ｈ　ｅ（ｋ＋１）一　１∑（　（足＋ｉ＋　）一２（ｋ＋ｉ＋　））：　ｉ一１　（１１）　第５步：把时间变量ｋ增加一个单位，并返回到　参数的修正方式上有很大的不同．参数Ｗ　的修正　是通过训练一个多层前馈神经网络而得到的，并且　它的值在预报过程中保持固定，也就是参数ｗ　是　利用每一时刻局部误差最小（式（４））来修正的，而参　（２）未来时刻ｋ＋ｉ（ｉ一２，…，ｈ１＋１）的值不存　在，但是通过模拟可以得到．输入层的接收向量Ｄ—　ｘ（ｋ＋　），…，　（足一　—　），而在第ｉ一１个反馈神经　数ｗ２是沿预报区间［足＋１，ｋ＋＾＋１］的最小局部误　差和（式（１１））来修正的．因此，ＭＳＲＮ模型的输出　反馈为输入输出之间的相互关系，从而可用作多步　预报．　元存储前面的　一１网络的输出为　Ｃ】（足）一　（足＋ｉ—Ｚ），…，Ｃ卜】（足）一　（足＋　）　（７）　（３）经过上述过程，则外部输入单元和反馈单元　被重置．　２．２　ＭＳＲＮ训练步骤　在每个时刻是，均有ｋ—　．为了能够实施多步时　间序列预报，下面给出ＭＳＲＮ模型的完全训练步　骤．　３实验仿真及实际应用　为对比分析ＭＳＲＮ模型的性能及其实际的应　用效果，分别对模拟数据和天津石化炼油厂的烟机　振动进行了预报．　第１步：反馈神经元的数目初始化为０，而ｄ＋１　个外部输入单元设置为测得的时间序列　（足），…，　３．１模拟信号的预报对比　ｘ（ｋ－－ｄ），网络的输出值为　（足＋１）一Ｆ（　（足），…，ｘ（ｋ—　），Ｗ２）　（８）　产生一个模拟信号，即　ｋ　第２步：反馈神经元的数目增加一个单位，相应　的外部输入单元就减少一个单位，增加的反馈神经　元记忆了第１步计算的网络结构的输出值　（ｋ＋　１），因此在模拟时刻ｋ＋２处的预报值为　（足＋２）一Ｆ（　（足＋１），ｘ（ｋ），…，ｘ（ｋ—　），Ｗ２）　（９）　一，１，…，　；　一３．９７　Ｊ”）　ｘ１　）＝￣ｒ（　ｋ　）（１－－．．　０　９７该映射描述了一个混沌时间序列，可用它测试多步　预报的性能．取序列为１００个点，并分别采用多层前　馈神经网络、ＭＳＲＮ模型对该序列进行单步预报与　多步预报．多步预报（＾一７）的结果如图３、图４所　示，其中多步递推预报网络采用３—１０—１的结构形式，　ＭＳＲＮ模型采用７—１５—１的形式．　第３步：重复第２步，直到ｈ个反馈神经元全部　维普资讯 http://www.cqvip.com 第７期　温广瑞，等：基于递归神经网络的多步预报方法　选择时间序列５１—５８区段作为多步预报区段，　这２种多步预报方法的预报结果分别显示在图３、图　４中．由图可见，单步递推的多步预报网络在前２步　的预报中误差最小，随着步数的递增，预报误差呈不　稳定的增长．到第６步时，曲线的发展趋势还可以比　较清楚地表示，但到了第７、第８步时就已经完全丧　失了预报能力，而利用ＭＳＲＮ模型作多步预报时，　虽然预报误差随着预报步数增加，但各步的预报结　图４　ＭＳＲＮ模型多步预报结果（＾一７）　果都具有很好的时间序列趋势特征．通过比较，可以　看出整个预报区间的预报总误差比多层前馈神经网　组的实际停车时间有着十分重要的意义．　我们采集了天津石化公司炼油厂烟汽轮机的振　动原始数据，按月统计了该机组某个测点的振动峰　络要小得多．因为单步递推网络着重于时间序列局　部信息，而多步预报网络着重于时间序列多步的整　体信息，这２种结果的比较如表１、表２所示．因此，　ＭＳＲＮ模型在多步预报上可以较好地反映时间序　列的多步趋势变化特征，加上良好的实际应用能力，　可成为一种实用的多步预报工具．　３．２大机组振动的长周期预报　大型回转机组是大工业生产的核心设备，一旦　造成停车，经济损失将数以万计，因此在运行过程　中，必须将不必要的停车减小到最低程度．对于大机　组，振动临测是最主要的一个手段，通过对机组关键　峰值，进行归一化处理后，以此数据进行多步预报．　图５、图６分别显示了利用多层前馈网络（采用３—１Ｏ一　１结构）和ＭＳＲＮ（采用７—１５—１结构）模型的完整训　练曲线．选择时间序列３１—３５区段作为多步预报区　段，则２种预报方法的预报结果也显示在图中．由图　可知，ＭＳＲＮ模型可以很好地预报机组振动的发展　趋势，为生产提供有参考价值的信息．　０　６　０　５　之０　４　０　３　部件处的振动监测，使根据振动量的大小来预报机　一坚０　２　０　１　：实际值　０．０　１　０　序列数　图５多层前馈网络实际振动信号多步预报结果（＾一４）　之０　馨０　０　０　０　Ｏ　之０　０　序列数　馨０　０　图３多层前馈网络多步预报结果（＾一７）　Ｏ　表１训练数据的预报误差　图６　ＭＳＲＮ模型的实际振动信号多步预报结果（＾一４）　４结　论　首先从人工神经网络的非线性映射能力出发，　表２测试数据的预报误差　概述了经典神经网络预报的基础及其方法，分析了　经典神经网络多步预报的不足和实现精确多步预报　的关键问题．其次，从递归神经网络出发，建立了多　步预报神经网络结构，即ＭＳＲＮ模型，并给出了　问题的训练步骤．最后比较了经典多步预报网络和　（下转第７５６页）　维普资讯 http://www.cqvip.com 西安交通大学学报　第３６卷　流场和煤体变形场的耦合数学模型，根据有限元法　的原理，推导出了其耦合求解的方法，并进行了实例　计算．　（２）在煤炭地下气化过程中，因高温作用，煤体　的内部组织结构和表面形态均发生了质的变化，导　致煤体的物理力学性质也发生了明显的变化，因而　其相应的物理力学参数不再是一个常数，而变为温　度的函数．为了提高数值模型的计算精度，作者对相　（ａ）实测曲线　关的物理力学参数进行了标准化热趋势研究．　（３）根据计算结果，非等温条件下干馏气压力实　测值与模拟值之间的拟合情况明显好于等温条件下　的拟合情况，且实测值高于理论值．　参考文献：　Ｅ１］杨兰和．煤炭地下气化三维非线性动态温度场数值模　拟ＥＪ］．中国矿业大学学报，２０００，２９（２）：１４Ｏ～１４３．　Ｅ２３杨兰和．煤炭地下气化三维渗流数学模型的研究［Ｊ２．　中国矿业大学学报，２０００，２９（５）：５２８～５３１．　（ｂ）模拟曲线　图中数值为应力值（ＭＰａ）　［３］Ｙａｎｇ　Ｌａｎｈｅ，Ｌｉａｎｇ　Ｊｉｅ，Ｙｕ　Ｌｉ．Ｄｏｕｂｌｅ　ｆｉｒｅ—ｔｗｏ　ｓｔａｇｅ　ｍｅｔｈｏｄ　ａｎｄ　ｐａｒａｍｅｔｅｒ　ｃａｌｃｕｌａｔｉｏｎ　ｏｆ　ｕｎｄｅｒｇｒｏｕｎｄ　ｃｏａｌ　图４气化盘区应力曲线图　ｇａｓｉｆｉｃａｔｉｏｎ［Ｊ］．Ｊｏｕｍａｌ　ｏｆ　Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｍｉｎｉｎｇ　＆Ｔｅｃｈｎｏｌｏｇｙ，２０００，１０（２）：１１６～１１９．　标所在．　－１４］康托劳维奇Ｅ　Ｂ．固体燃料燃烧与气化导论［Ｍ］．闻　望，欧天垣，黄鸣谦，译．北京：中国工业出版社，１９６４．　１２５～１４１．　５　结论　［５３埃利奥特＾／Ｌ煤利用化学［Ｍ］．北京：化学工业出版社．　１９９１．２８７～３２３．　（１）本文基于传热、渗流力学及弹塑性力学理　论，首次建立了煤炭地下气化过程中温度场、流体渗　（编辑　葛赵青王焕雪）　（上接第７２５页）　ＭＳＲＮ模型的预报能力，并通过对天津石化公司大　机组振动的多步预报结果，反映出ＭＳＲＮ模型具有　良好的多步预报能力．　ｃａｓｔｉｎｇ［Ｊ］．Ｎｅｕｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｌｅｔｔｅｒｓ，２００１（１３）：１１５　～１３３．　［３］Ｇａｌｖａｎ　Ｉ，Ｚａｌｄｉｖａｒ　Ｊ．Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｉｎ　ｂａｔｃｈ　ｒｅａｃｔｏｒｓ：ｐａｒｔ　Ｉ，ＮＡＲＭＡ　ｍｏｄｅｌｉｎｇ　ｏｆ　ｔｈｅ　ｄｙｎａｍｉｃ　ｂｅｈａｖｉｏｒ　ｏｆ　ｔｈｅ　ｈｅａｔ　ｔｒａｎｓｆｅｒ　ｆｌｕｉｄ　ｔｅｍ—　参考文献：　［１］徐光华，屈梁生．基于概率神经网络的机组状态多步预　报方法［Ｊ］．西安交通大学学报，１９９９，３３（５）：８９￣９３．　［２３　Ｉｎｅｓ　Ｍ　Ｇ，Ｐｅｄｒｏ　Ｉ．Ｍｕｌｔｉ—ｓｔｅｐ　ｌｅａｍｉｎｇ　ｒｕｌｅ　ｆｏｒ　ｒｅｃｕｒ—　ｒｅｎｔ　ｎｅｕｒａｌ　ｍｏｄｅｌｓ：ａｎ　ａｐｐｌｉｃａｔｉｏｎ　ｔＯ　ｔｉｍｅ　ｓｅｒｉｅｓ　ｆｏｒｅ—　ｐｅｒａｔｕｒｅ［Ｊ］．Ｃｈｅｍｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ，　１９９７，３６：５０５～５１８．　（编辑管咏梅）