基于OS-ELM和Bootstrap方法的超短期风电功率预测附录.doc

附录A对于N个不同的训练样本,是维输入向量,是维输出向量,具有D个隐层节点和无限可微激活函数的SLFN结构可以以零误差逼近这N组样本,即存在,和,使,也可写成如下形式:(A1)式中:为维向量,表示输入层与隐含层的神经元的连接权值;为维向量,表示隐含层与输出层神经元的连接权值;为隐含层神经元的阀值;为网络的输出;为激活函数,可以是“sig”,“rbf”,“sin”等多种形式。这N个方程可写成矩阵形式: (A2) (A3)andELM全局最优输出权值可写为: (A4)OS-ELM主要包括2个步骤。1)初始化阶段给定网络初始的隐含层节点数,初始训练样本,激活函数,随机产生输入层和隐含层之间连接权值和阀值初始化网络,求得初始隐含层输出矩阵H0和输出权值向量。2)在线序贯学习阶段当第t+1批次样本数据到来,t+1次隐含层输出矩阵和输出权值向量可根据下式更新: (A5)(A6)式中:;;表示第t+1批次样本的个数;=[,,...,],表示第t+1批次样本的输入向量。整个流程详见图A1,首先通过标准ELM建立初始网络,随后根据最新批次的样本数据不断更新参数H和,更新网络,直到所有数据学习完毕。图A1OS--ELM附录BB1误差评估概念1)残差样本对于个误差评估训练样本,假定预测残差是一个随机变量,其中表示原始网络隐函数,为对应的实测值,方差为,其总体分布F未知。为了消除模型系统误差的影响,将预测残差中心化:,(B1)上述即构成误差总体分布F的一个观测。2)Bootstrap训练样本从中有放回地进行次随机抽样,记第j次抽到样本为(),由此构造一组Bootstrap训练样本,其中定义为:(B2)理论上可以近似逼近,神经网络隐函数可以近似逼近,即Bootstrap输出可以有效模拟实际的网络输出。进一步,为考虑输入对残差的影响采取如下方式:产生一组N(0,1)随机变量来模拟输入向量对残差的影响,最终的Bootstrap训练样本输出可以写成:(B3)3)Bootstrap置信区间给定任意测试样本输入,如图5(b)所示得到组预测输出()。记为Bootstrap伪输出由小到大的排序,在给定的置信水平下Bootstrap置信区间为[,]。本文对比研究中使用的两种Bootstrap置信区间计算法如下。PB法:=,=,。2)BCPB法:①记,计算Bootstrap伪输出分布中不大于的概率,即;②计算(其中,为标准正态分布的累积函数);③最终的BCPB置信区间的上下限。基于Bootstrap法的多ELM误差评估步骤总结如下。步骤1:生成残差样本。对个训练样本,执行以下计算:①给定第j个输入,通过原始预测网络OS-ELM计算;②计算误差;③计算残差。步骤2:生成Bootstrap训练样本。在进行NB次有放回随机抽样,根据式(12)生成新的Bootstrap伪样本输出,。步骤3:根据步骤2中新产生的训练样本训练得到新的ELM结构,重复步骤2直到完成M个ELM误差评估网络。步骤4:评估Bootstrap置信区间。对测试样本输入,根据步骤3结果计算();将生成的个输出按升序排序,计算置信区间[,]。在实际使用过程中,对于算法有如下说明:①取值不宜过大或过小,为兼顾评估计算时间及足够伪样本数量,本文选取M=5000;②在应用Bootstrap进行