流数据处理在金融数据库中应用.pdf

摘要在金融领域里,大量的数据如股票交易的高频数据是以流的形式到达的。这些流数据持续到达,速度快,容量近乎无限,传统的数据库技术已经不能很好地处理。将流数据处理引入数据库中,能提高了数据处理的效能,缓解了金融数据库中的时间窗口瓶颈。频繁项挖掘是流数据处理中一项十分重要的基本任务。许多近似算法能够有效地进行频繁项挖掘。但传统的频繁项算法如�������都只能基于元素的计数进行挖掘。无法满足对带权值数据的监控。本论文提出的新算法可以对元素在整个流数据中所占权重比重进行挖掘,输出超出门槛参数的频繁项。输出结果为近似值,误差可以保证不超过给出的设定值。新算法非常适用于金融交易中各种带权值交易的频繁项挖掘。实验证明新算法显著降低了时间和空间的开销。增量式数据库是将流数据处理技术限制放宽后在传统关系型数据库中的应用。利用增量式数据库的设计方法,在计算密集的任务中保存中间结果,将峰值时的计算负载均衡至空闲的时间里,可以大大提高系统的运行效率和响应时间,具有非常大的现实意义。本文在数据领域中引入离线流数据与增量式数据库的概念。对不同限制条件下的在线流数据、离线流数据、增量式数据库三者进行了分析并提出了相应的优化思路。提出的基于权重的流数据频繁项挖掘新算法能有效地应用于在线流数据与离线流数据中,并可作为增量式数据库的预处理手段。增量式数据库作为一种全新的数据库优化技术,在各种具有流数据特点的场合具有广阔的前景。关键词:频繁项、流数据、数据挖掘、权值、增量式数据库浙江大学硕士学位论文
甌����甌��琲���������.����������.���/�������/�������������,���,����������,�������琹��������.�������:���瑃��獀���,�������������.������.������.���������,��������瓻���������������������,������甀�����甶������.�����������.������.������.����猵���������。������琲������〆�����.����:��,�����,����.
图目录图��传统的��系统与��系统的对比图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��模块化设计的流数据处理架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��数据流程图:频繁项挖掘⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..�图��数据流程图:增量式数据库⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯�图��基于权植的频繁项挖掘算法:������⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯�图��数据流程图:求方差、标准差:⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯�图��不同窗口�算法的内存占用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。�图��相同窗口�算法的内存占用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��新�算法与�算法的内存占用对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��概要数据表的设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��增量式优化前后��总数⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�图��增量式优化前后��加谩�����������������������浙江大学硕士学位论文�
表目录表��传统��系统与��系统的特点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯�表��不同条件下的流数据的对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..�表��原�算法与新�算法的对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.�浙江大学硕士学位论文Ⅵ
浙江大学研究生学位论文独创性声明学位论文版权使用授权书表或撰写过的研究成果,,允许论文被查阅和借阅。本人授权逝鋈苤堂可本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名:签字日期:年月以将学位论文的全部或部分内容编入有关数据库进行检索和传播,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。�C艿难�宦畚脑诮饷芎笫视帽臼谌ㄊ�导师签名:日浙江大学硕士学位论文独创性声明与版权使用授权书
第�滦髀���研究背景近些年,有关流数据�������姆治鲇牍芾淼难芯恳恢笔枪�谕獾�热点。随着科技的发展,越来越多的现实生活中的动作、属性被数字化、信息化。这些广泛地存在于现实世界中的数据都是动态生成的,例如,网络监控、服务器的日志记录、卫星遥感�炱�蛘呋肪臣嗖�、股票交易