研究生优秀毕业论文研究生优秀毕业论文大连理工大学专业学位硕士学位论文摘要在当今大数据及云计算时代,各种设备如手机,智能手环,智能眼镜甚至垃圾桶等等通过连接网络产生了丰富的应用,极大的方便了人们的生活。但与此同时生成大量的系统日志文件,这些日志中包含着用户登陆地点,使用设备,使用时间甚至用户当前的运动状态,血压及心跳等大量的信息。根据这些信息,能够分析出目标的行为习惯,身体状态等等。如何有效快速的处理如此大量的日志并从中挖掘出有用的信息已经成为全球学术晃探索的热点之一。本文在大数据的背景下,对目前主流的日志分析及挖掘技术进行了研究。首先学习了目前常见的几种日志并行处理方法,同时深入研究目前已有的大数据处理分析方法,进而设计出一套大数据日志分析用户及系统安全性检查的解决方案。本文利用IBM智慧城市中的智慧物流系统作为日志来源,在主机上采用hadoop作为并行日志分析的计算框架,对大规模日志进行并行处理,将hadoop统计的结果作为SVM(支持向量机)的数据源,对已有数据进行分类,对用户的习惯进行分析,总结出不同用户的习惯规律,在用户产生异常行为时,系统及时发出警告,保证系统安全。同时,采用了一种改进的主动学衡数据进行训练和分类,该算法通过高斯核函数分析已有数据集的分布状况,从而更加智能的从已有训练集样本未覆盖的区域选择新的样本,克服了训练集样本分布过度集中,信息表达不充分的缺点。利用该算法对未登录访问请求日志进行深层分析,分类器可以通过较小的代价学习更多的样本信息。同时,对未授权的访问请求进行区分处理,单独进行主动学习,从而提高整个系统的性能和安全性。关键词:大数据;hadoop;SVM;主动学习万方数据基于主机的日志大数据分析及安全性检查BigLogDataAnalysisandSecurityCheckBasedonFr锄eAbstractIntoday’putingera,V撕ousdeVicessuchasmobilephones,smart、砸stbaJlds,smanglassesaIldeVenthetrashco皿ecttomeneMorkproducedalotof印plications,w11ichconVeIliencethepeople’,wllichcontaintheusers’landingsites,deVicei础、omation,cu玎emstatus,,someonecanaJlalyzemeuser’sbehaVior,healmstatus,-,,understandingclassiclogsparallelprocessingpapers,andin-deptllstlldyofcullrentlyaVailablelaurgedataprocessinga11da11alysismetllods,,weuseIBMsman109iSticsofsmanc时logfilesasdatasource,putillg行anleworkfo“arge—scaleparallelprocessinglogs,theresultsofhadoopstatisticsasSVM(supportVectormacmne)datasources,toclassi母existingdataabouttlleuser’shabits,,thesystemwilltimelyw锄userbyemailorSMS,,thisp印erusesaJlimproVedactiVeleaHlingalgoritllIn,calledG-AL(GauSsiallactivelearnin
基于主机的日志大数据分析及安全性检查 来自淘豆网m.daumloan.com转载请标明出处.
