SPLUNK大数据日志系统分析平台技术方案.docx

项目背景谤蔻掰刮苘璎芳菏聍胀广瓣诹貔
近年来,XXXX对科技运维工作越来越重视。继2012年运维管理工作被列为重点工作之后,目前内部缺少掌握和分析。。。。。。。。。。。情况的高效技术手段,无法量化评估。。。。。。。。。。。因而,需要建设。。。。。。。。。。。。。。,达到掌握和分析xxx运维的目的。锘白斥簿吗栎嗑墁砹彼瘭晟雠硅
本方案为信息系统分析平台建设项目的具体技术服务方案,包括部署实施、项目管理、培训及技术支持等。挡阏犰筏椎急旧活楼敝烈咸疮罄
方案设计彗誉饽邗辑荞姚猴戬倨屏屎涕蛔
为了有针对性的解决现有。。。。。。。。。。。所面临的上述问题,采用splunk,建立起一个分析应用文本日志的统一的平台,提供通用日志收集、转换和分析的功能,满足重要信息系统所产生的大数据量、半结构化、大并发的复杂日志分析的要求,从而使运维人员能够多维度、细粒度地分析总分部重要信息系统的交易质量。乓去顾残浃粲眵奂拭搛蟮瓯镨槌
本章节对splunk信息系统分析平台的逻辑架构和应用架构设计及具体技术要求进行阐述和说明。璁藉孝秫阕令泡诓蛴跨嘭嚎馁仓
架构概述杓透獍媾据觫珐攀壳绿凝俄鲲黠
Splunk forwarder能够通过目录文件监控日志增量变化,将增量变化内容负载均衡的转发给索引服务器indexer导入。分部数据统一传输到总部forwarder。核心数据通过在核心交易监控平台上部署forwarder获取日志。徼展操陇萼氅平锌虮诉鞒樱蓬黑
2台索引服务器indexer存储所有的数据,而且能够进行数据分析索引。indexer负载均衡的接受forwarder转发过来的原始日志进行存储。indexer同时也接受来自search head的搜索分析请求,对数据进行搜索分析返回结果给search head进行展示。对于search head发起搜索的搜索结果可以被写回到indexer上,这样indexer也存储分析中间结果数据以及最终结果数据。潼赖糨昆潞枯扶轮律苦釜饭栊黯
Searh head 2是所有的计划搜索调度节点。所有报表和数据抽取都通过search head2进行调度产生。其上不存储任何结果数据,结果数据都写回到indexer上。埒眉念呻囡得佳痉沾懵今铴探哪
Search head1 提供web界面展现。用户可以登录使用,查看报表、定制自己查询逻辑和查看结果。同时也提供完整的权限控制。铸镂底醉舟倌拔馆郯髂喱跣晦瀣
由于所有splunk功能都来自同一个软件包的不同配置。所以,选择2台splunk Indexer和2台search head组成分布式架构,保证splunk高可用性和容错性。1台indexer有异常,另一台可以接替运行;1台search head有异常,另一台通过配置修改也能接替运行。绻绞龙蛊骛宀释完兜癯松谖过嫁
系统逻辑架构褚砧犟每逯隗祭搴暹条爸芬少趼
图2描述了信息系统分析平台的逻辑架构,分为数据导入层、分析层、访问层和用户层四个层次,基于模块化实现,系统的功能模块说明和具体技术要求描述如下:考干拳思啕敏阋鞠太孤荐誓踺宾
数据导入层轺癜鲋汀急镛蜃喧谴缒俾铯鞠泫
实现数据收集和导入,满足以下表具体技术要求:伢沭绩甙施鸾陛躞缁螺渫绠踌吻
功能分类哜诺萍谍鐾龈捌瞅攥斋暨搭氧乘
具体技术要求胃苴孀祧仆稗戳洳硒拄督隳剧毯
收集功能宫廊殉哥豇岌辖樽诙怍妻瘁主兰
AIX/HP-UNIX/Windows/Linux 操作系统上收集文本日志。敫娇樽奏杯净旌栖蜃搔罩办榆窘
单个日志文件的全量或增量收集茹晶步锔诵圳域笛隅丕纤耨渎喉
多个日志文件批量收集,其中日志文件名可按日期或时间等一定规律进行变化醴燠蜗钎袍铕杏舁裤姜仿饭毁绠
网络方式远程收集文本日志,对于无本地代理的模式,支持AIX/HP-UNIX/Windows/Linux 操作系统,代理安装配置的复杂程度,需要使用的用户权限姗假倦摊问苻法啥砘瘗绌料恙筒
网络方式远程收集文本日志,对于需要安装本地代理的模式,支持主流网络访问协议(如ftp/sftp/syslog/snmp等)角遛栌臻喊滹诵蒌谆且淄柬聚黔
收集阶段的数据过滤,如按关键字过滤、或按指定格式截取数据等佣椭仨讧锢蹀俜怜迂氦全久扎岽
导入功能怩界臭肖窥摔殁糗鳝滇崃纷邳苫
是否支持自定义模式,灵活适应不同应用日志的识别和转换冼辆煤蜡骐辜侪浩鹗洒礓漶槿枨
对日志不同时间格式的完整识别,支持按时间顺序排序导入的日志酆俨嘿喹氮禄濡揽宁舛砝擞汀锷
提供插件和成熟功能模块支持常见半结构化日志(如 XML 或 Log4j 等)洫璀康载膀居筑冈头悦掇靳撕佬
图2肭奠葵豇饔窬鹪蜍凋皆鹞爷定护
数据分析层磅衢跏垃谥诏诒纫胳忙熏擗量泾
信息系统分析平台的核心功能模块,包括数据存储、数据分析和参数配置三大功