SPLUNK大数据日志系统分析平台技术方案.docx

项目背景
近年来,XXXX对科技运维工作越来越重视。继2012年运维管理工作被列为重点工作之后,目前内部缺少掌握和分析。。。。。。。。。。。情况的高效技术手段,无法量化评估。。。。。。。。。。。因而,需要建设。。。。。。。。。。。。。。,达到掌握和分析xxx运维的目的。
本方案为信息系统分析平台建设项目的具体技术服务方案,包括部署实施、项目管理、培训及技术支持等。
方案设计
为了有针对性的解决现有。。。。。。。。。。。所面临的上述问题,采用splunk,建立起一个分析应用文本日志的统一的平台,提供通用日志收集、转换和分析的功能,满足重要信息系统所产生的大数据量、半结构化、大并发的复杂日志分析的要求,从而使运维人员能够多维度、细粒度地分析总分部重要信息系统的交易质量。
本章节对splunk信息系统分析平台的逻辑架构和应用架构设计及具体技术要求进行阐述和说明。
架构概述
Splunk forwarder能够通过目录文件监控日志增量变化,将增量变化内容负载均衡的转发给索引服务器indexer导入。分部数据统一传输到总部forwarder。核心数据通过在核心交易监控平台上部署forwarder获取日志。
2台索引服务器indexer存储所有的数据,而且能够进行数据分析索引。indexer负载均衡的接受forwarder转发过来的原始日志进行存储。indexer同时也接受来自search head的搜索分析请求,对数据进行搜索分析返回结果给search head进行展示。对于search head发起搜索的搜索结果可以被写回到indexer上,这样indexer也存储分析中间结果数据以及最终结果数据。
Searh head 2是所有的计划搜索调度节点。所有报表和数据抽取都通过search head2进行调度产生。其上不存储任何结果数据,结果数据都写回到indexer上。
Search head1 提供web界面展现。用户可以登录使用,查看报表、定制自己查询逻辑和查看结果。同时也提供完整的权限控制。
由于所有splunk功能都来自同一个软件包的不同配置。所以,选择2台splunk Indexer和2台search head组成分布式架构,保证splunk高可用性和容错性。1台indexer有异常,另一台可以接替运行;1台search head有异常,另一台通过配置修改也能接替运行。
系统逻辑架构
图2描述了信息系统分析平台的逻辑架构,分为数据导入层、分析层、访问层和用户层四个层次,基于模块化实现,系统的功能模块说明和具体技术要求描述如下:
数据导入层
实现数据收集和导入,满足以下表具体技术要求:
功能分类
具体技术要求
收集功能
AIX/HP-UNIX/Windows/Linux 操作系统上收集文本日志。
单个日志文件的全量或增量收集
多个日志文件批量收集,其中日志文件名可按日期或时间等一定规律进行变化
网络方式远程收集文本日志,对于无本地代理的模式,支持AIX/HP-UNIX/Windows/Linux 操作系统,代理安装配置的复杂程度,需要使用的用户权限
网络方式远程收集文本日志,对于需要安装本地代理的模式,支持主流网络访问协议(如ftp/sftp/syslog/snmp等)
收集阶段的数据过滤,如按关键字过滤、或按指定格式截取数据等
导入功能
是否支持自定义模式,灵活适应不同应用日志的识别和转换
对日志不同时间格式的完整识别,支持按时间顺序排序导入的日志
提供插件和成熟功能模块支持常见半结构化日志(如 XML 或 Log4j 等)
图2
数据分析层
信息系统分析平台的核心功能模块,包括数据存储、数据分析和参数配置三大功能模块,具体需满足下表技术要求:
功能分类
具体技术要求
存储功能
在兼顾导入和检索性能的前提下,导入日志内容应压缩存储
无法通过产品以外的途径获取或查看导入日志内容
保护原始导入日志的完整性,不得被篡改
能保存基于模式识别或转换后的日志内容,提高检索性能
检索功能
根据时间信息快速定位和展现原始导入日志内容
自动识别或基于用户定义模式(如:正则表达式等)定义日志内容的Key/Value对,并能自动匹配和提取
按Key或Value的检索和展现导入日志内容
支持通配符或正则表达式等对导入日志内容进行模糊检索
支持多个维度(Key),多种信息的组合检索
支持对检索结果的图形化展现
可将常用检索条件进行保存
支持基于检索结果集的再检索
提供检索语言、命令接口或图形界面等能够灵活定制检索的功能
分析功能
基于提取的关键字KV对进行统计和趋势分析
支持对关键字KV对的等逻辑判断和运算(如支持if条件等)
能够基于分析结果集再