ELK日志分析平台在系统运维中的应用.docx

ELK日志分析平台在系统运维中的应用
 
 
 
 
 
   
 
 
 
张彩云
随着气象部门对数据传输时效要求不断提升，以及业务系统规模不断扩大，对系统中日志的收集和集中处理的需求越来越用方便。
Logstash简介
Logstash由JRuby语言编写的日志采集解析工具，基于消息（message-based）的简单架构。Logstash由input、filter和output三部分组成，input负责从数据源提取数据，filter负责解析、处理数据，output负责输出数据，每部分都有提供丰富的插件。不同于分离的代理端（agent）或主机端（server），Logstash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。
Kibana简介
Kibana也是一个开源的分析可视化平台，它具有汇总、分析和搜索重要数据日志并提供友好的web界面的功能。他可以为Logstash和ElasticSearch提供的日志分析的 Web 界面，具有较好的展示效果，可以自定义多种表格、柱状图、饼状图、折线图，对存储在ElasticSearch中的数据进行深入挖掘分析与可视化。
3 日志分析系统
日志分析系统框架
基于ELK的日志分析系统的体系结构总体分为日志采集、日志预处理和日志分析三部分，如图1所示。
虽然单纯的ELK架构方式容易搭建，但是由于没有消息队列缓冲，存在数据丢失隐患，故本文设计的日志分析平臺引入了消息队列机制。多个独立的Logstash agent（shipper）部署在CIMISS系统（26台服务器）各个日志生成host上，负责收集不同来源的日志，直接将日志输出到Redis队列（list）中；Logstash（Indexe）负责从Redis中取出数据，对数据进行格式化和相关预处理后，输出到ElasticSearch集群中存储；最后由Kibana呈现给用户做统计、分析。
ELK环境部署
基础环境准备
，一台作为master节点，另一台为slave节点，master收集到日志后，会随机把一部分数据碎片到salve上；同时，master和slave又都会各自做副本，并把副本放到对方机器上，这样就保证了数据不会丢失。如果
master宕机了，那么客户端在日志采集配置中将ElasticSearch主机指向改为slave，就可以保证ELK日志的正常采集和web展示。
ElasticSearch安装及配置
由于ElasticSearch和Logstash都是依赖于java环境运行，且对java版本要求较高，首先在两台ElasticSearch客户端逐台安装jdk8。，集群名设置为ElasticSearch，每台服务器的主机名为默认主机名，完成配置文件修改工作并登陆Web页面测试安装是否成功。最后安装head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。
Logstash安装及[-]配