日志分析平台建设设计方案.docx

日志分析平台建设方案
目录
一、 现状和需求 2
（一） 现状与问题 2
（二） 需求说明与分析 2
二、 建设目标 2
三、 系统设计 2
（一） 技术选型 2
（二） 系统架构 2
架构图 2
架构分日志分析平台建设方案
目录
一、 现状和需求 2
（一） 现状与问题 2
（二） 需求说明与分析 2
二、 建设目标 2
三、 系统设计 2
（一） 技术选型 2
（二） 系统架构 2
架构图 2
架构分析 3
（三） 系统介绍 3
四、 实施方案 4
（一） 系统配置 4
软件 4
硬件 4
（二） 系统搭建 4
一、 现状和需求
（一） 现状与问题
日志文件分散在各个应用服务器，开发人员必须远程登录才能查看日志，不利于 服务器安全管控，加大生产服务器的风险；
服务器上各项目日志配置很随意，文件分布杂乱，没有统一的规范和管理；
日志文件占用服务器大量的硬盘空间，如不及时清理会发生硬盘占满，影响系统 的正常运行；
对于超过百兆的日志文件根本没法打开和关键字搜索，不利于问题的快速定位和 排查；
集群和分布式的系统需要查看多个服务器的日志
日志保存的时间不统一，不能长时间保存日志
（二）需求说明与分析
1. 不需要开发人员登录生产服务器就能查看日志；
2. 统一规范日志的配置和输出格式；
实时的将日志文件从服务器中迁出；
提供日志的检索和统计分析的平台；
二、 建设目标
搭建支持高并发高可靠的日志分析平台，方便开发人员快速的检索日志，排查问题， 同时提供友好的分析和统计的界面。
三、 系统设计
（一）技术选型 针对这些问题，为了提供分布式的实时日志搜集和分析的监控系统，我们采用了业 界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和
Kibana三个系统。通常，业界把这套方案简称为ELK，取三个系统的首字母。调研了 ELK技术栈，发现新一代的logstash-forward即Filebeat,使用了 golang，性能超 logstash,部署简单，占用资源少，可以很方便的和logstash和ES对接，作为日志文 件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。
为了支持日志的高并发和高可靠需要进了消息队列（MQ）,这里选择了 kafka，相对其他 消息中间件，kafka有支持大并发，快速持久化等优点，而且ELK+Filebeat对kafka的 兼容性也很好。
最终，我们采用 Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper 的架构搭 建日志分析平台。
（二） 系统架构
1. 架构图
a-ZDoKeepG-r
ES DataNode
Kafra-ZcflKeeper-
ES DataNode
Kafca-ZooKeeper
& Fi^beat
W它bjg务圉葉胖
ElaLtic-tear£h 箋醉
Logstasli
\有.
ES Ma&VeF Nod^^icibai^ia
2. 架构分析 第一层、数据采集层
最左边的是业务服务器集群，上面安装了 filebe