日志分析平台建设方案.doc

日志分析平台建设方案目录一、 现状和需求 1(一) 现状与问题 1(二) 需求说明与分析 1二、 建设目标 1三、 系统设计 1(一) 技术选型 1(二) 系统架构 21. 架构图 22. 架构分析 2(三) 系统介绍 2四、 实施方案 3(一) 系统配置 31. 软件 32. 硬件 3(二) 系统搭建 4现状和需求现状与问题日志文件分散在各个应用服务器,开发人员必须远程登录才能查看日志,不利于服务器安全管控,加大生产服务器的风险;服务器上各项目日志配置很随意,文件分布杂乱,没有统一的规范和管理;日志文件占用服务器大量的硬盘空间,如不及时清理会发生硬盘占满,影响系统的正常运行;对于超过百兆的日志文件根本没法打开和关键字搜索,不利于问题的快速定位和排查;集群和分布式的系统需要查看多个服务器的日志日志保存的时间不统一,不能长时间保存日志需求说明与分析不需要开发人员登录生产服务器就能查看日志;统一规范日志的配置和输出格式;实时的将日志文件从服务器中迁出;提供日志的检索和统计分析的平台;建设目标搭建支持高并发高可靠的日志分析平台,方便开发人员快速的检索日志,排查问题,同时提供友好的分析和统计的界面。系统设计技术选型针对这些问题,为了提供分布式的实时日志搜集和分析的监控系统,我们采用了业界通用的日志数据管理解决方案-它主要包括Elasticsearch、Logstash和Kibana三个系统。通常,业界把这套方案简称为ELK,取三个系统的首字母。调研了ELK技术栈,发现新一代的logstash-forward即Filebeat,使用了golang,性能超logstash,部署简单,占用资源少,可以很方便的和logstash和ES对接,作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。为了支持日志的高并发和高可靠需要进了消息队列(MQ),这里选择了kafka,相对其他消息中间件,kafka有支持大并发,快速持久化等优点,而且ELK+Filebeat对kafka的兼容性也很好。最终,我们采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper的架构搭建日志分析平台。系统架构架构图架构分析第一层、数据采集层最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务。第二层、数据处理层,数据缓存层logstash服务把接受到的日志经过格式处理,转存到本地的kafkabroker+zookeeper 集群中。第三层、数据转发层这个单独的Logstash节点会实时去kafkabroker集群拉数据,转发至ESDataNode。第四层、数据持久化存储ESDataNode 会把收到的数据,写磁盘,建索引库。第五层、数据检索,数据展示ESMaster+Kibana 主要协调 ES集群,处理数据检索请求,数据展示。系统介绍Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于ApacheLucene构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能;Logstash:数据收集额外处理和数据引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤