日志分析平台建设方案目录一、 现状和需求 1(一) 现状与问题 1(二) 需求说明与分析 1二、 建设目标 1三、 系统设计 1(一) 技术选型 1(二) 系统架构 21. 架构图 22. 架构分析 2(三) 系统介绍 2四、 实施方案 3(一) 系统配置 31. 软件 32. 硬件 3(二) 系统搭建 4现实状况和需求现实状况和问题日志文件分散在各个应用服务器,开发人员必需远程登录才能查看日志,不利于服务器安全管控,加大生产服务器风险;服务器上各项目日志配置很随意,文件分布杂乱,没有统一规范和管理;日志文件占用服务器大量硬盘空间,如不立即清理会发生硬盘占满,影响系统正常运行;对于超出百兆日志文件根本没法打开和关键字搜索,不利于问题快速定位和排查;集群和分布式系统需要查看多个服务器日志日志保留时间不统一,不能长时间保留日志需求说明和分析不需要开发人员登录生产服务器就能查看日志;统一规范日志配置和输出格式;实时将日志文件从服务器中迁出;提供日志检索和统计分析平台;建设目标搭建支持高并发高可靠日志分析平台,方便开发人员快速检索日志,排查问题,同时提供友好分析和统计界面。系统设计技术选型针对这些问题,为了提供分布式实时日志搜集和分析监控系统,我们采取了业界通用日志数据管了处理方案-它关键包含Elasticsearch、Logstash和Kibana三个系统。通常,业界把这套方案简称为ELK,取三个系统首字母。调研了ELK技术栈,发觉新一代logstash-forward即Filebeat,使用了golang,性能超logstash,布署简单,占用资源少,能够很方便和logstash和ES对接,作为日志文件采集组件。所以决定使用ELK+Filebeat架构进行平台搭建。为了支持日志高并发和高可靠需要进了消息队列(MQ),这里选择了kafka,相对其它消息中间件,kafka有支持大并发,快速持久化等优点,而且ELK+Filebeat对kafka兼容性也很好。最终,我们采取Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper架构搭建日志分析平台。系统架构架构图架构分析第一层、数据采集层最左边是业务服务器集群,上面安装了filebeat做日志采集,同时把采集日志分别发送给两个logstash服务。第二层、数据处理层,数据缓存层logstash服务把接收到日志经过格式处理,转存到当地kafkabroker+zookeeper 集群中。第三层、数据转发层这个单独Logstash节点会实时去kafkabroker集群拉数据,转发至ESDataNode。第四层、数据持久化存放ESDataNode 会把收到数据,写磁盘,建索引库。第五层、数据检索,数据展示ESMaster+Kibana 关键协调 ES集群,处理数据检索请求,数据展示。系统介绍Elasticsearch:分布式搜索和分析引擎,含有高可伸缩、高可靠和易管理等特点。基于ApacheLucene构建,能对大容量数据进行靠近实时存放、搜索和分析操作。通常被用作一些应用基础搜索引擎,使其含有复杂搜索功效;Logstash:数据搜集额外处理和数据引擎。它支持动态从多种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存放到用户指定位置;Kibana:
2021年日志分析平台建设方案 来自淘豆网m.daumloan.com转载请标明出处.
