智能化大数据日志分析平台方案.docx

智能化大数据日志分析平台方案
主题简介：
浅析ITOA运维体系和大数据分析体系建设步骤
正确姿势搭建大数据日志分析平台
首先我们来聊聊运维体系和大数据分析体系建设思路，大家也可以看看自己所在企业大概处于哪个位置，然后我会和大家分享下如何去正确搭建大数据分析平台，我们会稍微侧重于日志分析这个领域。
一、企业IT的发展趋势
企业IT的发展趋势，目前来看存在如下3点比较明显的新模式：
1、为了解决研发和运维之间的壁垒，引入了DevOps，开发者和运维人员在实现各自目标的前提下，需要为业务交付提供最大化价值及最高质量成果，完善软件变更在构建、验证、部署、交付等阶段中的活动，同时通过软件开发者和系统运维人员之间所进行的沟通、协作完成持续集成和自动化。
2、传统的运维人员正在探索容器化、自动化、云计算、开源架构等转型之路，进入“互联网+”的时代；传统运维向互联网运维转变的同时在也在借鉴许多比较成熟的商业产品设计思维、平台架构和先进的技术手段。
3、大量原来采用商业软件的企业，在软件定制化和商业开发人工成本不断增加的大趋势下，也在思考向开源社区需求帮助，甚至有些企业和单位的信息技术部门还把开源研究作为信息化建设的任务或考核指标。
下面我们来简单探讨下传统企业和互联网企业IT运维的共同点和区别。首先，传统运维和互联网运维并非对立，两种运维表面上差异很大，但本质是一样的，总是需要无穷无尽的加班熬夜，随时准备充当救火队员，而压力山大的同时经常性背下黑锅又是在所难免，总之比较苦逼。
两者各自的特点：
传统企业IT运维
在相关业务的核心应用环节使用IOE硬件；
业务需求非常明确，用户数量固定。具有明显的行业应用特点，与业务的结合很深，要求供应商既要懂得技术又要懂得业务，软件解决方案偏向成熟的商业产品并长期使用；
运维人员单一领域素质较高，培训体系完善，职责稳定、技术压力小，薪酬不高但是稳定且福利好。
互联网IT运维
硬件选型偏向X86服务器为主，以通用的产品为体系，以开源可控的产品和技术为核心，在高可用、自动化、大数据等领域大量使用开源软件为主要的解决方案；
采用通用的技术，面向广大的互联网用户，业务使用对象复杂，需求繁复，对象数量庞杂，对自动化运维、资源弹性扩缩的要求较高。
人员的技术水平良莠不齐、薪酬浮动空间较大、运维人员知识的学习多数借助互联网自学，并且对应职责领域较广。
二、运维体系建设步骤
经过我们十余年对企业运维体系的建设步骤的理解, 从企业运维的最佳实践上来看，通常分为以下四个阶段：
第一阶段，搭建基础架构的监控，形成相关监控告警，以ITIL流程驱动和相关运维管理实现最基础的IT管理工具，这是现在大部分企业已经建设或者正在不断完善的；
第二阶段，解决方案与工具阶段，通过这个阶段用户可以建立起如企业资产配置与管理CMDB、性能管理、容量管理、故障管理，以及自动化运维、日志分析等从而提高IT管理分析能力；
第三阶段，则是将各个独立的方案和工具进行整合，为分散的系统建立标准的,统一的的规范，根据相关规范接入到整合的系统中，从而形成整体平台的运维能力，例如综合网管、PaaS云平台、综合大数据分析平台。
最后，在这个大平台的基础上，我们可以对各种相关的基础数据以业务维度提升价值为核心，形成跨平台的融合IT管理能力，为用户带来如业务感知、关联分析、闭环管理、人工智能等各种应用场景。
依据我们多年的大型企业维护经验来看，企业的运维体系建设必然经历这4个阶段。
首先，终极目标是明确的，IT运维是以业务维度为核心的，为业务服务的，从成本中心向价值中心转变。
其次，务必按部就班的建设，目前大部分的企业是处在第二阶段向第三阶段过渡，即从解决方案和工具建设过渡到平台整合，而不少企业尝试做一些更激进的举动，例如跳过数据的整合直接向人工智能进发，这种冒进往往是得不偿失的。
谈到现在最火爆的人工智能，在我们今天讨论的大数据分析领域，通常称之为AIOps，Artificial Intelligence for IT Operations，人工智能IT运营，全球最知名的第三方IT咨询公司Gartner称之为Algorithmic IT Operations，基于算法的IT运营。数据算法开始被应用到IT领域的分析和管理上，利用数据科学和机器学习来推进日益复杂的企业数字化进程。
现在AIOps的风口已经出现，Gartner预测到2020年，将近50%的企业将会在他们的业务和IT运维方面采用AIOps，远远高于今天的10%。我们可以参考Gartner在2016年发布的IT基础架构可用性和性能管理生命周期发展曲线，AIO