IT运维分析与海量日志搜索 ppt课件.ppt

IT运维分析与海量日志搜索日志易CEO提纲IT运维分析(ITOperationAnalytics)日志的应用场景过去及现在的做法日志搜索引擎日志易产品介绍IT运维分析从ITOperationManagement(ITOM)到ITOperationAnalytics(ITOA)大数据技术应用于IT运维,通过数据分析提升IT运维效率可用性监控应用性能监控故障根源分析安全审计Gartner估计,到2017年15%的大企业会积极使用ITOA;而在2014年这一数字只有5%ITOA的四种数据来源机器数据(MachineData)日志通信数据(WireData)网络抓包,流量分析代理数据(AgentData)/Java字节码里插入代码,统计函数调用、堆栈使用探针数据(ProbeData)在各地模拟ICMPping、HTTPGET请求,对系统进行检测ITOA四种数据来源使用占比ITOA四种数据来源的比较机器数据(日志)日志无所不在但不同应用输出的日志内容的完整性、可用性不同通信数据(网络抓包)网络流量信息全面但一些事件未必触发网络流量代理数据(嵌入代码)代码级精细监控但侵入性,会带来安全、稳定、性能问题探针数据(模拟用户请求)端到端监控但不是真实用户度量(RealUserMeasurement)日志,我们重要的数据资产行为日志网络日志交易日志应用及系统日志IT系统(服务器、网络设备)每天都产生大量的日志,包含了各种设备、系统、应用、用户信息日志:时间序列机器数据带时间戳的机器数据IT系统信息服务器网络设备操作系统应用软件用户信息用户行为业务信息日志反映的是事实数据“TheLog:Whateverysoftwareengineershouldknowaboutreal-timedata'sunifyingabstraction”,JayKreps,LinkedInengineer深度解析LinkedIn大数据平台()--[15/Apr/2015:00:27:19+0800]“POST/reportHTTP/”20021“”“Mozilla/(;WOW64;rv:)Gecko/20100101Firefox/”“”:ClientIP::15/Apr/2015:00:27:19+0800Method:POSTURI:/reportVersion:HTTP/:200Bytes:21Referrer:UserAgent:Mozilla/(;WOW64;rv:)Gecko/20100101Firefox/-Forward:::(APM)安全审计安全信息事件管理(SIEM)合规审计发现高级持续威胁(APT)用户及业务统计分析