新一代日志分析系统为企业运维减负.doc

新一代日志分析系统为企业运维减负.doc新一代日志分析系统为企业运维减负伴随着大数据时代的到来,启明星辰于2015年12月25口正式对外发布了面向企业级客户、融合大数据技术的泰合新一代日志分析与审计平台(以下简称TS0C-SA3),以满足需要分析天量安全FI志的政企客户的需求。该平台结合当前主流的大数据技术,并采用具有自主知识产权的分布式非关系型数据库(CupidDB)技术,有效处理日志大数据问题,。TS0C-SA3基于分布式节点计算机制,使用自主知识产权的非关系型数据库CupidDB,具有高可靠性的分布式、全文索引、实时格式化数据搜索和原始数据关键字搜索等功能。系统融合多种信息安全技术和管理理念,充分实现组织、管理、技术三个体系的合理调配,帮助用户进行基于口志的综合审计和日志全生命周期管理,从而最大化地保障网络、主机和应用系统安全机制的有效性。融合大数据技术的日志管理技术架构系统采用了国内领先的高性能日志采集范式化技术、大数据分布式存储与索引、流式集中事件及情境关联分析,从产品技术架构的层面,进行了系统性的设计,使系统真正成为一款能够支撑持续海量日志管理的系统。第一,口志采集层面使用了异步通信、高速缓存、口志范式化流水线和消息中间件技术,对海量异构日志进行持续不断高速的采集,使用户能够采集并预处理网络中人规模审计対象的日志。第二,日志存储方面,针对大数据日志,系统采用了具有自主知识产权的分布式非关系型数据库CupidDB从根本上消除了使用传统关系型数据库的日志审计系统的性能瓶颈,弥补了数据存储、数据索引、数据搜索和数据备份的不足,使FI志审计系统真正边向了大数据时代。对数据进行分片和副本,将分片和副本保存在不同的分布式节点上,同时对数据进行全文索引,通过分布式节点的增加实现对TB/PB级日志数据的保存,并可将数据以文件系统方式保存在各节点上,实现了存储和分析的水平弹性扩展,满足用户存储长期日志数据的要求。第三,H志分析层面包括实时流式分析、交互式分析、全文检索、历史数据冋放、批处理分析等多种先进技术。第四,流式分析采用内存实时计算、plexEventProcess,CEP)技术结合口志相关的各类情境数据进行实时监控和关联分析,帮助用户及时发现安全异常,快速关联出安全隐患。第五,历史数据回放提供了历史数据检测的功能,方便安全审计员对保存在系统中的海量数据进行冋放,通过高速冋放技术为用户重现历史安全场景。第六,批处理分析使用了数据抽取、数据聚合等技术,能够对TB级日志快速生成报表,满足安全审计员生成各类安全日报、周报和月报等需求。灵活强大的交互式查询系统使用了大数据交互式查询技术,满足安全审计员的日常工作需要。安全审计员可以通过自定义的仪表盘同日志审计所存储的所有日志进行交互,实时查询数据,杳询时间缩短到秒级。系统支持任意嵌套査询,并可随意冋退,通过仪表板可视化处理数据,真止做到所见即所查。系统可将查询条件保存为策略,支持策略的导入导出,供示期使用,为安全审计员工作提供便利。安全审计员通过仪表板可任意选择需要显示的字段和信息,并可对查询结果随时进行统计分析、可视化分析,包括地理定位、多维分析、TopN分析,支持关键字和正则表达式的全文检索。系统的交互式分析功能为安全审计和分析人员在进行安全事件调查和威胁分析时提供了一个强有力的武器。混合式检索技术系统提供混合检索