通过日志分析检测受危害的MapReduce工作节点.pptx

通过日志分析检测受危害的MapReduce工作节点
报告人:
Toward promised MapReduce
Workers through Log Analysis
“
”
MapReduce是适合于在普通设备上进行数据密集型计算的并行编程模型。当MapReduce在分布式系统上运行时,用户对计算的控制非常少,导致一系列安全和隐私问题。MapReduce活动可能会被恶意节点或欺骗节点攻击。
本文重点分析和检测由恶意或错误配置节点所发起的攻击。我们的目标是,在不修改MapReduce原始操作和不引入额外操作的前提下,研究如何证实MapReduce环境下计算(不论是计算型的还是密码型的)的完整性和正确性。我们根据收集的低层次系统路径和Hadoop日志定义了一系列数据和计算完整度检查方法,并相互关联去获取节点上正在执行的操作的信息。然后将这些信息和系统与程序不变量比较,去有效的检测恶意活动,包括懒惰节点、修改输入/输出的节点或运行异常计算的节点。
摘要
目录
介绍
相关工作
背景和问题陈述
MapReduce执行路径监测
完整性检查
MapReduce不变量
完整性检查匹配不变量
实验
讨论和总结
1
2
3
4
5
6
7
8
9

随着最近云计算服务的兴起,MapReduce框架已经变成分布式环境下高效并行处理大规模数据的一种流行方法。它提供计算任务在计算节点上的无缝分布,对程序员透明。它已经被许多大公司广泛的采用,如Google,Yahoo,Amazon,Facebook,AOL等。Yahoo公司的Hadoop进一步推动的MapReduce的广泛采用。
尽管它具有自由灵活和能够处理大规模数据的优点,MapReduce也易受第三方的攻击和非法行为的破坏。由于用户对运行在用户数据上的程序控制较少,数据的错误计算很容易检测不到,这在有恶意服务的情况下更糟糕。

本文重点分析和检测由恶意或错误配置节点所发起的攻击。
我们的目标是:在不修改MapReduce原始操作和不引入额外操作的前提下,研究如何证实MapReduce环境下计算(不论是计算型的还是密码型的)的完整性和正确性。
目前处理远程计算核实问题的研究非常多,通常的方法主要依赖于备份、密码协议或认证协议。其中大多数方法尽管有效,但是需要修改MapReduce原始操作流,或是需要修改提交的MapReduce任务。我们的挑战是设计一种替代的方法而不需要这些干扰性的修改。

最终,我们提出一种新奇的方法来检测MapReduce框架下的错误使用和攻击,即对系统调用和MapReduce日志进行语义分析。
系统调用活动流包含了丰富的性能和故障方面的数据信息及语义信息。
在给定整个系统准确的执行踪迹的情况下,可以推导出正在执行的操作。这些信息还可以用来描述某些操作没有发生,这一属性对于保证信息安全非常重要。进一步,我们确定一个不变量集合来形成Hadoop框架和其应用程序的基准行为。将Hadoop日志和特定的系统调用关联起来,并把他们和确定的不变量比较分析,就可以确定是否有恶意节点攻击MapReduce操作函数或修改计算的原始工作流。

在各种各样的计算应用中,从网格到云计算,都有大量的研究工作在处理计算核实问题。
Du等人使用采样技术来实现有效可行的非欺骗网格计算。
Zhao等人提出一种模式来处理结果认证的协同作弊。
Sarmenta等人引入多数选举和定点检测技术来减少错误率。
Xiao等人给出一个有效的MapReduce平台,检查所有正在运行的机器,实时监测恶意节点。
文献26采用了一种基于备份的模式,允许冗余度基于动态计算和工作节点的可行度适应性的调整。
文献30的SecureMR框架,采用一种新的离散化的、基于备份的完整度认证模式,并且利用现存的MapReduce层次结构作为备份。
Roy等人提出的Airavat系统是一个MapReduce系统的安全和隐私框架。Airavat通过向DFS加入SELinux-like强制访问协议,修改JVM和MapReduce框架,
保证差别隐私。

上述所提到的研究都基于备份技术,或需要修改MapReduce配置来提高安全保障。任务要么被复制到两个及两个以上不同的部分处理,要么使用密码检测来保证执行的正确性。这样的冗余操作尽管准确但却浪费系统系统资源,经常是不切实际的。
我们研究消除了额外操作的限制,并且研究细致的关联分析和准确的日志解析怎样可以帮助检测恶意活动。
除了在计算验证和完整度方面的工作,还有大量的通过日志分析进行系统错误检测方面的工作。这些工作重点在系统日志上使用挖掘和静态学习技术,确定可能