数据治理能力(共9页).docx

精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
数据治理能力提升
精选优质文决系统硬件问题，由原来的单机改为集群运行，可解决所有的服务器硬件故障，当某一台服务器出现任何故障，如：硬盘、内存、CPU、主板、I/O板以及电源故障，运行在这台服务器上的算法就会切换到其它的服务器上。
算法平台可解决软件系统问题，在计算机系统中，用户所使用的是应用程序和数据，而应用系统运行在操作系统之上，操作系统又运行在服务器上。这样，只要应用系统、操作系统、服务器三者中的任何一个出现故障，系统实际上就停止了向客户端提供服务，比如我们常见的软件死机，就是这种情况之一，尽管服务器硬件完好，但服务器仍旧不能向客户端提供服务。而
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
算法平台的最大优势在于对故障服务器的监控是基于应用的，也就是说，只要服务器的算法停止运行，其它的相关服务器就会接管这个应用，而不必理会应用停止运行的原因是什么。
算法平台可以解决人为失误造成的应用系统停止工作的情况，例如，当管理员对某台服务器操作不当导致该服务器停机，因此运行在这台服务器上的应用系统也就停止了运行。由于集群是对应用进行监控，因此其它的相关服务器就会接管这个应用。

没有依赖关系的算法可以并行执行，缩短算法运算时间，提高服务器资源的使用。
有依赖关系的算法可以串行，可以通过web页面进行手动配置组合，方便算法流程的修改。
spark任务调度
可以自动分配集群资源，保证各节点的资源合理
可以通过web页面查看资源使用情况，方便系统运维
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
spark任务失败重试与黑名单机制
spark会选择合适的任务调度运行，并且监控任务的执行状态，，任务被提交启动执行后，执行过程中会将执行状态上报给调度程序的后端，调度程序的后端则告诉任务调度， 可以得到任务的失败与成功状态，对于失败的任务，会记录它失败的次数，如果失败次数还没有超过最大重试次数，那么就把它放回待调度的任务池中，否则整个Application失败。在记录任务失败次数过程中，会记录它上一次失败所在的位置，这样下次再调度这个任务时，会使用黑名单机制，避免它被调度到上一次失败的节点上，起到一定的容错作用。
任务首先会统计成功的任务数，当成功的Task数超过75%(可通过参数控制)时，再统计所有成功的任务的运行时间，得到一个中位数，(可通过参数控制)得到运行时间门限，如果在运行的任务的运行时间超过这个门限，则认为子任务出现问题时（包括执行时间过长，子任务异常停止），会重新执行该子任务（如下图）。
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心-