基于Spark的网络日志分析系统设计与实现.pdf

第10期 无线互联科技 N o .10
2021年5月 Wireless Internet Technology M a y ，2 0 2 1
基于Spark的网络日志分析系统设计与实现
汪小霞
（苏州健雄职业技术学院，江苏  苏州  215411）
摘  要：当下，互联网技术已经广泛地应用于企业办公系统。企业在需要对业务进行处理时，对互联网有着较高的需求。在
利用网络技术的基础上，工作人员可以有效地借助飞快的信息传播速度，降低工作的成本，同时也可以进一步提升办公的
整 体 效 能 。因 此 ，文 章 针 对 Spark的网络日志，进行系统设计、分析以及阐述，以此为相关领域的研究人员提供参考。
关键词：Spark；网 络 日 志 ；系 统 构 建 ；逻 辑 处 理 ；网 页 展 示
0 引言 种物理层。
现阶段，大多数用户以及行业都在使用互联网技术，但 任务管理模块
却 没 有 良 好 的 信 息 安 全 意 识 。而 当 下 的 网 络 环 境 也 越 发 复 杂 任务管理模块主要是针对不同的Spark集 群 任 务 ，所 开
和危险，使得信息安全风险管理工作日渐成为企业日常风险 展的管理调度。而在系统进行配置方面的管理过程中，设计
管理的重要内容。企业需要有效地分析以及处理网络日志， 人员还可以有效地实现人物配置、任务状态监控以及任务调
以此充分保障企业不会受到网络威胁。本研究为整个系统 度。系统在使用的过程中，能够有效地定时执行每日任务。
的优化以及维护提供一定的数据参考。 而 该 模 块 还 包 含 两 个 不 同 的 部 门 ，由 Spark框架以及分布式
1 网络环境 管理系统构成。
在互联网发展的背景下，网络应用于政务办公系统中。 Spark
各行各业不断地利用网络，确保能够获得更多的信息以及数 Spark是一种基于MapReduce的 并 行 计