最新舆情监控系统与新闻选稿系统技术方案建议书.docx

舆情监控系统与新闻选稿系统技术方案建议书
舆情监控系统与新闻选稿系统二期技术方案建议书
2022年8月
陈伯达
目录
舆情监控系统与新闻选稿系统二期技术方案建议书 1
目录 1
一、概述 2
工程名称 2
业务流程
　 、论坛、博客、存储到舆情数据库中，并通过舆情搜索引擎对海量的舆情数据进行实时索引．
　　、智能分析和加工．舆情分析引擎依赖于智能分析技术和舆情知识库．
　　．
用户通过舆情效劳平台浏览舆情信息，通过简报生成等功能完成对舆情的深度加工和日常监管工作．
三、功能设计
舆情采集
采集配置
舆情词配置优化：本部门不能新增相同的舆情词，跨部门允许有相同的舆情词。
普通账号只能查看和维护本部门及自己添加的舆情词，而管理员那么可以查询和维护全部舆情词。
新浪微博高频词采集频率由原有的5分钟调整为1分钟。
未匹配舆情词数据存入数据库。
采集渠道

全面扩展采集渠道，渠道是信息采集的根底，片面采取局部渠道获得信息可能会给出错误的信息，因此大而全的渠道是精准采集舆情的必要条件。
截至目前梳理需要扩展的渠道数量
渠道分类
央级媒体
省级媒体
市级媒体
电子报
15
15
10
新闻
50
56
33
论坛
25
0
15
微博
1
0
0
问答
0
20
20
微信公众号
24
0
0
App推送
12
2
2
意见领袖
20
0
0
合计
147
93
80
. 云数据采集子系统
按照客户的不同需求进行规划，制定针对日常舆情监测，口碑调研、突发事件、与个性化定制等不同需求的采集方案，通过实现互联网舆情全面监测，信息及时采集，到达舆情监测的目的.
通过云数据采集系统采集互联网数据源，客户能够节省资源，同时提高舆情信息采集与监控的及时性。
通过云采数据集系统自动采集客户重视与关注焦点信息，客户能够实现对相关领导、 相关部门、相关人员、辖区机关单位、园区企业等正负面舆情信息全面监测，及时发现问题，作出应对措施。同时监测互联网相关正负面信息、突发事件、重大事件、热门信息、舆情趋势等等，及时掌握最新信息。
通过云采数据集系统，政府可以根据需要勾选关心的舆情信息，系统将自动采集并导入到客户预设模板，同时生成舆情报告，并定期发送。
云数据采集系统通过先进的分布式云架构采集技术可以24小时监控成千上万的网站、论坛、微博舆情和博客的变化，帮助用户及时、全面、准确地掌握自己重视和关心的焦点问题。通过对所采集信息进行进一步的整理、分析，实时掌控自己管辖区域内的信息动态，充分履行政府职责，提高政府办事与应变效率。
云数据采集系统系统的主要功能为：根据用户自定义的任务配置，批量而精确地抽取因特网目标网页中的半结构化与非结构化数据，转化为结构化的记录，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。 如下列图所示：
舆情处理
Saas模式
数据开放共享
共享历史沉淀和积累的数据资源;开放数据分析和舆情应用效劳能力
Saas效劳
提供Saas模式，用户根据个性所需构建自己舆情数据分析支撑。
业务定制
为用户定制个性化的舆情分析系统，结合用户综合舆情数据分析需求，完全定制化用户舆情效劳。
. 去重处理
数据踢重优化，不同的网站情况不一致，根据具体情况进行优化，如：局部新闻网站为动态网站，随着网站更新，早期发布新闻的url会动态变化，因此在类似网站采用新闻标题和发布时间两个字段进行踢重
. CMS接口数据格式特殊处理
cms接口中局部网站采集的图片路径是相对路径，导致传送给客户无法显示
cms接口中内容中有时会出现原网站的一些说明〔与新闻内容无关〕需要去除。
cms接口中采集新闻未包含作者字段
cms接口中内容缺失：多页内容采集不完全，仅采集到首页内容
cms接口中只取img标签和p标签有会造成局部内容丧失，需要评估会丧失的新闻量所占比重来决定处理方法：内容存在不同格式里面
. 站内搜索
利用ElasticSearch先进的全文检索引擎技术，提供舆情新闻检索和论坛检索功能，可按提供近义词、同音词、拼音检索、热点检索词等智能检索功能。舆情信息检索结果可按不同维度展现，包括按内容分类、舆情分类、相关人物、相关机构、相关地区、正负面分