券商营销大数据处理解决方案v4.0.pdf

LOGO
LOGO
券商营销大数据解决方案
中金云计算中心研发部
2013-4-23
目录
券商营销大数据处理解决方案—总体方案
中金券商营销大数据处理解决方案—数据采集
中金券商营销大数据处理解决方案—数据处理
中金券商营销大数据处理解决方案—建模
中金券商营销大数据处理解决方案—交互推广
券商营销社交媒体大数据解决方案—总体方案

寻找目沟通定位产品
标客户推介
发掘潜在与客户进行确定与客户定向产品推
目标客户沟通,了解属性和需求介,进行营
客户的属性相匹配的产销推广
与需求品
中金券商营销社交媒体大数据解决方案—总体方案

数据抓取: 数据处理:
即时对各种社交媒体
依托中金的云计算基
如微博、论坛、博客
础设施平台和已有经
等聚焦金融证券行业
验基础对数据进行清
进行链式信息采集
洗、组织、存储
A B
D C 建模:
交互: 结合证券行业特点,
通过人工或电子的方式基于中金云计算平台
进行交互,不断进行营对采集数据进行分类、
销结果分析并修正模型。关联、因子分析等,
发现潜在目标客户
中金券商营销社交媒体大数据解决方案—数据抓取
全面、及时、准确地获取
客户属性数据,为及时发
掘目标客户群,了解客
采用最新的垂直搜索技术户需求,进而进行消息定
(针对某一行业的专业搜向发布做准备
从信息较集中的论坛、索引擎,对网页库中的专
博客、微博等社交媒体门信息进行整合,分字段
进行监控和采集最新信抽取所需数据处理后以某
息数据(文章、评论、种形式返回)和分布式数
转发、用户信息、关注据存储技术,支持高并发
人群、粉丝等) 的实时数据采集
数据来源抓取技术特点
中金券商营销社交媒体大数据解决方案—数据抓取子系统运行逻辑
论坛采集器博客/微博采集器更新博客/微博用户表
采集与证券相关的博客/
输入种子URL获取帖子输入种子URL初始化博微博用户的与证券相关
基本信息、回复信息客/微博用户信息表的粉丝用户和关注用户
信息
从博客/微博用户表获取采集上述与证券相关的
用户信息并采集发表的粉丝用户和关注用户的
博客/微博及转发和评论与证券相关的粉丝用户
信息和关注用户信息
从博客/微博用户表获取如此继续链式扩展并更新
用户并采集关注人群和至博客/微博用户信息表,
粉丝的基本信息进入博客/微博采集器
中金券商营销社交媒体大数据解决方案—数据抓取算法的输入输出
博客用户基本信息
博客用户关注人群
定时更新的博客信息、粉丝信息、
用户列表URL 文章信息及转发和
博客用户基本信息回复信息
论坛采集器帖子基本信息
微博/博客采集器和回复信息
论坛帖子列表URL
微博用户基本信息
定时更新的微博微博用户关注人群信
用户列表URL 息、粉丝信息、文章
微博用户基本信息信息及转发和回复信
息
中金券商营销社交媒体大数据解决方案—数据抓取性能
链式扩展微博/博客用户列表:
时间:
高效全面的及时发掘相关用户,
能够在24小时内采集完24小
尤其是新注册用户
时内的所有更新数据
内容:
资源消耗: 能够抓取相关内容的90%数据
(考虑到数据采集过程会有请
每个进程的内存使用量不能超过
求异常)
512MB,每个线程的CPU使用量不
能为100%