金融大数据方案.pptx

金融大数据方案
目录
一、大数据金融的技术步骤
二、大数据平台服务
三、案例介绍
技术
技术和步骤
数据采集
数据清洗
数据挖掘
数据分析
数据可视化
使用分布式服务器,平台能够方便快捷的部署
API接口丰富:可接入多来源数据和多种类型数据
数据清洗:能在复杂策略环境下找出有用的信息
数据挖掘:能自动挖掘出信息的内在属性
实时动态:能自动捕捉信息的实时变化
技
术
特
点
采集
浏览器插件
PC/Server
网页
APP
采集渠道广
HTML网页
PC/Server
APP
浏览器插件
核心优势一:渠道广
全网数据实时采集
采集
自建DNS加速
使用KV内存数据库
借用CDN加速
使用多线路多终端
增加单位并发
采集快、频次快
核心优势二:速度快
采集
IP限制
验证码
行为检测
互联网
可以穿透任意的阻止策略
核心优势三:穿透强
采集
基础资源:企业全息画像
基本注册信息
市场行业信息
法人信息(公司结构、股权信息)
公司关联方
财务数据(主板创业板及新三板上市公司)
非财务数据(包括人力资源,招标中标,诉讼数据等)
媒体数据(传统及社交媒体)
无形资产(专利、版权、商誉、品牌价值等)
税务数据(企业所得税、增值税、个人所得税)
社保数据(非公开)
银行流水(非公开)
工商年检财务数据(非公开)
互联网数据(招聘、质押、合同、债务、担保数据等)
第三方数据(金蝶、科技部等非公开)
清洗
数据清洗优势
数据
清洗
大量的成功案例
成功案例
Beyebe导购推荐
家家悦定价决策系统
诺亚舟产品监控系统
微车夫违章查询
经验丰富的团队
优秀团队
七年的大数据清洗经验
涵盖电商、零售、交通等行业
获得行业的认可
行业认可
百度、京东、走秀网等商业合同
IBM、网宿科技战略合作伙伴
分析
数据分析架构
NFS网络文件系统
Spark 通用计算框架
BBase(Beyebe自有、基于Nosql)
Spark
Sql
Spark
Streaming
Mlib
Machine
Learning
GraphX
Graph Processing
数据
文件
系统层
计算层
国产麒麟操作系统
逻辑层
针对金融大数据业务在计算层提供的接口上自主开发仅适用于金融大数据的逻辑应用
分析
BBase
BMaster
-Create()
-UpDate()
Client
-Put()
-Incr()
Client
-Put()
-Incr()
BRegionServer
KeyValue’s
KeyValue’s
KeyValue’s
Log
Flusher
Log
Roller
BRegion
BRegion
BRegion
Sync()
rollWriter()
Store
MemStore
BFile
StoreFile
BFile
StoreFile
Store
MemStore
BFile
StoreFile
BFile
StoreFile
Store
MemStore
BFile
StoreFile
BFile
StoreFile
BLog
NFS
NFS