基于MySQL的开源DW.pdf

基于MySQL的开源DW
杨涛 MySQL 顾问
上海爱可生信息技术有限公司
电话:+86-**********
邮箱:@
围脖: http://t./actiontech
Copyright 2010 Action Tech 1
介绍
•开源DW的优势
• Infobright介绍
•爱可生介绍
Copyright 2010 Action Tech 2
开源DW的优势
•开源数据仓库在前期耗费较少,维护和支持费也较少
•源数据仓库采用的技术很容易在市场中获得
•开源数据仓库大大促进了标准化。
•开源数据仓库相当灵活
•开源数据仓库能从网络社区效应中获利
•开源数据仓库可以逐步实施
Copyright 2010 Action Tech 3
列存储 VS 行存储
Copyright 2010 Action Tech 4
列存储 vs 行存储–用例
Copyright 2010 Action Tech 5
Infobright 介绍
•开源数据仓库(Data Warehouse)解决方案
•基于列存储的存储引擎
•海量数据存储
•数据压缩比例高
•高速的数据装载性能
•优化的统计算法(sum /group/count …)
Copyright 2010 Action Tech 6
Infobright 价值
•节约设计开销
没有复杂的数据仓库模型设计要求(比如星状模型、雪花模型)
无需要物化视图、数据分区、索引建立
•节省存储资源时间
高压缩比率通常是10:1,某些应用可能达到40:1
•集成利用广泛
和众多的BI套件相容,比如Pentaho、Cognos、Jaspersof 资源资金
•降低运维成本
随着数据库的逐渐增大,查询和装载性能持续保持稳定
实施和管理简单,需要极少的管理
•商业保证
第一个商业支持的开源仓储分析数据库
是Oracle/MySQL 官方推荐的仓储集成架构
Copyright 2010 Action Tech 7
Infobright 适用场景
大数据量的分析应用
˗网页/在线分析、移动分析、客户行为分析、分析营销和广告……
日志/事件管理系统
˗电信详单分析和报告、系统/网络安全认证记录……
数据集市
˗企事业单位特定数据仓库、为中小企业提供数据仓库……
嵌入式分析
˗为独立软件供应商/ SaaS供应商提供嵌入式分析应用……
Copyright 2010 Action Tech 8
Infobright 客户案例–某大型电信运营商
需求
业务结算系统
业务压力:
每个月产生的记录数为82亿条。
。
MySQL 自有的MYISAM 引擎无法达到查询与写的性能要求
新数据库需要满足:
规模更大的数据集
良好的扩展能力
快速查询的反应能力(大量的汇总查询)
快速实施&低维护成本
Copyright 2010 Action Tech 9
Infobright 客户案例–某大型电信运营商
INFOBRIGHT 解决了以上的所有问题。
1. 可以适应几百亿甚至几千亿条记录的单表。
2. 爱可生自主研发的PROXY 代理软件,负责大数据量的水平扩展。
3. 固有的知识网格体系, 能够确保快速的响应时间。对应汇总的响应时
间为MyISAM的几十倍甚至上百倍。
4. 高压缩比,节省了大量的存储开销。
5. 只需要懂MySQL 就可以熟练的操作以及维护INFOBRIGHT。
Copyright 2010 Action Tech 10