bi项目etl解决方案.pptx

XX BI项目
ETL 解决方案介绍
商业智能系统架构
ETL
ETL
ETL
ETL
ETL
ETL
ETL—“建设整个大厦的过程”
ETL定义
Extract-Transform-Load的缩写,数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。
ETL特点
实施时间长
整个项目实施工作量的60% - 70%
过程复杂
贯穿业务数据建模与存储的整个过程
决定BI项目成败的关键
数据的准确性、过程的执行成功与否
XX BI系统现存问题
在ETL过程中,数据量大的表处理经常失败
数据表在物理设计上的问题,比如回滚段、索引等
对于历史数据的改变,在数据模型中反映不出来
维表、事实表装载策略设计问题
在插入、更新、删除数据时,容易产生“脏”数据
数据之间的引用约束问题
外部数据(Excel、文本数据)导入时的不可预料问题
数据被暴露,用户可随意修改
ETL调度程序调度不成功
各“作业”执行顺序不直观
没有好的出错处理机制
ETL解决方案
切实可行的ETL设计策略
抽取策略
转换策略
装载策略
采用业内先进的ETL工具
Microsoft SQL Server Integration Services
可行的ETL开发、管理流程
数据源分析
概要设计、详细设计
ETL测试
ETL设计策略
解决引用约束问题
ETL设计策略
解决维表、事实表装载问题
维表加载策略
事实表加载策略
ETL设计策略
外部数据导入时的不可预料问题
ETL设计策略
解决数据仓库物理设计问题
优化索引结构
B树索引、位图索引、分区表索引等
优化数据仓库的设计
表分区
数据模型优化
数据仓库中数据的管理
备份、恢复
性能优化
先进的ETL工具— SSIS
解决调度问题
可视化的任务流定义