BI项目ETL解决方案.pptx

XX BI 项目 ETL 解决方案介绍 Slide 2 商业智能系统架构 ETL ETL ETL ETL ETL ETL Slide 3 ETL —“建设整个大厦的过程”? ETL 定义? Extract-Transform-Load 的缩写,数据抽取( Extract )、转换( Transform )、清洗( Cleansing )、装载( Load )的过程。? ETL 特点?实施时间长?整个项目实施工作量的 60% - 70% ?过程复杂?贯穿业务数据建模与存储的整个过程?决定 BI 项目成败的关键?数据的准确性、过程的执行成功与否 Slide 4 XX BI 系统现存问题?在 ETL 过程中,数据量大的表处理经常失败?数据表在物理设计上的问题,比如回滚段、索引等?对于历史数据的改变,在数据模型中反映不出来?维表、事实表装载策略设计问题?在插入、更新、删除数据时,容易产生“脏”数据?数据之间的引用约束问题?外部数据( Excel 、文本数据)导入时的不可预料问题?数据被暴露,用户可随意修改? ETL 调度程序调度不成功?各“作业”执行顺序不直观?没有好的出错处理机制 Slide 5 ETL 解决方案?切实可行的 ETL 设计策略?抽取策略?转换策略?装载策略?采用业内先进的 ETL 工具? Microsoft SQL Server Integration Services ?可行的 ETL 开发、管理流程?数据源分析?概要设计、详细设计? ETL 测试 Slide 6 ETL 设计策略?解决引用约束问题 Slide 7 ETL 设计策略?解决维表、事实表装载问题维表加载策略事实表加载策略 Slide 8 ETL 设计策略?外部数据导入时的不可预料问题 Slide 9 ETL 设计策略?解决数据仓库物理设计问题?优化索引结构?B树索引、位图索引、分区表索引等?优化数据仓库的设计?表分区?数据模型优化?数据仓库中数据的管理?备份、恢复?性能优化 Slide 10 先进的 ETL 工具—SSIS ?解决调度问题?可视化的任务流定义