数据仓库成功案例.doc

宝钢是中国最大的钢铁生产企业,目前的规模达到年产1100万吨钢,20XX年的销售收入达到330亿元,税前利润接近60亿元。宝钢的产品系列包括板材、线材、管材等,主要的用户分布在汽车、家电等制造业。自1985年投产至今,积累了大量的生产实绩数据。 在冶金工业中年复一年的积累着各种数据,从每一炉钢到每一块板坯到每一个钢卷,各级计算机系统可以把这些数据完整地收集起来。但是收集数据本身并不是目的,从“信息化带动工业化”的角度来看,更重要的是把这些数据利用起来,利用数据中蕴藏的知识来指导生产,形成企业的核心竞争力。 另一方面,在冶金工业的运营过程中还有许多问题需要解决,例如全流程的质量控制和供应链管理等。由于它们固有的多变量和非线性特点,用传统的局部优化的方法很难达到企业级的最优。现在通过把分散在各个生产过程的实际生产数据按主题组织成数据仓库,在此基础上展开数据挖掘工作和获取知识,利用获取的知识可以比过去更好地解决这些问题。: 图一通用数据挖掘流程宝钢针对冶金工业特点的数据挖掘流程: 图二其采用的方法称为SEMMAO数据挖掘方法论,其主要步骤和含义为: 采样(S)根据一定的规则从大样本集中抽取规模较小的样本子集,可以分为随机采样和非随机采样。采样的主要目的是减少后续步骤处理的数据量,有时也可以起到改善数据分布的作用。 观察(E)指对数据进行一些可视化的探索,让分析人员对数据的分布特征做到心中有数,为后续的挖掘工作带来一些有益的提示。 调整(M)对各种令人不满意的数据进行处理,使其满足建模算法的要求和精度要求。调整的方法很多,具体的有缺失值处理、奇异值处理、矛盾值处理、标准化和变量变换等。 建模(M)是以一种数学模型的方式来表达隐含在数据中的知识。大体上模型可以分为有监督和无监督两大类。有监督的模型是指目标变量已经被赋予一定的值,通过训练要建立一种从输入变量到目标变量的映射,使其在一定的误差准则意义下达到最优。这样的模型可以用于分类和预报的目的。无监督的模型则是在缺少目标变量的信息的情况下,仅利用输入变量自身的信息把样本划分成为若干个类,从而达到抽取信息的目的。 评价(A)是对模型的结果进行误差分析。如果模型被证明是可以接受的,就可以被认为是一种知识,可以用于以后的预报和优化。 优化(O)是用挖掘出的知识来解决实际问题,诸如“如何调整某些输入变量的值来得到输出变量的目标值”。在一般的商业性数据挖掘中并不包含这一步,它们一般做到评价就结束了,把进一步的使用扔给用户。但是在我们的实际应用中,发现模型的理解和使用也很重要,所以在数据挖掘的方法论中增加了这一步。优化的方法包括聚类调优、遗传寻优等。(简称PM):宝钢基于SAS的研发实