关系数据存储.docx

关系数据存储
传统的行式数据库，是按照行存储的，维护大量的索引和物化视图无论是在时间（处理） 还是空间（存储）方面成本都很高。而列式数据库恰恰相反,列式数据库的数据是按照列存储, 每一列单独存放，数据即是索引。只访问查询涉及的列，大大降低关系数据存储
传统的行式数据库，是按照行存储的，维护大量的索引和物化视图无论是在时间（处理） 还是空间（存储）方面成本都很高。而列式数据库恰恰相反,列式数据库的数据是按照列存储, 每一列单独存放，数据即是索引。只访问查询涉及的列，大大降低了系统I/O,每一列由一 个线来处理，而且由于数据类型一致，数据特征相似，极大方便压缩。
在数据仓库领域，列式数据库和传统的行式数据库有何差别呢?列式数据库和行式数据 库的拥护者均认为结合这两种技术的混合数据库是个不错的想法。
行式数据库擅长随机读操作，列式数据库则更擅长大批量数据量查询，而混合数据库则 试图同时包含这两种技术的优点，在灾难恢复环境中，数据要么按列式存储，要么按行式存 储。
未来将是列式数据库的天下，行数据库和混合型数据库都将渐渐消亡，原因如下：数据 增长速度很快，对存储设备（主内存和SSD）的需求也将不断上升，随着主内存和SSD中压缩 列所占百分比的提高，列式数据库随机读的弱点反而变成了优点，这样列式数据库不管是应 付联机事务处理，还是大批量更新或大型报表需要执行的复杂查询都能应付自如。对于更新 操作而言，列式数据库和行式数据库在这方面已经没有多大差距了，因为大部分更新操作只 会影响到一行中的一到三列（字段），同时，大部分更新操作影响的是最近的数据，因此主内 存/SSD缓存中数据会越来越多。对于插入和删除操作而言，先在内存中快速更新索引，然 后再写入磁盘，这意味着在I/O密集型情况下也不会有明显的性能下降。对在线备份而言, 按列存储方法压缩数据后备份时间窗口将会更短。
列式数据库优缺点
列式数据库从一开始就是面向大数据环境下数据仓库的数据分析而产生，它跟行式数据库相 比当然也有一些前提条件和优缺点.
列式数据库优点：
极咼的装载速度（最咼可以等于所有硬盘10的总和，基本是极限了）
适合大量的数据而不是小数据
实时加载数据仅限于增加（删除和更新需要解压缩Block然后计算然后重新压缩储存）
高效的压缩率，不仅节省储存空间也节省计算内存和CPU.
非常适合做聚合操作.
缺点：
不适合扫描小量数据
不适合随机的更新
批量更新情况各异，有的优化的比较好的列式数据库（比如Ver tica）表现比较好，有些没 有针对更新的数据库表现比较差。
不适合做含有删除和更新的实时操作。
Sybase IQ
面描述了 IQ独特的技术特征所带来的一些关键的应用效果。
查询效果一瞬间响应
IQ通过列存储、革命性的位图索引方法以及智能的动态访问技术实现了快速的查询响 应速度，比传统的数据库查询速度提高10-1000倍。这主要表现在如下几个方面：
减少磁盘l/OSybase IQ通过独特的列存储，索引与压缩技术，大大减少了查询中的磁 盘I/O次数，其杰出的磁盘I/O效果带来了更快速的查询反应，更高的吞吐量和更低的成本。 并行列处理IQ支持列向量的并行处理，这样，在查询中，大量的列向量将被并行扫描，从 而达到显著降低响应时间的目的。智能优化IQ允许在每个