大数据平台测试标准.docx

Updated by Jack on December 25,2020 at 10:00 am
大数据平台测试标准
大数据标准化工作组织：ISO/IEC ITU NIST TPC SPEC
TPC和SPEC两个组织关注大数据技术平台的基准测试： 测试标准： TPCx-HS、TPCx-BB 工具：TeraSort
大数据测试第一阶段
大数据平台(Hadoop平台)基准测试的方法论和具体实施方案：
《大数据平台基准测试第一部分：技术要求》
《大数据平台基准测试第二部分：测试方法》
基准测试主要从性能的角度衡量大数据平台，主要考虑数据生成、负载选择和明确测试指标等内容。根据Hadoop平台的特点，从NoSQL任务、机器学习、任务、批处理四大类任务中选择了10个作为负载。
大数据测试第二阶段
《Hadoop平台基础能力测试方法》
《Hadoop平台性能测试方法》
性能测试在基准测试的基础上进行了升级，如图2所示，增加了SQL用例的比重，按照SQL任务的类型，从两个维度确立了5类任务，分别是CPU密集型任务、I/O密集型任务、报表任务、分析型任务、交互式查询。HBase的优势在于并发检索和读的性能，在负载方面选择了批量写入数据、并发读任务占多、并发更新任务较重、读取更改然后写回4类场景，充分检验了HBase数据库的并发执行能力。在机器学习和批处理方面相对基准测试方法减少了2个用例
Hadoop平台基础能力测试用例分布
Hadoop平台基础能力涵盖了运维管理、可用性、功能、兼容性、安全、多租户和扩展性等指标，总共38项测试用例：
MPP数据库(面向在线分析处理(on-lineanalyticalprocessing，OLAP))的标准化
《MPP数据库基础能力测试方法》
工具：
Terasort
BigDataBench
HBase性能由YCSB(Yahoo!cloudservingbenchmark)工具来测试