网易视频云技术分享：HBaseBlockCache系列-性能对比测试报告.docx

网易视频云技术分享：HBaseBlockCache系列-性能对比测试报告.docx网易视频云技术分享:HBaseBlockCache系列•性能对比测试报告网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务,在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。HBaseBlockCache系列文章到了终结篇,几个主角的是是非非也该有个了断了,在SlabCache被早早地淘汰之后,站在华山之巅的也就仅剩LRU君(LRUBIockCache)binedBlockCache)。谁赢谁输,我说了不算,你说了也不算,那就来让数据说话。这篇文章主要对比LRU君和CBC君(offheap模式)分别在四种场景下几种指标(GC、、10等)的表现情况。四种场景分别是缓存全部命中、少大部分缓存命中、少量缓存命中、缓存基本未命中。需要注意的是,本文的所有数据都来自社区文档,在这里分享也只是给大家一个参考,paringBlockCacheDeploys》和HBASE-11323附件报告。说明:本文所有图都以时间为横坐标,纵坐标为对应指标。每张图都会分别显示LRU君和CBC君的四种场景数据,总计八种场景,下面数据表示LRU君的四种场景分布在时间段21:36:39~22:36:40zCBC君的四种场景分布在时间段23:02:16〜00:02:17,看图的时候需劉寺别注意。LRU君:TueJul2221:36:39PDT2014runsize=32,clients=25;Irubctime=1200缓存全部命中TueJul2221:56:39PDT2014runsize二72,clients=25;Irubctime=1200大量缓存命中TueJul2222:16:40PDT2014runsize=144,clients=25;Irubctime=1200少量缓存命中TueJul2222:36:40PDT2014runsize二1000,clients=25;Irubctime=1200缓存基本未命中CBC君:TueJul2223:02:16PDT2014runsize二32,clients=25;buckettime=1200缓存全部命中TueJul2223:22:16PDT2014runsize二72,clients=25;buckettime=1200大量缓存命中TueJul2223:42:17PDT2014runsize=144,clients=25;buckettime=1200少量缓存命中WedJul2300:02:17PDT2014runsize二1000,clients=25;buckettime=1200缓存基本未命中GCGC指标是HBase运维最关心的指标,出现一次长时间的GC就会导致这段时间内业务方的所有读写请求失败,如果业务方没有很好的容错,就会出现丢数据的情况出现。根据下图可知,只有在缓存全部命中’的场景下丄RU君总GC时间25ms比CBC君的75ms短;其他三种场景下,LRU君表现都没有CBC君好,总GC时间基本均是CBC君的3倍左右。 J»}—♦—htMse・r*g」onwrver^)ost=)>-.>re«lB81(x*e<K> •hbax・r*w,Qn9crvcr・ricoXcTlKfUllgP*Neu(ho«t3c2O214Mlxg・clou4cm・cg)$t=c2021^}hbac<・re$ior«・GcCo<jnt£onarrer»tMarkSweep{host=c2021«Mlxt・clouderb・cofi} ■・regio^wver・jwetrlc・GcT MtConarrerotMykSw^pgstyon xg・clojSer^.cg}Thoughput吞吐量可能是所有HBase用户初次使用最关心的问题,这基本反映了HBase的读写性能。下图是随机读测试的吞吐量曲线,在’缓存全部命中’以及’大量缓存命中’这两种场景下,LRU君可谓是完胜CBC君,特别是在缓存全部命中’的场景下zLRU君的吞吐量甚至是CBC君的两倍;而在’少量缓存命中’以及’缓存基本未命中’这两种场景下,两者的表现基本相当;50000hbxse・regionserverj-egions・