较原始的HBase CMS GC相当严重,经常会因为碎片过多导致Promotion Failure,严重影响业务的读写请求。幸运的是,HBase并没有止步不前,很多优化方案相继被提出并贡献给社区,本文要介绍的就是几个比较重要的核心优化,分别是针对Memstore所作的两个优化
日期:05/30/2016 11:24:38
作者:
在之前的HBase BlockCache系列文章中已经简单提到:使用LRUBlockCache缓存机制会因为CMS GC策略导致内存碎片过多,从而可能引发臭名昭著的Full GC,触发可怕的’stop-the-world’暂停,严重影响上层业务;而Bucket Cache缓存机制因为在初始化的时候就申请了片固定大小的内存作为缓存
2015年11月11日,作为媒体大屏(dataV)、消费记录、支付宝风控、物流详情、库存对账核心数据库的集团HBase,当天稳定运行,顺利完成了任务。并交出了非常漂亮的几项数据: QPS=1993W,TPS=3656W,读流量=56GBps,写流量=40.6GBps,全天吞吐读2.0PB,写1.28PB。
日期:05/20/2016 14:45:10
作者:
HBase是个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的部分,运行于HDFS文件系统之上,为 Hadoop 提供类似于BigTable 规模的服务。因此,它可以容错地存储海量稀疏的数据。
摘要 HBase是个分布式的、持久的、强致性的存储系统,具有近似较优的写性能(能使IO利用率达到饱和)和出色的读性能,它充分利用了磁盘空间,支持特定的列族切换,可选压缩算法。
由于hbase基于行健有序存储,在查询时使用行健十分高效,然后想要实现关系型数据库那样可以随意组合的多条件查询、查询总记录数、分页等就比较麻烦了。想要实现这样的功能,我们可以采用两种方法:
日期:05/10/2016 09:53:22
作者:
HBase BlockCache系列文章到了终结篇,几个主角的是是非非也该有个了断了,在SlabCache被早早地淘汰之后,站在华山之巅的也就仅剩LRU君(LRUBlockCache)和CBC君(CombinedBlockCache)。
日期:05/09/2016 13:52:54
作者:
继续搭建 HBase 集群环境。 HBase 版本也比较杂,目前也有两大稳定的分支,1.1.x 和 1.2.x 。从官方文档了解到,支持 Hadoop2.6.1+ 对应版本应该是 1.2.x 系列,因此这里选择 1.2.1 稳定版。 1.1.x 在 Hadoop 2.6.1+ 上是 未测试 的。
日期:04/29/2016 11:59:25
作者:
HBase BlockCache系列第篇文章《走进BlockCache》从全局视角对HBase中缓存、Memstore等作了简要概述,并介绍了几种BlockCache方案及其演进过程,对此还不了解的可以点这里。
日期:04/27/2016 15:01:30
作者:
基于HBase-0.98.7、Hadoop-2.5.2,使用HBase importtsv工具将大概10GB csv文件导入HBase。但是运行过程中抛出以下异常
日期:04/25/2016 10:05:14
作者:
|
Digg排行
本周热门内容
|