线上HBase集群应该如何进行参数配置?这其实是很多HBase初学者在实践环节都可能会遇到的问题,有些人会选择默认配置,有些人会选择其他公司的推荐配置;诚然,这样的参数配置在大多数情况下都能正常工作,但性能却未必较佳、资源未必都能被合理利用。
在hadoop2.6.0分布式集群上搭建hbase ha分布式集群。搭建hadoop2.6.0分布式集群,请参考“ 基于hadoop2.6.0搭建5个节点的分布式集群 ”。
这是网易同学之前基于YCSB工具做的HBase性能测试报告。Inside君对于集群的测试总是感觉到困惑,因为很难对标准进行统。之前有考虑拿这个与分布式架构下MySQL做性能对比,不过较后发现每个产品有自己的应用场景,对比显得意义并不大。
在HBase的主从复制集群中, 如下图左所示,Region-Server-X以及Region-Server-Y是master集群中的两个Region-Server。正常情况下, 对Region-A的写入会在Region-Server-X上append log 到Hlog-X,然后Region-Server-X会异步地将该部分Hlog批量地应用(apply)到slave-cluster中。
日期:06/14/2016 11:40:37
作者:
Apache HBase是个高性能、面向列、可伸缩的开源分布式NoSQL数据库,基于google三大论文中的《Bigtable:个分布式的结构化数据存储系统》,它是Google Bigtable的开源实现。
较近做的个项目涉及到了多条件的组合查询,数据存储用的是HBase,恰恰HBase对于这种场景的查询特别不给力,般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能)
日期:06/13/2016 11:26:27
作者:
这次开始学习HBase数据库。我用的是VMWare + ubuntu16.04 +Hbase1.1.5 +hadoop2.6.0的组合。经过亲自安装验证,版本间没有发生冲突,可以进行学习和开发。
日期:06/12/2016 11:02:48
作者:
上篇博文结合起线上问题介绍了HBase客户端基于退避算法的重试机制,并分析得出在某些场景下如果重试策略设置不当会导致长时间的业务阻塞。除了重试机制外,业务童鞋较关心的就是超时机制了。客户端超时设置对整个系统的稳定性以及敏感性至关重要
日期:06/12/2016 10:59:37
作者:
切分的操作是由各个region server自己决定,但它们要通知到Master来及时地更新META信息。 以下基本翻译自 这里 。
日期:06/07/2016 09:52:07
作者:
接着上回的Split说,既然有split,那应该对应的有merge吧。然而并没有,也不是完全没有,只是对merge的支持并不像split这么自然,有些不太稳(kao)定(pu)的工具,可以看 OnlineMerge 和 Master initiated automatic region merge 。
日期:06/07/2016 09:49:47
作者:
在运维HBase的这段时间里,发现业务用户方面比较关注HBase本身服务的读写性能:吞吐量以及读写延迟,另方面也会比较关注HBase客户端使用上的问题,主要集中在两个方面:是否提供了重试机制来保证系统操作的容错性?是否有必要的超时机制保证系统能够fastfail,保证系统的低延迟特性?
日期:06/06/2016 09:13:33
作者:
2016年5月24日, HBaseCon2016 于加州旧金山市内召开,我(绝顶)和大沙作为speaker参加了这次会议并在40分钟的session里介绍了HBase在阿里搜索场景中的应用及改进。
日期:06/03/2016 11:23:09
作者:
去年淘宝双11,作为媒体大屏(dataV)、消费记录、支付宝风控、物流详情、库存对账核心数据库的集团HBase,当天稳定运行,顺利完成了任务。并交出了非常漂亮的几项数据
前面讲解了Hadoop完全分布式的搭建,本章主要讲解下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境
日期:05/31/2016 11:02:48
作者:
|
Digg排行
本周热门内容
|