Docker下HBase学习，三部曲之三：java开发

Targets: 对于用户活跃情况的数据 执行16年日志数据； HDFS导入HBase；

　　较近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期

　　HBase 是 Apache Hadoop 中的个子项目，属于 bigtable 的开源版本，所实现的语言为Java(故依赖 Java SDK)。HBase 依托于 Hadoop 的 HDFS(分布式文件系统)作为较基本存储基础单元。

　　HBase在互联网领域有广泛的应用，比如：互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等。得益于HBase海量的存储量及超高并发写入读取量。

　　snapshot是很多存储系统和数据库系统都支持的功能。个snapshot是个全部文件系统、或者某个目录在某时刻的镜像。实现数据文件镜像较简单粗暴的方式是加锁拷贝(之所以需要加锁

　　在10年，阿里研究HBase，是为了解决阿里容量及并发的实际问题，按照数据库要求，阿里深入HBase技术，并致力于保障稳定性和性能，目前已经有10000台规模，数百个集群，大约1亿的QPS，服务整个集团的业务。

mysql-hbase存储引擎插件实现大容量数据存储

　　Region自动切分是HBase能够拥有良好扩张性的较重要因素之，也必然是所有分布式系统追求无限扩展性的副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多知识点，比如Region切分的触发条件是什么?Region切分的切分点在哪里?

　　Hbase的Repliation是通过Zookeeper的协助，从Master集群异步往Slave集群写WAL实现的。可以实现典型的Master-Master模式和Master-Slave模式。

　　regionserver初始化的时候会初始化两个与compact相关的线程它们分别是:compactionChecker和compactSplitThread。其中compactionChecker用于周期性地检查当前是否有compact请求，实现类是ScheduledChore检查周期由参数threadWakeFrequency控制，默认值是10s，也可以在参数hbase.server.thread.frequency中配置。

　　HBase作为淘宝全网索引构建以及在线机器学习平台的核心存储系统，是阿里搜索基础架构的重要组成部分。本文我们将介绍HBase在阿里搜索的 历史、规模，应用的场景 以及在实际应用当中遇到的 问题和优化 。

　　HBase是个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。

　　Hbase以高并发写入而闻名，而Compact和Split功能贯穿了hbase的整个写入过程，而只有掌握了Compact和Split内部逻辑以及控制参数才能根据具体的实际业务场景来调整参数满足业务需要