hbase参数优化-hbase优化配置(5-14-26)

HBase本文目录一览：

• 1、淘宝为什么使用HBase及如何优化的
• 2、HBase的合并与拆分机制是否矛盾?如何理解这两个机制
• 3、HBase性能优化-Rowkey&列族设计
• 4、hbase中的数据以什么形式存储

淘宝为什么使用HBase及如何优化的

1、数据查询模式已经确定，且不易改变，就是说hbase使用在某种种特定的情况下，且不能变动。告诉插入，大量读取。因为分布式系统对大量数据的存取更具优势。尽量少的有数据修改。

2、对象存储：HBase可以作为中等对象存储，对HDFS存储文件起到缓冲过渡的作用，减轻了NAMENODE元数据维护的压力。消息/订单存储：因为HBase提供低延时、高并发的访问能力，所以可以用于电商平台等场景的消息和订单存储。

3、HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方面读写你的大数据内容。

HBase的合并与拆分机制是否矛盾?如何理解这两个机制

HBase依赖Zookeeper提供消息通信机制。与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统。

问题解析：对于数据写入很快的集群，还需要特别关注一个参数：hbase.hstore.blockingStoreFiles，此参数表示如果当前hstore中文件数大于该值，系统将会强制执行compaction操作进行文件合并，合并的过程会阻塞整个hstore的写入。

HBase还引入了“协处理器”（coprocessors）这一概念，允许在HBase进程中执行用户代码。这基本上与关系型数据库中的触发和预存进程相同。目前，Cassandra还没有类似HBase协处理器的功能。

基于这种思路，如果HBase无法完全满足业务的需求，就在应用程序层次做一些设计或者优化工作，以最终满足业务的需求。

● 不同的存储类型，例如，纯文本文件、HBase 中的文件。● 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。● 可以直接使用存储在Hadoop 文件系统中的数据。

HBase性能优化-Rowkey&列族设计

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上， 避免数据热点现象。

HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。

我们先来看.META.表，假设HBase中只有两张用户表：Table1和Table2，Table1非常大，被划分成了很多Region，因此在.META.表中有很多条Row用来记录这些Region。

访问HBASE table中的行，只有三种方式：通过单个RowKey访问、通过RowKey 的range（正则）、全表扫描。

hbase中的数据以什么形式存储

由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

HBase是一个列式存储的分布式数据库，它支持的数据格式包括以下几种：字符串类型（String）：HBase中的字符串类型是最常见的一种数据类型，可以存储任何字符串，不论是ASCII字符还是Unicode字符。

HBase是介于MapEntry（key&value）和DBRow之间的一种数据存储方式。hbase使用的是jdk提供的ConcurrentSkipListMap，并对其进行了的封装，Map结构是KeyValue，KeyValue的形式。Concurrent表示线程安全。

因为hbase是以文件的形式存储数据，最大文件句柄数影响着hbase的并发量。

HBase采用了类似Google Bigtable的数据模型，即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成。