hbase hash预分region-hbase预分区16进制(6-6-47)

HBase本文目录一览：

• 1、Hbase读写原理
• 2、hbase中的数据以什么形式存储
• 3、Hbase分区
• 4、HBase性能优化-Rowkey&列族设计

Hbase读写原理

所以hbase大多数读要走磁盘，所以读很慢。 每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解：数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。

Hbase数据是按列存储-每一列单独存放。列存储的优点是数据即是索引。访问查询涉及的列-大量降低系统I/O 。并且每一列由一个线索来处理，可以实现查询的并发处理。基于Hbase数据类型一致性，可以实现数据库的高效压缩。

hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后，为了保证写入rowkey的有序性，所以不能将数据立刻写入到hfile中，而是将每个变更操作保存在内存中，也就是metastore中。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

hbase中的数据以什么形式存储

1、由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、HBase是一个高可扩展性的列式数据库，它是基于Google的Bigtable论文开发的。在HBase中，数据是以列族的形式进行存储的，而不是行。每个列族可以包含多个列，这些列在物理存储上是聚集在一起的。

3、HBase是一个列式存储的分布式数据库，它支持的数据格式包括以下几种：字符串类型（String）：HBase中的字符串类型是最常见的一种数据类型，可以存储任何字符串，不论是ASCII字符还是Unicode字符。

4、HBase是介于MapEntry（key&value）和DBRow之间的一种数据存储方式。hbase使用的是jdk提供的ConcurrentSkipListMap，并对其进行了的封装，Map结构是KeyValue，KeyValue的形式。Concurrent表示线程安全。

5、在底层实现上，HBase使用了基于Hadoop的分布式文件系统HDFS来存储数据，并且使用了一种称为LSM-Tree（Log-Structured Merge-Tree）的数据结构来管理数据。

Hbase分区

1、具体步骤如下：需要知道要查询的表名和分区的起始行键或结束行键。可以使用scan命令来扫描hbase：meta表，这个表存储了所有分区的元数据信息。可以使用PrefixFilter或RowFilter来过滤出要查询的分区的记录。

2、像这样预先创建hbase表分区的方式，称之为预分区。hash（主键） + 年月日时（2019062315）这里只取hash（主键）的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

3、partition 顾名思义就是分区式，这种分区有点类似于 mapreduce 中的 partitioner，将区域用长整数作为分区号，每个 Region 管理着相应的区域数据，在 RowKey 生成时，将 id 取模后，然后拼上 id 整体作为 RowKey 。

4、默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。

5、rowkey的设计主要为了方便后期的查询（条件查询语句），如果设计的合理，查询速率可以大大提升 分区的设计，主要考量的是入库HBase的速率。如果设计的不合理，会导致局部入库数据过热，严重的有可能出现入库失败的情况。

HBase性能优化-Rowkey&列族设计

1、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上， 避免数据热点现象。

3、HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。

4、我们先来看.META.表，假设HBase中只有两张用户表：Table1和Table2，Table1非常大，被划分成了很多Region，因此在.META.表中有很多条Row用来记录这些Region。

5、访问HBASE table中的行，只有三种方式：通过单个RowKey访问、通过RowKey 的range（正则）、全表扫描。

6、HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对影片《泰坦尼克号》的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。