简述hbase的表设计原则-hbase表设计注意事项(7-3-85)

HBase本文目录一览：

• 1、HBase从入门到精通11:HBase数据保存过程和Region分裂
• 2、region下所有的hfile默认存放
• 3、怎样将关系型数据表转换至hbase数据表
• 4、HBase调优:预分区与行键设计

HBase从入门到精通11:HBase数据保存过程和Region分裂

HBase保存数据的流程有以下几个步骤：HBase表的列族在创建之初只有一个Region，随着插入数据的增多Region变得越来越大。

以fileServer为例，在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下，16个预分区Region， 则单个Resion容量达到 min（32，50），即32GB时分裂。

默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。

hbase分区会自动裂变。根据查询相关资料信息，当Region的大小达到一定的阈值，该Region会自动分裂。

由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

region下所有的hfile默认存放

/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

每一个hfile当达到一定大小的时候就会拆分成两个hfile所以一个store目录中会包含多个hfile。

依次加载各部分的HFileBlock（load-on-open所有部分都是以HFileBlock格式存储）：data index block、meta index block、FileInfo block、generate bloom filter index、和delete bloom filter。HFileBlock的格式会在下面介绍。

即HFile和region不在同一个DataNode。这种情况会在major compaction 之后得到解决。

这个参数默认是10，如果某个hfile跨越的region数超过10个就会报上述Exception。解决方案：将hbase.bulkload.retries.number这个参数设置为更大的值，比如目标表的region数量或者将这个参数设置成0，0表示不断重试直到成功。

遍历当前region下的MemStore做一个快照，然后新一个ConcurrentSkipListMap接受新的数据请求。

怎样将关系型数据表转换至hbase数据表

1、Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

2、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

3、Hive 跑批 建表 默认第一个字段会作为hbase的rowkey。导入数据 将userid插入到列key，作为hbase表的rowkey。

HBase调优:预分区与行键设计

像这样预先创建hbase表分区的方式，称之为预分区。hash（主键） + 年月日时（2019062315）这里只取hash（主键）的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

像这样预先创建hbase表分区的方式，称之为预分区。hash（主键）+年月日时（2019062315）这里只取hash（主键）的前6位，使得行键的长度正好是16，也就是8的整数倍，在64位计算机中，效果最好。

已经有自动分区了，为什么还需要预分区？ HBase 在创建表的时候，会自动为表分配一个Region，当一个 Region 达到拆分条件时（shouldSplit 为 true），HBase 中该 Region 将会进行 split，分裂为2个 Region，以此类推。

由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。