hbase性能调优-hbase手动负载均衡(5-6-28)

HBase本文目录一览：

• 1、hbase中master的主要工作
• 2、hbase中的数据以什么形式存储
• 3、Region详解
• 4、hmaster的主要作用是
• 5、关于hbase的描述正确的是
• 6、HBase性能优化-Rowkey&列族设计

hbase中master的主要工作

管理用户对表的增、删、改、查操作：HMaster负责处理用户对HBase表的元数据操作，提供了一些基于元数据的接口，使用户可以与HBase进行交互。

是的，其中的Master负责DDL操作HBase集群是由一组进程组成的，进程按角色分为Master和RegionServer，其中Master负责DDL操作，比如建表、删表，而RegionServer负责DML操作，比如数据的读写操作等。

HMaster服务：运行在HBase集群中Master节点上的服务，主要工作包括为HRegionServer分配Region、负责HRegionServer的负载均衡、及时发现失效的HRegionServer并将其Region分配到其他节点上、处理schema更新请求以及HDFS上的垃圾回收等。

在Hbase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那个整个Hbase集群将处于不健康的状态，并且此时的工作状态不会维持太久。所以Hbase支持对HMaster的高可用配置。

HBase中可以启动多个Master，但是Zookeeper 可以帮助选举出一个Master 作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这样可以避免Master单点失效的问题。

hbase中的数据以什么形式存储

1、由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、HBase是一个列式存储的分布式数据库，它支持的数据格式包括以下几种：字符串类型（String）：HBase中的字符串类型是最常见的一种数据类型，可以存储任何字符串，不论是ASCII字符还是Unicode字符。

3、HBase是介于MapEntry（key&value）和DBRow之间的一种数据存储方式。hbase使用的是jdk提供的ConcurrentSkipListMap，并对其进行了的封装，Map结构是KeyValue，KeyValue的形式。Concurrent表示线程安全。

4、因为hbase是以文件的形式存储数据，最大文件句柄数影响着hbase的并发量。

5、HBase采用了类似Google Bigtable的数据模型，即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成。

Region详解

region通常指较大的地区，它既可以表示一个国家的行政分区，也可以指非行政分区：The south east is the richest of England. 英国的东南部是最富有的。

功能分区法：按照不同的功能需求，城市中可以划分为商业区、住宅区、工业区等。 功能分区法：按照不同的功能需求，城市中可以划分为商业区、住宅区、工业区等。

天堂（TheHaven）（看起来很和谐很安全，但实际上这里很危险，满布多彩的生物以及浮空建筑）简介：天堂是一个效忠于上帝之子的区域。它是为数不多的可以不需要太好装备就能前往的世界，在主世界收集的资源就足够了。

美国各地区移民条件详解 美国东北部 东北部是美国工商业最发达的地区，都市化程度高，教育资源发达。这里云集，的常青藤盟校就聚集在这里。东北部代表性的城市有纽约、华盛顿、波士顿。

医务室（infirmary）解锁健康后可以雇佣医生并划定医务室区域。该区域只有医疗床要求，所以完全可以划定为一个1×n格的长条，摆上一排医疗床即可。医生可以治疗受伤的人、搬运尸体和开设药物毒瘾治疗课程。

hmaster的主要作用是

HMaster： 管理用户对表的增删改查操作 HRegionServer：HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据 HRegion：Hbase中分布式存储的最小单元，可以理解成一个Table HStore：HBase存储的核心。

由图中可以看出，存储模块主要包括了ZooKeeper集群、HMaster、HRegionServer。ZooKeeper：Hbase是强依赖于ZooKeeper，我们读或写一个表的数据，都会优先访问ZooKeeper。通常是集群中单独的3/5台服务器。

客户端访问这些数据的时候通过Hmaster ，每个Hregion 服务器都会和Hmaster 服务器保持一个长连接，Hmaster 是HBase 分布式系统中的管理者，他的主要任务就是要告诉每个Hregion 服务器它要维护哪些Hregion。

关于hbase的描述正确的是

关于hbase存储模型的描述正确的有四个。应用在FusionInsightHD的上层应用。HFS封装了Hbase与HDFS的接口。为上层应用提供文件存储、读取、删除等功能。HFS是：Hbase的独立模块。

关于hbase的描述正确的是是Google的BigTable的开源实现；运行于HDFS文件系统之上；HBase是一个开源的非关系型分布式数据库；主要用来存储非结构化和半结构化的松散数据。

A是错的，hbase是面向列的存储 D hbase可扩展性和海量数据存储，恰恰可以用在高并发场景。

正确描述如下：HBase提供了对大规模数据的随机、实时的读写访问，MapReduce是处理大规模数据的有效工具，可以用于对HBase中的数据进行批量处理。

HBase性能优化-Rowkey&列族设计

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上， 避免数据热点现象。

HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。

我们先来看.META.表，假设HBase中只有两张用户表：Table1和Table2，Table1非常大，被划分成了很多Region，因此在.META.表中有很多条Row用来记录这些Region。

访问HBASE table中的行，只有三种方式：通过单个RowKey访问、通过RowKey 的range（正则）、全表扫描。

HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对影片《泰坦尼克号》的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。