hbase 性能测试-hbase性能需求(5-12-89)

HBase本文目录一览：

• 1、HBase支持那些数据类型?
• 2、hbase是如何做到并发写的和随机写的
• 3、es作为hbase二级索引的优点
• 4、hbase的特点不包括
• 5、关于hbase的问题,开启hbase后一会hmaster和hregionserver就没了...
• 6、一文详解HBase资源隔离相关的解决方案

HBase支持那些数据类型?

非结构化和半结构化数据：HBase可以灵活地存储各种类型的数据，包括文本、图片、音频、视频等非结构化数据，以及JSON、XML等半结构化数据。这些数据在现代应用中越来越常见，而传统的关系型数据库往往难以有效处理。

表、行、列族、列限定符、单元、时间版本。根据查询51cto博客信息显示，hbase模式里的逻辑实体有：表（table）：HBase用表来组织数据，表名是字符串（String），由可以在文件系统路径里使用的字符组成。

HBase采用了类似Google Bigtable的数据模型，即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成。

hbase是如何做到并发写的和随机写的

1、整个写入顺序图流程如下：1 客户端查找对应region 客户端根据要操作rowkey，查找rowkey对应的region。查找region的过程为通过zk获取到hbase：meta表所在region。

2、第二步，将HFile加载到HBase集群，假设这个步骤使用的账号为：u_load。

3、当一个Region中的某个Store下的StoreFile的总大小查过某个值，由参数hbase.hregion.max.filesize设定（默认10g），该Region就会按照RowKey进行拆分。

4、MemStore 是 HBase 非常重要的组成部分，MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。

5、HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解：数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。

6、该值在HBase中默认为0，代表读写资源不分离。如果将 hbase.ipc.server.callqueue.read.ratio 设置为0.5，则表示有50%的线程数处理读请求，剩余50%用于接收写请求。

es作为hbase二级索引的优点

HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。

现在比较著名的方案是华为提出的。要点是1） 保证主表和索引表在同一个regionserver上（通过自定义的balancer实现） 2） 使用coprocessor实现索引表的创建和插入。

优点： 海量URL管理 网速快 缺点： Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。

hbase的特点不包括

SSH守护程序是安全的，因为它对消息进行加密。换言之，侦听网络的用户读不到SSH客户端与服务器之间传递的消息，这在像Internet这样公共网络中是非常必要的。

hadoop的特性不包括如下：目前开源hadoop只包含hdfs，mr，和yarn，yarn是hadoop2新增组件。hdfs是hadoop分布式文件系统，主要采用多备份方式存储文件，可以对接hive和hbase等产品并存储对应数据。

hbase的特点：高可靠性、高性能、面向列、可伸缩的。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase的特点 分布式存储 HBase将数据分布在多台服务器上，通过水平扩展的方式来应对海量数据的存储需求。它使用了类似于Google的Bigtable的数据模型，将数据按照行和列的方式进行存储，支持快速的随机读写操作。

列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。在引擎中，HBase将列簇存储在它自己的数据文件中，所以，它们需要事先被定义，此外，改变列簇并不容易。

关于hbase的问题,开启hbase后一会hmaster和hregionserver就没了...

将hbase.bulkload.retries.number这个参数设置为更大的值，比如目标表的region数量或者将这个参数设置成0，0表示不断重试直到成功。设置之后问题解决。

测试环境正常，生产环境下，时不时出现HRegionServer挂掉的情况， 而HMaster正常。 重启Hbase之后，短时间内恢复正常，然而一段时间之后，再次出现RegionServer挂掉的情况。 因此，我们决定对此故障进行深入排查，找出故障原因。

网络延迟。HBase是一个分布式的、面向列的开源数据库，RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作，没有请求显示，是因为网络延迟，可以重启Regionserver。

使用上述解决方案后本次异常依旧存在，并且HMaster和HRegionServer都不断的自动挂掉。

一文详解HBase资源隔离相关的解决方案

1、hbase-site.xml 配置文件一定不要直接从 /etc/hbase/conf 中获取，这里的配置文件是给客户端用的。

2、hbase的慢响应现在一般归 纳为四类原因：网络原因、gc问题、命中率以及client的反序列化问题。我们现在对它们做了一些解决方案（后面会有介绍），以更好地对慢响应有控制 力。

3、提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark 等。YARN 又被称为MapReduce 0，借鉴Mesos，YARN 提出了资源隔离解决方案Container，提供Java 虚拟机内存的隔离。

4、HBase可以存储海量的数据，并且可以根据rowkey提供快速的查询性能，是非常好的明细数据存储方案，比如电商的订单数据就可以放入HBase提供高效的查询。当然还有其他的存储引擎，比如ES适合文本搜索查询等。

5、这种分布式架构改进后，Flink可以原生运行在HadoopYarn和Kubernetes这两种最常见的资源管理系统上。同时将Flink的任务调度由集中式调度改为分布式调度，使Flink可以支持更大的集群，获得更好的资源隔离。

6、代码托管地址： Apache SVN YARN又被称为MapReduce 0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。