hbase scanner-hbasescan用法(1-10-21)

HBase本文目录一览：

• 1、hbase行统计有什么比较快的方法
• 2、hbase是怎么进行读写的
• 3、HBase数据结构是什么?
• 4、HBASE之创建表、插入值、表结构查看
• 5、一文详解HBase资源隔离相关的解决方案

hbase行统计有什么比较快的方法

有时候我们需要统计HBase表的行数，一般要么是写MR程序，要么是写SQL。

其方式有全表扫描、通过单个行健访问、通过一个行健的区间来访问。RowKey与nosql数据库们一样，RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式：通过单个RowKey访问、通过RowKey 的range（正则）、全表扫描。

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。

Fay Chang 所撰写的Google论文。访问hbase数据库表中的行一共有三种方式，分别是：通过单个行健访问、通过一个行健的区间来访问、全表扫描。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。

对于像PV、UV、IP这样需要求累加计算的操作（求SUM/AVG），由于要对HBase表中相关记录进行扫描求和计算，所以如果被统计站点的数据量很大的话，使用HBase来做可能会保证不了很快的响应速度。

hbase是怎么进行读写的

1、所以hbase大多数读要走磁盘，所以读很慢。 每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

2、HBase应用举例 Hbase适合需对数据进行随机读操作或者随机写操作、大数据上高并发操作，比如每秒对PB级数据进行上千次操作以及读写访问均是非常简单的操作。淘宝指数是Hbase在淘宝的一个典型应用。

3、hbase客户端通过rpc调用将put、delete数据请求提交到对应的regionserver，regionserver对请求进行处理，并将数据最终写入hfile中，进行持久化保存。hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。

4、MemStore 无论是对 HBase 的写入还是读取性能都至关重要，其中 flush 操作又是 MemStore 最核心的操作。

5、HBase将数据分布在多台服务器上，通过水平扩展的方式来应对海量数据的存储需求。它使用了类似于Google的Bigtable的数据模型，将数据按照行和列的方式进行存储，支持快速的随机读写操作。

HBase数据结构是什么?

在底层实现上，HBase使用了基于Hadoop的分布式文件系统HDFS来存储数据，并且使用了一种称为LSM-Tree（Log-Structured Merge-Tree）的数据结构来管理数据。

hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。

RowKey 与nosql数据库们一样，RowKey是用来检索记录的主键。

HBASE之创建表、插入值、表结构查看

与nosql数据库们一样，RowKey是用来检索记录的主键。

创建表 使用HBaseShell或HBaseAPI可以创建表，需要指定表的名称和列族。例如，创建一个名为student的表，包含一个列族info。插入数据 使用Put命令可以向表中插入数据，需要指定行键、列族、列和值。

Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

HBase是一个分布式的、面向列的开源数据库，具有高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

一文详解HBase资源隔离相关的解决方案

1、hbase-site.xml 配置文件一定不要直接从 /etc/hbase/conf 中获取，这里的配置文件是给客户端用的。

2、hbase的慢响应现在一般归 纳为四类原因：网络原因、gc问题、命中率以及client的反序列化问题。我们现在对它们做了一些解决方案（后面会有介绍），以更好地对慢响应有控制 力。

3、提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark 等。YARN 又被称为MapReduce 0，借鉴Mesos，YARN 提出了资源隔离解决方案Container，提供Java 虚拟机内存的隔离。

4、HBase可以存储海量的数据，并且可以根据rowkey提供快速的查询性能，是非常好的明细数据存储方案，比如电商的订单数据就可以放入HBase提供高效的查询。当然还有其他的存储引擎，比如ES适合文本搜索查询等。