hbase列值过滤器-列值比较器hbase(2-10-72)

HBase本文目录一览：

• 1、为什么说HBase是列式数据库?
• 2、HBASE之创建表、插入值、表结构查看
• 3、Hbase读写原理
• 4、Hbase知识点总结?
• 5、HBase从入门到精通11:HBase数据保存过程和Region分裂
• 6、HBase支持的数据格式有哪些?

为什么说HBase是列式数据库?

1、HBase是一个高可扩展性的列式数据库，它是基于Google的Bigtable论文开发的。在HBase中，数据是以列族的形式进行存储的，而不是行。每个列族可以包含多个列，这些列在物理存储上是聚集在一起的。

2、HBase是一个基于Apache Hadoop的面向列的NoSQL数据库，是Google BigTable的开源实现。它运行在HDFS之上，为Hadoop提供类似于BigTable规模的服务。

3、HBase是一个高可扩展性的列式存储数据库，它使用Hadoop的HDFS作为其底层存储，可以轻松处理大量的数据。HBase的数据模型是基于Google的Bigtable，数据以列族的方式进行存储，每个列族下面可以包含多个列。

HBASE之创建表、插入值、表结构查看

1、与nosql数据库们一样，RowKey是用来检索记录的主键。

2、创建表 使用HBaseShell或HBaseAPI可以创建表，需要指定表的名称和列族。例如，创建一个名为student的表，包含一个列族info。插入数据 使用Put命令可以向表中插入数据，需要指定行键、列族、列和值。

3、Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

4、HBase是一个分布式的、面向列的开源数据库，具有高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Hbase读写原理

所以hbase大多数读要走磁盘，所以读很慢。 每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解：数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。

Hbase数据是按列存储-每一列单独存放。列存储的优点是数据即是索引。访问查询涉及的列-大量降低系统I/O 。并且每一列由一个线索来处理，可以实现查询的并发处理。基于Hbase数据类型一致性，可以实现数据库的高效压缩。

hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后，为了保证写入rowkey的有序性，所以不能将数据立刻写入到hfile中，而是将每个变更操作保存在内存中，也就是metastore中。

Hbase知识点总结?

容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作。

hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

JVM也提供了参数 -XX： UseCMSCompactAtFullCollection来减少碎片的产生，这个参数表示会在每次CMS回收垃圾之后执行一次碎片整理，很显然，这个参数会对性能有比较大的影响，对HBase这种对延迟敏感的业务来说并不是一个完美解决方案。

年HBaseConf上面有一句总结：“NothingishotterthanSQL-on- Hadoop，andnowSQL- on-HBaseisfastapproachingequalhotnessstatus”，实际上SQL-on-HBase也是非 常火。

用MR往HBase里写Int类型遇到了乱码问题，总结一下。

HBase从入门到精通11:HBase数据保存过程和Region分裂

HBase保存数据的流程有以下几个步骤：HBase表的列族在创建之初只有一个Region，随着插入数据的增多Region变得越来越大。

以fileServer为例，在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下，16个预分区Region， 则单个Resion容量达到 min（32，50），即32GB时分裂。

默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。

HBase支持的数据格式有哪些?

HBase 通过 Put 操作和 Result 操作支持 “byte-in / bytes-out” 接口，所以任何可以转换为字节数组的内容都可以作为一个值存储。输入可以是字符串、数字、复杂对象、甚至可以是图像，只要它们可以呈现为字节。

hbase的核心数据结构为LSM树。LSM树分为内存部分和磁盘部分。内存部分是一个维护有序数据集合的数据结构。RowKey与nosql数据库们一样，RowKey是用来检索记录的主键。

LSM-Tree是一种支持高写入吞吐量的数据结构，它把数据分成多个层，每层采用不同的策略来管理数据，包括内存中的缓存、写入磁盘的SSTable、和合并SSTable的操作。

根据查询51cto博客信息显示，hbase模式里的逻辑实体有：表（table）：HBase用表来组织数据，表名是字符串（String），由可以在文件系统路径里使用的字符组成。

具体来说，HBase使用HFile作为基本的数据存储格式，这与HDFS是类似的。但是，HBase不仅使用HDFS来存储数据，而且还通过与Hadoop生态系统中的其他组件（如MapReduce和Pig）集成，以支持高效的并行处理和分析数据的能力。

与nosql数据库们一样，RowKey是用来检索记录的主键。