hbase写入数据过程-hbase写入数据慢(7-12-65)

HBase本文目录一览：

• 1、HBase性能优化-Rowkey&列族设计
• 2、hadoop分布式计算中,使用Hive查询Hbase数据慢的问题
• 3、Hbase读写原理
• 4、用传统数据库系统管理空间数据,存在什么不足之处

HBase性能优化-Rowkey&列族设计

1、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象。

2、必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。设计的RowKey应均匀的分布在各个HBase节点上， 避免数据热点现象。

3、HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖。

4、我们先来看.META.表，假设HBase中只有两张用户表：Table1和Table2，Table1非常大，被划分成了很多Region，因此在.META.表中有很多条Row用来记录这些Region。

5、访问HBASE table中的行，只有三种方式：通过单个RowKey访问、通过RowKey 的range（正则）、全表扫描。

hadoop分布式计算中,使用Hive查询Hbase数据慢的问题

1、首先，节点规模上去，或者硬件配置上去才能让hadoop引擎转起来。配置很低，一看就知道是科技项目，或者小作坊的做法，你的需求是很不合理的。在这配置下是没优化空间。

2、两种方式：一，建立一个hive和hbase公用的表，这样可以使用hive操作hbase的表，但是插入数据较慢，不建议这样做。二，手写mapreduce，把hive里面的数据转换为hfile，然后倒入。

3、基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算，主要解决海量key，value相关查询计算等需求。 可以考虑Spark计算，Spark是基于共现内存RDD的系统，比Hadoop更快，时候迭代式计算，例如数据挖掘，机器学习算法等。

4、Hadoop有版本控制，比如一个网页，存三个版本，最新，上个版本，旧的版本。以前的数据只是标注删除。并不删除。更新会增加一个版本，旧的版本不会删除。

5、HBase 非常适合实时查询大数据（例如 Facebook 曾经将其用于消息传递）。Hive 不能用于实时查询，因为速度很慢。HBase 主要用于将非结构化 Hadoop 数据作为一个湖来存储和处理。

6、Hive 的目标是做成数据仓库，所以它提供了SQL，提供了文件－表的映射关系，又由于Hive基于HDFS，所以不提供Update，因为HDFS本身就不支持。

Hbase读写原理

所以hbase大多数读要走磁盘，所以读很慢。 每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

HDFS不太适合做大量的随机读应用，但HBASE却特别适合随机的读写 个人理解：数据库一般都会有一层缓存，任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。

Hbase数据是按列存储-每一列单独存放。列存储的优点是数据即是索引。访问查询涉及的列-大量降低系统I/O 。并且每一列由一个线索来处理，可以实现查询的并发处理。基于Hbase数据类型一致性，可以实现数据库的高效压缩。

hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后，为了保证写入rowkey的有序性，所以不能将数据立刻写入到hfile中，而是将每个变更操作保存在内存中，也就是metastore中。

用传统数据库系统管理空间数据,存在什么不足之处

正确答案：（1）传统数据库系统管理的是不连续的，相关性较小的数字和字符，而地理信息数据是连续的，并且具有很强的空间相关性。

传统数据库是以数据块来存储数据，简单来说，你的表字段越多，占用的数据空间就越多，那么查询就有可能要跨数据块。在大型系统中一张表有上百个字段，并且表中的数据上亿条也有可能。因此会带来数据库查询的瓶颈。

多用户并发访问：Excel数据库不支持多用户同时访问和修改同一个文件，这会导致数据冲突和安全性问题。 安全性：Excel数据库的安全性相对较低，如果不加密或者使用弱密码，容易被非法用户访问和篡改数据。

一：传统数据库 （1）传统索引不适于海量数据 传统行存数据库索引需要手工设定，对应用不完全透明，随场景和需求的变化需要不断调整，人工维护成本很高。并且传统索引占用存储空间很大，甚至高于数据本身，造成查询效率的下降。

由于这些原因，关系数据库系统的维护开销可能是很大的。由于关系数据库不能提供足够的构造能力及性能方面的原因，在进行较复杂的数据库设计过程中，不可能将许多工程问题直接分解成一些简单的部分。

包括具有不同相容性矩阵的，有优先队列或者没有的，能指数后退或者不能的，全局可追踪的或者不可追踪的，等等等等。然后写一个存储管理子系统。在这里你可以决定你的数据库的外存布局。