hbase修改ttl-hbase修改字段值(2-3-48)

HBase本文目录一览：

• 1、Hbase知识点总结?
• 2、六、HBase写入流程
• 3、一文详解HBase资源隔离相关的解决方案
• 4、为什么hbase没有更新操作
• 5、如何用MapReduce程序操作hbase

Hbase知识点总结?

容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作。

hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

JVM也提供了参数 -XX： UseCMSCompactAtFullCollection来减少碎片的产生，这个参数表示会在每次CMS回收垃圾之后执行一次碎片整理，很显然，这个参数会对性能有比较大的影响，对HBase这种对延迟敏感的业务来说并不是一个完美解决方案。

年HBaseConf上面有一句总结：“NothingishotterthanSQL-on- Hadoop，andnowSQL- on-HBaseisfastapproachingequalhotnessstatus”，实际上SQL-on-HBase也是非 常火。

六、HBase写入流程

对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互。

使用bulk load功能最简单的方式就是使用importtsv 工具。importtsv 是从TSV文件直接加载内容至HBase的一个内置工具。它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

一文详解HBase资源隔离相关的解决方案

hbase-site.xml 配置文件一定不要直接从 /etc/hbase/conf 中获取，这里的配置文件是给客户端用的。

hbase的慢响应现在一般归 纳为四类原因：网络原因、gc问题、命中率以及client的反序列化问题。我们现在对它们做了一些解决方案（后面会有介绍），以更好地对慢响应有控制 力。

提供高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark 等。YARN 又被称为MapReduce 0，借鉴Mesos，YARN 提出了资源隔离解决方案Container，提供Java 虚拟机内存的隔离。

为什么hbase没有更新操作

该数据库手动split分区数没变的原因如下：用户没有使用管理员权限，无法对HBase进行操作。HBase集群处于安全模式，无法进行split操作。split表中存在数据，无法进行split操作。

原生HBase不支持索引，而NoSql数据库都把索引的支持作为基础功能来处理。

Hive 的目标是做成数据仓库，所以它提供了SQL，提供了文件－表的映射关系，又由于Hive基于HDFS，所以不提供Update，因为HDFS本身就不支持。

网络延迟。HBase是一个分布式的、面向列的开源数据库，RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作，没有请求显示，是因为网络延迟，可以重启Regionserver。

hbase在写入数据的时候出现问题，而既然能有一部分写入了，很可能是另一部分文件无法写入，换句话说就是权限问题。建议重新加载。

BloomFilter的数据存在StoreFile的meta中，一旦写入无法更新，因为StoreFile是不可变的。

如何用MapReduce程序操作hbase

1、生成HFile文件 Bulk Load的第一步会执行一个Mapreduce作业，其中使用到了HFileOutputFormat输出HBase数据文件：StoreFile。HFileOutputFormat的作用在于使得输出的HFile文件能够适应单个region。

2、对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

3、MapReduce可以用于对HBase中的数据进行复杂的数据分析和数据挖掘，这是通过读取HBase中的数据传递给Map阶段进行处理来实现的。

4、HBase可以启动MapReduce工作。根据查询相关公开信息，HBase是一个分布式的NoSQL数据库系统，它可以与MapReduce结合使用，可以在分布式环境中运行MapReduce任务。

5、当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。