操作系统的主要功能-操作hbase(9-8-34)

HBase本文目录一览：

• 1、hbase是怎么进行读写的
• 2、windows+eclipse操作Hbase连接过程中debug记录(一)
• 3、hbase使用标准的sql进行操作
• 4、为什么hbase没有更新操作
• 5、如何用MapReduce程序操作hbase
• 6、六、HBase写入流程

hbase是怎么进行读写的

所以hbase大多数读要走磁盘，所以读很慢。 每次刷写会生成新的Hfile，Hfile很小并且数量多的时候会影响查询的速度。所以要进行合并。

HBase应用举例 Hbase适合需对数据进行随机读操作或者随机写操作、大数据上高并发操作，比如每秒对PB级数据进行上千次操作以及读写访问均是非常简单的操作。淘宝指数是Hbase在淘宝的一个典型应用。

hbase客户端通过rpc调用将put、delete数据请求提交到对应的regionserver，regionserver对请求进行处理，并将数据最终写入hfile中，进行持久化保存。hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。

MemStore 无论是对 HBase 的写入还是读取性能都至关重要，其中 flush 操作又是 MemStore 最核心的操作。

windows+eclipse操作Hbase连接过程中debug记录(一)

1、用telnet命令检查端口，发现没有打开2181端口，在 阿里云服务器上添加新的规则，打开2181端口 即可。

2、Alt-left arrow： 在导航历史记录（Navigation History）中后退。就像Web浏览器的后退按钮一样，在利用F3跳转之后，特别有用。（用来返回原先编译的地方） Alt-right arrow： 导航历史记录中向前。

3、从HBase集群中复制一份Hbase部署文件，放置在开发端某一目录下（如在/app/hadoop/hbase096目录下）。

4、最基本的操作是：首先在一个java文件中设断点，然后debug as－－open debug Dialog，然后在对话框 中选类后－－ Run 当程序走到断点处就会转到debug视图下。

5、具体方法：找到Debug中的项目，右击，选择edit Source Lookup，先remove掉之前的，然后add当前workspace。最后确认下，重新启动服务就可以了。如果有进入了debug模式，但是程序中没有绿色进度条跟踪，这么做一下，也OK了。

hbase使用标准的sql进行操作

1、如果要做的话。通常是使用hive（能够直接处理HBase中的数据），或者自己开发mapreduce程序；例子网上有很多。你这个逻辑如果不很复杂，通过hive简单些，写几条语句就搞定。另：如果就是验证下功能，那做做没问题。

2、目前主流的数据库或者NoSQL要么在CAP里面选择AP，比较典型的例子是Cassandra，要么选择CP比如HBase，这两个是目前用得非 常多的NoSQL的实现。

3、对HBase的读写操作，实际上就是对这张表进行增删改查操作。 对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

4、StandaloneMode 默认的运行模式。在该模式下，Hbase不会使用HDFS，而是使用本地文件系统。它在同一个虚拟机中运行所有Hbasedaemon和本地ZooKeeper。ZooKeeper绑定一个众所周知的端口，所以客户端可以和Hbase通讯。

为什么hbase没有更新操作

该数据库手动split分区数没变的原因如下：用户没有使用管理员权限，无法对HBase进行操作。HBase集群处于安全模式，无法进行split操作。split表中存在数据，无法进行split操作。

原生HBase不支持索引，而NoSql数据库都把索引的支持作为基础功能来处理。

Hive 的目标是做成数据仓库，所以它提供了SQL，提供了文件－表的映射关系，又由于Hive基于HDFS，所以不提供Update，因为HDFS本身就不支持。

网络延迟。HBase是一个分布式的、面向列的开源数据库，RegionServer是HBase系统中最核心的组件，主要负责用户数据写入、读取等基础操作，没有请求显示，是因为网络延迟，可以重启Regionserver。

hbase在写入数据的时候出现问题，而既然能有一部分写入了，很可能是另一部分文件无法写入，换句话说就是权限问题。建议重新加载。

如何用MapReduce程序操作hbase

1、生成HFile文件 Bulk Load的第一步会执行一个Mapreduce作业，其中使用到了HFileOutputFormat输出HBase数据文件：StoreFile。HFileOutputFormat的作用在于使得输出的HFile文件能够适应单个region。

2、对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

3、MapReduce可以用于对HBase中的数据进行复杂的数据分析和数据挖掘，这是通过读取HBase中的数据传递给Map阶段进行处理来实现的。

4、HBase可以启动MapReduce工作。根据查询相关公开信息，HBase是一个分布式的NoSQL数据库系统，它可以与MapReduce结合使用，可以在分布式环境中运行MapReduce任务。

六、HBase写入流程

对于写操作，HBase提供了Put操作。一个Put操作就是一次写操作，它将指定Row Key的数据写入到HBase中。

和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互。

使用bulk load功能最简单的方式就是使用importtsv 工具。importtsv 是从TSV文件直接加载内容至HBase的一个内置工具。它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

业务需求 flume需要从kafka获取数据并写入hbase 开始写的想法：按照flume的流程：一个source ，三个channel， 三个sink，因为我需要三个列族，如果使用官方的hbase sink那么需要三个sink。

该过程会自动从指定hbase表内一行一行读取数据进行处理。