hbase用法-熟悉常用的hbase操作(8-6-69)
更新时间:2024-12-06 分类:HBase 浏览量:2
HBase本文目录一览:
- 1、六、HBase写入流程
- 2、HBase合并storefile的原因是什么?在合并的过程中会做什么操作
- 3、hbase使用标准的sql进行操作
六、HBase写入流程
对于写操作,HBase提供了Put操作。一个Put操作就是一次写操作,它将指定Row Key的数据写入到HBase中。
和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstore中数据大小达到一定阈值(128M)之后,系统会异步将Memstore中数据flush到HDFS形成小文件。
首先Hbase是依赖于HDFS和zookeeper的。 Zookeeper分担了Hmaster的一部分功能,客户端进行DML语句的时候,都是先跟ZK交互。
HBase合并storefile的原因是什么?在合并的过程中会做什么操作
合并文件。由于zhidaoflush的触发是回针对所有memStore,所以缓存有些记录不多的memStore flush之后的结果是很多小文件。Compaction操作可以合并这些小文件,减小对StoreFile的维护成本。2)清除删除、过期、多余版本的数据。
明显的,有Memstore Flush产生的HFile越多,集群系统就要做更多的合并操作(额外负载)。更糟糕的是:Compaction处理是跟集群上的其他请求并行进行的。
Storefile的合并,storefile 的数量达到阈值后,会进行合并。
Delete的操作其实也是put操作,put的是删除的标记。 在Hbase中HMaster负责监控HRegionServer的生命周期,均衡RegionServer的负载,如果HMaster挂掉了,那个整个Hbase集群将处于不健康的状态,并且此时的工作状态不会维持太久。
hbase使用标准的sql进行操作
1、如果要做的话。通常是使用hive(能够直接处理HBase中的数据),或者自己开发mapreduce程序;例子网上有很多。你这个逻辑如果不很复杂,通过hive简单些,写几条语句就搞定。另:如果就是验证下功能,那做做没问题。
2、目前主流的数据库或者NoSQL要么在CAP里面选择AP,比较典型的例子是Cassandra,要么选择CP比如HBase,这两个是目前用得非 常多的NoSQL的实现。
3、对HBase的读写操作,实际上就是对这张表进行增删改查操作。 对于写操作,HBase提供了Put操作。一个Put操作就是一次写操作,它将指定Row Key的数据写入到HBase中。
4、StandaloneMode 默认的运行模式。在该模式下,Hbase不会使用HDFS,而是使用本地文件系统。它在同一个虚拟机中运行所有Hbasedaemon和本地ZooKeeper。ZooKeeper绑定一个众所周知的端口,所以客户端可以和Hbase通讯。