hbase高效率批量写入-hbase批量异步写入(1-15-67)

HBase本文目录一览：

• 1、以下哪些场景比较适合hbase
• 2、hbase内部工具类批量导出报错
• 3、mapreduce与hbase的关系,哪些描述是正确的
• 4、HBase服务高可用之路的探索
• 5、hbase-BucketCache剖析

以下哪些场景比较适合hbase

数据查询模式已经确定，且不易改变，就是说hbase使用在某种种特定的情况下，且不能变动。告诉插入，大量读取。因为分布式系统对大量数据的存取更具优势。尽量少的有数据修改。

用户画像 比如大型的视频网站，电商平台产生的用户点击行为、浏览行为等等存储在HBase中为后续的智能推荐做数据支撑。

主要关注的是对数据的统计等方面。适合的场景：hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop，如果是索引访问，就用HBase+Hadoop 。Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。

hbase内部工具类批量导出报错

hadoop jar /../hbase/hbase-.jar import mytest /import/mybackup 直接将数据导出到hdfs目录中，当不指定file前缀时。另外：export，fs的参数为hdfs上的路径时，该路径必须不能已经存在，否则会报错。

Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

方法2：使用这种方法之前其实是需要先将数据导出到本地，以文本的形式保存，然后使用TableReudcer类编写MapReduce job。这种方法需要频繁的I/O操作，所以效率不高，容易导致HBase节点的不稳定。

mapreduce与hbase的关系,哪些描述是正确的

MapReduce和HBase的关系，正确的描述是：两者不是强关联关系，没有MapReduce，HBase可以正常运行，MapReduce可以直接访问HBase。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

mapreduce与hbase的关系，描述正确的是MapReduce可以直接访问HBase及两者不是强关联关系，没有MapReduce，HBase可以正常运行。

MapReduce与HBase没有关系：MapReduce：MapReduce是一种编程模型，用于大规模数据集的并行运算。概念＂Map＂和＂Reduce＂，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。

关于hbase的描述正确的是是Google的BigTable的开源实现；运行于HDFS文件系统之上；HBase是一个开源的非关系型分布式数据库；主要用来存储非结构化和半结构化的松散数据。

Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的小的工作单元，并把这些单元放到任何集群节点上执行。

HBase可以启动MapReduce工作。根据查询相关公开信息，HBase是一个分布式的NoSQL数据库系统，它可以与MapReduce结合使用，可以在分布式环境中运行MapReduce任务。

HBase服务高可用之路的探索

这里的高可用并不是指HBase本身的高可用机制。而是HBase主备双服务的高可用，线上业务依赖于主备HBase集群来提供数据支持，主集群首要的任务时负责数据的读写，备集群只是为了容灾。

NoSQL概念随着web0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”，“Not Only SQL”也被很多人接受。

目前支持：NoSQLAPI、关系PhoenixSQL、时序OpenTSDB、全文检索Solr/ES、时空GeoMesa、图HGraph、分析Spark on HBase等。随着NoSQL的高速发展，NoSQL用户群体越来越庞大，未来NoSQL及NoSQL生态也会更好的满足各种业务场景。

由于存储方式的不同，HBase在读取和查询大规模数据时具有较高的性能优势，而传统数据库在处理事务和复杂查询时较为擅长。此外，HBase和传统数据库在适用场景上也有所区别。

当系统出现分区时，HBase可以通过副本机制来保证数据的可用性。

hbase-BucketCache剖析

1、一种Bucket存储一种指定BlockSize的数据块，每个Bucket的大小默认为2M，不同大小的Bucket之间的内存是可以互相使用的，从而保证的内存的使用率。

2、HBase数据按照block块存储，默认是64K，HBase中提供两种BlockCache的实现：默认on-heap LruBlockCache和BucketCache（通常是off-heap）。

3、HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

4、LRUBlockCache是HBase目前默认的BlockCache机制。

5、运行一天发现访问hbase失败，异常如下token cant be found In cache。

6、blockcache中的block是hbase从硬盘完成一次读取的数据单位。block是建立索引的最小数据单位，也是从硬盘读取的最小数据单位。