hbase建表指定region-hbase建score表(4-16-27)

HBase本文目录一览：

• 1、hadoop集群搭建好之后安装hbase时,创建表的时候出错!
• 2、mapreduce与hbase的关系,哪些描述是正确的
• 3、突破性能瓶颈!ElasticSearch百亿级数据检索优化案例
• 4、求助,HBASE不能创建表
• 5、HBase写数据的异常问题以及优化
• 6、hive关联hbase建一张外部表,报如下错,求大神指教?

hadoop集群搭建好之后安装hbase时,创建表的时候出错!

建议：访问http：// master：60010/ 查看配置的信息。

进去之后 list status 命令都能够正常运行。

Caused by： java.net.BindException： 无法指定被请求的地址 这个错误一般是 指定的域名，IP，或者端口不存在，或者无法解析 或者 已被使用。看看你的hbase配置文件。看看你的IP是否存在，ping下你的域名是否可以ping通。

HBase是Hadoop生态系统的一部分，又其他框架如PIG， HIVE等的支持，而Cassender上运行mapreduce相对比较复杂的。总体上来说，Cassender或许在存储上比较有效，但HBase的数据处理能力更强些。

mapreduce与hbase的关系,哪些描述是正确的

MapReduce和HBase的关系，正确的描述是：两者不是强关联关系，没有MapReduce，HBase可以正常运行，MapReduce可以直接访问HBase。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

mapreduce与hbase的关系，描述正确的是MapReduce可以直接访问HBase及两者不是强关联关系，没有MapReduce，HBase可以正常运行。

MapReduce与HBase没有关系：MapReduce：MapReduce是一种编程模型，用于大规模数据集的并行运算。概念＂Map＂和＂Reduce＂，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。

突破性能瓶颈!ElasticSearch百亿级数据检索优化案例

默认情况下 routing参数是文档ID （murmurhash3），可通过 URL中的 _routing 参数指定数据分布在同一个分片中，index和search的时候都需要一致才能找到数据，如果能明确根据_routing进行数据分区，则可减少分片的检索工作，以提高性能。

索引优化主要是在 Elasticsearch 插入层面优化，如果瓶颈不在这块，而是在产生数据部分，比如 DB 或者 Hadoop 上，那么优化方向就需要改变下。

虽然ES 对 gateway 使用 NFS，iscsi 等共享存储的方式极力反对，但是对于较大量级的索引的副本数据，ES 从 5 版本开始，还是提供了一种节约成本又不特别影响性能的方式：影子副本（shadow replica）。

写入Lucene 的数据，并不是实时可搜索的，ES 必须通过 refresh 的过程把内存中的数据转换成 Lucene 的完整 segment 后，才可以被搜索。 默认1秒后，写入的数据可以很快被查询到，但势必会产生大量的 segment，检索性能会受到影响。

权衡建索引的性能和检索的时效性，修改以下参数。倒排词典的索引需要常驻内存，无法GC，需要监控data node上segment memory增长趋势。定期对不再更新的索引做optimize （ES0以后更改为force merge api）。

求助,HBASE不能创建表

1、INFO org.apache.hadoop.hbase.master.ServerManager： Waiting on regionserver（s） to checkin 然后我进到 hive里面 也是可以执行查看语句 但是不能创建表。状态就是 只能读不能写。

2、可能是版本信息的问题，hadoop和hbase是有版本搭配限制的。可能是某个节点的启动信息有问题。确定在hbase安装的时候，hadoop是可以安装、运行wordcount等。再试下看。

3、column family 为列族名，创建表也必须指定。比如：创建列族名为 label_info 的表： create ext_label_uid， label_info查看表： scan ext_label_uid格式：describe table nameNAME：表示列族名。

4、TableNotEnabledException，导致无法启用表。上网查询得知是由于中断操作导致zookeeper中记录的表状态不一致导致。通过以下方法解决。

HBase写数据的异常问题以及优化

1、HBase数据写入通常会遇到两类问题，一类是写性能较差，另一类是数据根本写不进去。

2、BloomFilter的数据存在StoreFile的meta中，一旦写入无法更新，因为StoreFile是不可变的。

3、对于读端，捕获异常后，可以采取休眠一段时间后进行重试等方式。3）当然，还可以根据实际情况合理调整hbase.client.retries.number和hbase.client.pause配置选项。

4、逻辑故障 逻辑故障中的一种常见情况就是配置错误，就是指因为网络设备的配置原因而导致的网络异常或故障。

5、用MR往HBase里写Int类型遇到了乱码问题，总结一下。

hive关联hbase建一张外部表,报如下错,求大神指教?

两种方式：一，建立一个hive和hbase公用的表，这样可以使用hive操作hbase的表，但是插入数据较慢，不建议这样做。 二，手写mapreduce，把hive里面的数据转换为hfile，然后倒入。

进入hive之后一一般默认的数据库都是default。如果你切换数据库的话所建的表都会是在default数据库里面。4 创建数据库的语法是：create database database_name；非常简单的，其实hive跟mysql的语法还是比较相似的。

comment：可以用来定义表的描述信息。（2）hbase.table.name：hive通过 storage handler（暂放）将hive与各种工具联系起来，这是是使用hive接入hbase时，设置的属性（暂放）。

hbase org.apache.hadoop.hbase.mapreduce.RowCounter tablename解释：这种方式效率比上一种要高很多，调用的hbase jar中自带的统计行数的类。创建 Hive 与 HBase 的关联表，将 HBase 当作 Hive 的外部表。

首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由地组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，它就可以解析数据了。

这个命令运行完以后会打开Hive 的输入终端。