hbase二级索引实现-hbase二级索引(6-5-55)

HBase本文目录一览：

• 1、SnapshotScanMR的思考与问题(一)
• 2、phoenix只能用于结构化的数据吗
• 3、es作为hbase二级索引的优点
• 4、为什么hbase当中不要索引?
• 5、Hadoop常见问题解答
• 6、目前常见的大数据存储方式有哪些?

SnapshotScanMR的思考与问题(一)

1、但是我们如果需要使用SnapshotScanMR来完成HBase数据的检索，那么我们就有问题了！HBase中真实的数据中第1个byte是盐值，我们在检索的时候是不能忽悠的。

phoenix只能用于结构化的数据吗

1、d. 创建Phoenix二级索引后，只能通过Phoenix接口加载数据，直接操作hbase无效的，也就是说只能通过jdbc和加载CSV文件方式加载数据。e. 为已有数据phoenix表补建索引，亦可能导致超时中断。

2、总结：没啥用知道有这东西就好了。 作为Phoenix10的一部分，我们减少了磁盘存储的大小去改善整体的性能通过以下的增强：只能在创建表时进行设置列映射属性。

3、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

4、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算。数据查询分析：Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL（HiveSQL）查询功能。

5、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

6、phoenix是一种开源的sql引擎，是用Java语言编写的。Avro与Protobuf Avro、Protobuf是适合做数据存储的数据序列化系统，有较丰富的数据结构类型，可以在多种不同的语言间进行通信。

es作为hbase二级索引的优点

HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。

现在比较著名的方案是华为提出的。要点是1） 保证主表和索引表在同一个regionserver上（通过自定义的balancer实现） 2） 使用coprocessor实现索引表的创建和插入。

优点： 海量URL管理 网速快 缺点： Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。

为什么hbase当中不要索引?

1、原生HBase不支持索引，而NoSql数据库都把索引的支持作为基础功能来处理。

2、要在HBase表中实现索引，可以使用Regions建立列族和表，并通过对该列采用IndexTable设置索引参数来获得。原因是HBase是一个分布式数据库，其中的数据都是有序的，可以利用这一有序性来获得更快的查询效果。

3、Hbase是列存储的非关系数据库。传统数据库MySQL等，数据是按行存储的。其没有索引的查询将消耗大量I/O 并且建立索引和物化视图需要花费大量时间和资源。因此，为了满足面向查询的需求，数据库必须被大量膨胀才能满 足性能要求。

Hadoop常见问题解答

对于第二个问题，最简单的方法就是，在开始的时候，重新划分一下输入分片，然后让某台机器把那半行数据给另一台机器。

减小Map-Reduce job 启动时创建的Mapper数量 当处理大批量的大数据时，一种常见的情况是job启动的mapper数量太多而超出了系统限制，导致Hadoop抛出异常终止执行。解决这种异常的思路是减少mapper的数量。

NameNode：NameNode是Hadoop分布式文件系统HDFS的元数据服务器，负责管理文件系统的元数据。这意味着它存储有关文件和目录的信息，如它们的名称、大小和块信息。然而，NameNode不存储实际的数据。

问题 分块存放在datanode上 问题inputformat是在datanode上，确切的说是在tasktracker中。

目前常见的大数据存储方式有哪些?

大数据存储的三种方式有：不断加密：任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。

大数据存储方式有分布式存储、存储虚拟化等。分布式存储是一种高度容错性、高吞吐量、支持批处理的数据存储方式，适用于大规模数据分析问题。

HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。