hbase solr二级索引-hbase构建二级索引的方式有哪些(7-19-82)

HBase本文目录一览：

• 1、为什么hbase当中不要索引?
• 2、如何使用HBase构建NewSQL
• 3、Hadoop常见问题解答
• 4、SnapshotScanMR的思考与问题(一)
• 5、innodb存储引擎支持全文索引吗
• 6、es作为hbase二级索引的优点

为什么hbase当中不要索引?

1、原生HBase不支持索引，而NoSql数据库都把索引的支持作为基础功能来处理。

2、要在HBase表中实现索引，可以使用Regions建立列族和表，并通过对该列采用IndexTable设置索引参数来获得。原因是HBase是一个分布式数据库，其中的数据都是有序的，可以利用这一有序性来获得更快的查询效果。

3、Hbase是列存储的非关系数据库。传统数据库MySQL等，数据是按行存储的。其没有索引的查询将消耗大量I/O 并且建立索引和物化视图需要花费大量时间和资源。因此，为了满足面向查询的需求，数据库必须被大量膨胀才能满 足性能要求。

4、不过在公司使用的时候，一般不使用原生的Hbase API，使用原生的API会导致访问不可监控，影响系统稳定性，以致于版本升级的不可控。

5、有且仅有一个：rowkey，所以hbase的快速查找建立在rowkey的基础的，而不能像一般的关系型数据库那样建立多个索引来达到多条件查找的效果。

6、为了避免不必要的IO耗时，可以在磁盘中存储一些额外的二进制数据，这些数据用来判断对于给定的key是否有可能存储在这个数据块中，这个数据结构称为布隆过滤器（BloomFilter）。LSM树介绍：LSM树是一种磁盘数据的索引结构。

如何使用HBase构建NewSQL

目前主流的数据库或者NoSQL要么在CAP里面选择AP，比较典型的例子是Cassandra，要么选择CP比如HBase，这两个是目前用得非 常多的NoSQL的实现。

虽然HBase本身不支持SQL，但是可以通过一些工具或框架（如Phoenix，Presto等）在HBase上执行类SQL查询。例如，Phoenix是一个HBase上的SQL skin，它允许你使用SQL语法进行查询，同时底层数据仍然存储在HBase中。

HBase确实使用的是面向列的存储方式，而不是面向行的存储方式。首先，我们需要明白什么是面向行的存储和面向列的存储。在面向行的存储中，一行中的所有数据都被存储在一起。

你可以使用hive来作为ETL的工具，就是自己开发存储接口。然后让hive（也就是通过map、reduce的方式）来做ETL。

耗时短。使用索引查询，涉及少量数据。重复度高，通常使用相同的查询语句和不同的查询参考。也有一些学者认为NewSQL系统是特指实现上使用Lock-free并发控制技术和share-nothing架构的数据库。

面向列（族）进行存储，提供实时增删改查的能力，是一种真正的数据库。可以存储海量数据、性能也很强大，可以实现上亿条记录的毫秒级别的查询，但是不能提供严格的事务控制，只能在行级别保证事务。

Hadoop常见问题解答

对于第二个问题，最简单的方法就是，在开始的时候，重新划分一下输入分片，然后让某台机器把那半行数据给另一台机器。

减小Map-Reduce job 启动时创建的Mapper数量 当处理大批量的大数据时，一种常见的情况是job启动的mapper数量太多而超出了系统限制，导致Hadoop抛出异常终止执行。解决这种异常的思路是减少mapper的数量。

NameNode：NameNode是Hadoop分布式文件系统HDFS的元数据服务器，负责管理文件系统的元数据。这意味着它存储有关文件和目录的信息，如它们的名称、大小和块信息。然而，NameNode不存储实际的数据。

SnapshotScanMR的思考与问题(一)

1、但是我们如果需要使用SnapshotScanMR来完成HBase数据的检索，那么我们就有问题了！HBase中真实的数据中第1个byte是盐值，我们在检索的时候是不能忽悠的。

innodb存储引擎支持全文索引吗

InnoDB是MySQL的默认存储引擎，它支持事务处理、行级锁和外键约束等特性，适用于需要事务处理和复杂查询的应用程序。

InnoDB不支持全文索引，而MyISAM支持。全文索引是指对char、varchar和text中的每个词（停用词除外）建立倒排序索引。

MyISAM管理非事务表。它提供高速存储和检索，以及全文搜索能力。如果应用中需要执行大量的SELECT查询，那么MyISAM是更好的选择。InnoDB用于事务处理应用程序，具有众多特性，包括ACID事务支持。

innoDB是集聚引擎，6以后才有全文索引；支持事务；它是行级锁；不会保存表的具体行数。一般：不用事务的时候，count计算多的时候适合myisam引擎。对可靠性要求高就是用innodby引擎。

不支持没有单词界定符的语言，如中文，日语，韩语等 在InnoDB存储引擎中，为了提高全文检索的并行性能，共有 6张Auxiliary Table ，目前每张表会根据word的Latin编码进行分区。

es作为hbase二级索引的优点

HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。

现在比较著名的方案是华为提出的。要点是1） 保证主表和索引表在同一个regionserver上（通过自定义的balancer实现） 2） 使用coprocessor实现索引表的创建和插入。

优点： 海量URL管理 网速快 缺点： Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。