hbase查询数据的四维定位-hbase的多维度(6-2-98)

HBase本文目录一览：

• 1、Kylin构建Cube及高级设置
• 2、大数据治理平台——维度管理
• 3、HBase和MongoDB那个更适合海量实时小数据?
• 4、hbase的作用
• 5、hbase如何用过滤器实现项目某个求总数量的统计
• 6、Hbase的特性有哪些

Kylin构建Cube及高级设置

1、为了缓解 Cube 的构建压力，减少生成的 Cuboid 数目，占用存储空间，同时提高查询性能，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。

2、Apache Kylin（麒麟）是由eBay开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。底层存储用的是HBase，数据输入与cube building用的是Hive，中间数据存储用的是HDFS。

3、那么就可以通过设置聚合组，使生成的 Cuboid 数目从 16 个缩减成 8 个（大大降低 Cube 膨胀率），如图 2 所示。

4、如果想新增一个Cube的话，需要在kylin02上操作，也就是预上线环境。所有业务方人员的cube数据模型定义都是在kylin02上做，没有问题后由管理员切到kylin01上。

大数据治理平台——维度管理

1、苏宁八大产业，每个产业有自己的数据集市，每个数据集市有自己的维度表，没有统一的维度管理（包括管理规范和系统支撑）。

2、IT运维从传统走向智慧，首先要经历数字化运维阶段，搭建数字运维中台既是实现运维数据有效治理的前提和基础，也是推进运维数智化转型的第一步。

3、数据处理和分析第三步，在这一阶段中的一部分干净数据是去规范化的，包括对一些相关的数据集的数据进行一些排序，在规定的时间间隔内进行数据结果归集，执行机器学习算法，预测分析等。

HBase和MongoDB那个更适合海量实时小数据?

1、所以感觉如果只是用于海量实时的小数据那么MongoDB可能会好点，但是如果还需要对数据进行统计分析，那么最好还是考虑统计分析的因素。如你使用mapreduce进行数据统计分析，那么hbase可能会更好些，虽然MongoDB也支持mr。

2、HBase HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

3、而hbase的修改和添加都是同一个命令：put，如果put传入的row key已经存在就更新原记录，实际上hbase内部也不是更新，它只是将这一份数据已不同的版本保存下来而已，hbase默认的保存版本的历史数量是3。

4、HBase没有研究过，因为我们公司用Erlang开发，这个数据库直接不支持。

5、HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能。

6、列族数据库：BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等，下面简单介绍几个 （1）Cassandra：Cassandra是一个列存储数据库，支持跨数据中心的数据复制。

hbase的作用

HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据。

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

时序数据：HBase可以用于存储时序数据，如速度的展示，天气、温度、风速、车流量等。对象存储：HBase可以作为中等对象存储，对HDFS存储文件起到缓冲过渡的作用，减轻了NAMENODE元数据维护的压力。

hbase概念：非结构化的分布式的面向列存储非关系型的开源的数据库，根据谷歌的三大论文之一的bigtable 高宽厚表 作用：为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

Apache HBase 和Google Bigtable 有非常相似的地方，一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此用户可以给行定义各种不同的列，对于这样的功能在大项目中非常实用，可以简化设计和升级的成本。

hbase如何用过滤器实现项目某个求总数量的统计

1、使用redis实现计数器是因为redis是单线程的，使用setnx命令或者lua脚本，可以实现对同一个key的单线程计算。

2、可通过分组和组内计数来实现，语句如下：select a， count（*） from A Group by a 用Group By分组：Group By + [分组字段]（可以有多个）。

3、列表中会产生大量的，就需要将filter过滤掉。 使用L.count（x） == 1 或者 L.count（x） 1来保留重复项或，非重复项。 set（L）则是保留列表中的唯一项，再用list（）将其转换为列表。

4、首先，我们打开excel软件，输入一些数据供以后使用。接下来，我们在单元格中输入Countif函数，设置数据区域，并选择要计数的内容项。输入公式后，按enter键获取统计数据。

5、在第二参数后连接一个通配符&“*”，利用数值不能使用通配符的特性，仅查找包含A2单元格内容的文本，通过这样变通的手段，COUTNIF函数就听话啦。例如，统计大于5的单元格个数，=COUNTIF（A2：A10，”5“）。

Hbase的特性有哪些

1、多版本：HBase支持多版本数据存储，这意味着每个单元格可以存储多个版本的数据。每个版本都有一个时间戳，可以根据时间戳来检索特定的版本。这种多版本特性使得HBase非常适合存储历史数据和审计日志等数据。

2、HBase采用了数据冗余和自动故障恢复的机制，可以保证数据的高可靠性。它将数据副本存储在不同的服务器上，并在主节点故障时自动切换到备用节点，确保数据的持久性和可用性。

3、行键：每行都有唯一的行键，行键没有数据类型，它内部被认为是一个字节数组。列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。

4、分区容错性：HBase是一个分布式数据库，在设计时就考虑了分区容错性，通过数据的分布式存储和副本机制来保证数据的可靠性和容错性。当系统出现分区时，HBase可以通过副本机制来保证数据的可用性。

5、Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。