如何启动hbase shell-cdh手动启动hbase(8-8-42)

HBase本文目录一览：

• 1、cdh集群启动managementservice报错怎么办?
• 2、【日更挑战】CDH下无法启动hbase节点的问题解决
• 3、【hive-整合】hive整合phoenix及注意问题
• 4、Cloudera的CDH和Apache的Hadoop的区别
• 5、调度工具(ETL+任务流)
• 6、如何优化Kylin的Cube构建性能

cdh集群启动managementservice报错怎么办?

如果您不方便提供这些信息，我建议您先检查一下ClouderaManager的配置文件是否正确，或者尝试重新启动ClouderaManager服务。如果还有问题，请随时告诉我。

实例化NetlinkManager对象后，设置一个CommandListener 到NetlinkManager 中。

软媒蓝屏助手官方版能够为电脑蓝屏提供相应的解决方案，包括自己电脑本身的蓝屏历史记录以及那些看起来杂乱的蓝屏代码查询，它能通过你输入的相关信息，为你提供一套相对应的解决方案，有效的帮助你接解决电脑的蓝屏问题。

如果不行彻底关闭错误报告服务。开始→运行中输入→services.msc→打开“服务”窗口→找到“Error Reporting Service”→打开“Error Reporting Service的属性”对话框→将“启动类型”改为“已禁用”→确定后重新启动系统。

【日更挑战】CDH下无法启动hbase节点的问题解决

1、检查一下HADOOP集群是否正常，DATANODE是否正常。具体问题可根据日期进行排查。HRegionServer是HBase中最主要的组件，负责table数据的实际读写，管理Region。

2、问题解决方式： /data/var/lib/zookeeper/version-2 文件夹下的文件全部删除 然后重启zookeeper，启动成功。此角色的日志目录所在的文件系统的可用空间小于0吉字节。到出现故障的节点查看磁盘使用情况。

3、还有日志文件名的一些输出细节，可以按需在 bin/hbase-daemon.sh 中修改。 运行或关闭RS进程 中间有异常，请查看相关日志输出。 集群Region数疯涨，当写入存在压力时，会导致RS节点异常退出。

4、在hmater主机上键入./start-hbase.sh命令启动数据库，不需要在其它节点执行。正常启动后在mater上有两个进程，HMaster和 HQuorumPeer；数据节点上有HRegionServer和HQuorumPeer进程。

【hive-整合】hive整合phoenix及注意问题

Hive的最大优势在于 免费 ，那其他知名的商业数据仓库有那些呢？比如Oracle，DB2，其中业界老大是 Teradata Teradata数据仓库支持大规模并行处理平台（MPP），可以高速处理海量实际上，性能远远高于Hive。

一般情况下，启动一个hive任务时hive会计算这个任务需要用到的map和reduce数量，通常map数和reduce数不需要调整。

Hive 的目标是做成资料仓库，所以它提供了SQL，提供了档案－表的对映关系，又由于Hive基于HDFS，所以不提供Update，因为HDFS本身就不支援。

SQuirrel Sql client是一个用Java写的数据库客户端，用JDBC统一数据库访问接口以后，可以通过一个统一的用户界面来操作MySQL、MSSQL、Hive、Phoenix等支持JDBC访问的数据库。

Phoenix 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。

Cloudera的CDH和Apache的Hadoop的区别

1、Hortonworks Hadoop区别于其他的Hadoop发行版（如Cloudera）的根本就在于，Hortonworks的产品均是百分之百开源。 Cloudera有免费版和企业版，企业版只有试用期。 apache hadoop则是原生的hadoop。

2、Apache通常理解为Apache软件基金会（也就是Apache Software Foundation，简称为ASF），是专门为运作一个开源软件项目的Apache 的团体提供支持的非盈利性组织软件基金会。

3、在Hadoop生态系统中，Cloudera是最大最著名的公司。到目前为止，CDH共有五个版本，其中前两个版本已经不再更新，最近的两个是CDH5，它是从Apache Hadoopversion2．0．0演变而来的。CDH5将每隔一段时间更新一次。

4、Apache Ambari是一种基于Web的东西，支撑Apache Hadoop集群的供给、管理和监控。Ambari已支撑大多数Hadoop组件，包含HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

调度工具(ETL+任务流)

ETL工具是指一种用于将不同数据源中的数据合并、清洗、转换和导出的工具。ETL是英文Extract， Transform， Load的缩写。

通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。

akkaflow 是一个基于 akka 架构上构建的分布式高可用ETL工作流调度工具，可以把任务分发在集群中不同的节点上并行执行，高效利用集群资源，支持时间及任务混合触发；提供多种节点类型。

如何优化Kylin的Cube构建性能

正如上述官方文档提到的，在维度过多时，合理的使用聚合组能解决 Cube 膨胀率过大的问题。听起来那么美好，但是，不合理的聚合组设置将对性能产生灾难性影响。

Flink Cube Engine 是腾讯基于 Kylin 插件化的 Cube Engine 架构开发的一个高性能构建引擎，目前已具备了上线使用的能力，感兴趣的同学可以体验一下，目前该引擎已经在腾讯生产环境上线 1 个月+，非常稳定而且效果不错。

随着维度数目的增加 Cuboid 的数量会爆炸式地增长，不仅占用大量的存储空间还会延长 Cube 的构建时间。

在Kylin中，对cube构建的SQL加分区字段，有一种办法是修改这个cube依赖的model，在model的settings里面设置Partition Date Column为你的hive的分区字段即可。

但对于超大规模的数据集，Spark也不能避免频繁的磁盘读写，性能会大幅下降。反过来Kylin的Cube预处理会大幅减小在线数据规模， 对于超大规模数据更有优势。

在使用kylin增量构建Cube时，出现这么一个情况：在201027早晨上班后突然发现201026自动增量构建的Cube任务失败了。