hbase数据库搭建-hbase单机版搭建(5-5-46)

HBase本文目录一览：

• 1、如何使用hbase搭建知识共享平台
• 2、以下哪些属于集中化大数据平台外部采集数据
• 3、分布式天花板?阿里百万架构师的ZK+Dubbo笔记,颠覆认知
• 4、Hadoop常见问题解答
• 5、windows下eclipse连接hbase失败,如何解决??跪求大神!!
• 6、以下哪些场景比较适合hbase

如何使用hbase搭建知识共享平台

HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop的MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

Redis 解决了一个重大的缓存问题，而其丰富的功能集又为其找到了其他用途。由于 Redis 能够在磁盘上存储数据以及跨节点复制数据，因而可以作为数据仓库用于传统数据模式（也就是说，您可以使用 Redis，就像使用 RDBMS 一样）。

HBase确实使用的是面向列的存储方式，而不是面向行的存储方式。首先，我们需要明白什么是面向行的存储和面向列的存储。在面向行的存储中，一行中的所有数据都被存储在一起。

分布式计算平台/组件安装 目前国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

Hive的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整张表而不是单行数据，查询的延迟较高。其本质是更加方便的使用mr的威力来进行离线分析的一个数据分析工具。

操作体系的挑选 操作体系一般使用开源版的RedHat、Centos或许Debian作为底层的构建渠道，要根据大数据渠道所要建立的数据剖析东西能够支撑的体系，正确的挑选操作体系的版本。

以下哪些属于集中化大数据平台外部采集数据

1、Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

2、日志收集：日志系统中定制各类数据发送方，用于收集数据。

3、传统数据源采集：这类数据通常来自企业内部的数据库、日志、文件、表格等，以及外部的传统数据源，比如公共数据库、政府报告、统计数据等。这些数据通常是结构化数据，易于存储和处理。

分布式天花板?阿里百万架构师的ZK+Dubbo笔记,颠覆认知

1、ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

Hadoop常见问题解答

对于第二个问题，最简单的方法就是，在开始的时候，重新划分一下输入分片，然后让某台机器把那半行数据给另一台机器。

减小Map-Reduce job 启动时创建的Mapper数量 当处理大批量的大数据时，一种常见的情况是job启动的mapper数量太多而超出了系统限制，导致Hadoop抛出异常终止执行。解决这种异常的思路是减少mapper的数量。

NameNode：NameNode是Hadoop分布式文件系统HDFS的元数据服务器，负责管理文件系统的元数据。这意味着它存储有关文件和目录的信息，如它们的名称、大小和块信息。然而，NameNode不存储实际的数据。

windows下eclipse连接hbase失败,如何解决??跪求大神!!

1、用telnet命令检查端口，发现没有打开2181端口，在 阿里云服务器上添加新的规则，打开2181端口 即可。

2、从HBase集群中复制一份Hbase部署文件，放置在开发端某一目录下（如在/app/hadoop/hbase096目录下）。

3、添加JAR包 右击Propertie在弹出的快捷菜单中选择Java Build Path对话框，在该对话框中单击Libraries选项卡，在该选项卡下单击 Add External JARs按钮，定位到$HBASE/lib目录下，并选取如下JAR包。

4、仿真Windows记事本 连连看 上述的两个源代码在赛迪网上可以找到。关于JDK的配置、安装和Eclipse的安装本文不再赘述，读者可以很容易地找到相关的资料。本文只讲使用Eclipse来导入源代码的方法。

5、选择开始菜单中→程序→【Management SQL Server 2008】→【SQL Server Management Studio】命令，打开【SQL Server Management Studio】窗口，并使用Windows或 SQL Server身份验证建立连接。

以下哪些场景比较适合hbase

数据查询模式已经确定，且不易改变，就是说hbase使用在某种种特定的情况下，且不能变动。告诉插入，大量读取。因为分布式系统对大量数据的存取更具优势。尽量少的有数据修改。

用户画像 比如大型的视频网站，电商平台产生的用户点击行为、浏览行为等等存储在HBase中为后续的智能推荐做数据支撑。

主要关注的是对数据的统计等方面。适合的场景：hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。hive：适合大数据的管理，统计，处理，其作用类比于传统的数据仓库，主要关注的数据的处理。

想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop，如果是索引访问，就用HBase+Hadoop 。Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。

Hive使用Hadoop来分析处理数据，而Hadoop系统是批处理系统，因此不能保证处理的低迟延问题；而HBase是近实时系统，支持实时查询。

对于hbase当前noSql数据库的一种，最常见的应用场景就是采集的网页数据的存储，由于是key-value型数据库，可以再扩展到各种key- value应用场景，如日志信息的存储，对于内容信息不需要完全结构化出来的类CMS应用等。