hbase数据导入到mysql-向hbase导入数据(2-3-63)

HBase本文目录一览：

• 1、如何将一个hbase的数据导入另一个hbase
• 2、批量把文本文件数据导入到HBase
• 3、如何将excel的数据导入hbase
• 4、hbase导入导出方式有哪些
• 5、向hbase中导入数据出错怎么办

如何将一个hbase的数据导入另一个hbase

Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

将数据导入HBase中有如下几种方式：使用HBase的API中的Put方法 使用HBase 的bulk load 工具 使用定制的MapReduce Job方式 使用HBase的API中的Put是最直接的方法，用法也很容易学习。

方法1：最基本的数据导入方法。首先通过JDBC将原本关系型数据库中的数据读出到内存中，然后在使用HBase自带的客户端API将数据put到相应的表中。这种方法通用性强，只要写好接口就可以用，但是效率并不高。

对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。

批量把文本文件数据导入到HBase

1、Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

2、Hive 跑批 建表 默认第一个字段会作为hbase的rowkey。导入数据 将userid插入到列key，作为hbase表的rowkey。

3、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

4、通常要将数据缓存到redis，memcached等内存数据库中，对于数据量小的，可以缓存到内存中，但是对于大量持久化的数据，更多时候需要存储到分布式存储系统中，这里我选择HBase用于存储结果。

5、了解了一下MongoDB，感觉还挺牛的，适合海量数据的实时插入，更新，查询，而且支持多条件查询，以及建立多维度的索引。

如何将excel的数据导入hbase

1、Put API Put API可能是将数据快速导入HBase表的最直接的方法。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强。

2、copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的，与DistCp不同的时，它是利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。

3、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。例如要将a和b列同时做行键，那么--hbase-row-key a，b就可以了。

4、可以使用Put 类的add（）方法将数据插入到HBase。可以使用HTable类的put（）方法保存。第1步：实例化配置类 Configuration类增加了 HBase 配置文件到它的对象。使用HbaseConfiguration类的create（）方法，如下图所示的配置对象。

5、它通过运行一个MapReduce Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。

6、Hive 跑批 建表 默认第一个字段会作为hbase的rowkey。导入数据 将userid插入到列key，作为hbase表的rowkey。

hbase导入导出方式有哪些

导入：hadoop jar /../hbase/hbase-.jar import mytest /export/mybakup 导出：hadoop jar /../hbase/hbase-.jar import mytest /import/mybackup 直接将数据导出到hdfs目录中，当不指定file前缀时。

尽管importtsv 工具在需要将文本数据导入HBase的时候十分有用，但是有一些情况，比如导入其他格式的数据，你会希望使用编程来生成数据，而MapReduce是处理海量数据最有效的方式。这可能也是HBase中加载海量数据唯一最可行的方法了。

使用 Hcatalog 进行导入 将 orc 格式的 Hive 表格导入到关系型数据库中 本文介绍了使用腾讯云 Sqoop 服务将数据在 MySQL 和 Hive 之间相互导入导出的方法。 开发准备 确认已开通腾讯云，并且创建了一个 EMR 集群。

Hive 跑批 建表 默认第一个字段会作为hbase的rowkey。导入数据 将userid插入到列key，作为hbase表的rowkey。

所以我们只能自己来写一个MR了，编写一个Hbase的MR，官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。

他们的关系是：hbase是一个内存数据库，而hdfs是一个存储空间；是物品和房子的关系。hdfs只是一个存储空间，他的完整名字是分布式文件系统。从名字可知他的作用了。

向hbase中导入数据出错怎么办

1、分配给jvm的虚拟机内存空间不够了。如果数据很多，你需要中间提交，比如每800条数据提交一次。

2、检测这种类型的故障，需要利用MIB变量浏览器这种工具，从路由器MIB变量中读出有关的数据，通常情况下网络管理系统有专门的管理进程不断地检测路由器的关键数据，并及时给出报警。

3、数据表不存在：确保要导出的数据表存在，可以通过HBaseShell或其他管理工具验证表的存在性。权限问题：确保具有足够的权限执行数据导出操作，需要相应的读取数据表的权限。

4、可回头一想这可是写请求啊，怎么会有这么大的请求延迟！和业务方沟通之后确认该表主要存储语料库文档信息，都是平均100K左右的数据，是不是已经猜到了结果，没错，就是因为这个业务KeyValue太大导致。