hbase修复元数据-HBase数据损坏修复(5-7-25)

更新时间：2024-11-01 分类：HBase 浏览量：2

HBase本文目录一览：

1、分配给jvm的虚拟机内存空间不够了。如果数据很多，你需要中间提交，比如每800条数据提交一次。

2、检测这种类型的故障，需要利用MIB变量浏览器这种工具，从路由器MIB变量中读出有关的数据，通常情况下网络管理系统有专门的管理进程不断地检测路由器的关键数据，并及时给出报警。

3、数据表不存在：确保要导出的数据表存在，可以通过HBaseShell或其他管理工具验证表的存在性。权限问题：确保具有足够的权限执行数据导出操作，需要相应的读取数据表的权限。

4、可回头一想这可是写请求啊，怎么会有这么大的请求延迟！和业务方沟通之后确认该表主要存储语料库文档信息，都是平均100K左右的数据，是不是已经猜到了结果，没错，就是因为这个业务KeyValue太大导致。

1、网络问题。如果存储了数据但是在用hbase运行查询不到是因为网络问题，更换网络，重新启动即可。

2、分配给jvm的虚拟机内存空间不够了。如果数据很多，你需要中间提交，比如每800条数据提交一次。

3、原始采集数据采用HBase进行存储。实时采集数据流量很大，在入库的时候，有时候会发生阻塞。测试环境正常，生产环境下，时不时出现HRegionServer挂掉的情况，而HMaster正常。

对于HBase主备服务高可用方案的调研，团队内部从未停止过探索的步伐。从最初手动切换Nginx的域名映射，到统计异常日志占比，然后进行自动的域名切换。

您可以尝试在HBaseMaster节点上运行jps命令，以检查HBaseMaster进程是否正在运行，并查看是否有任何其他相关的错误信息。检查日志文件：查看HBase的日志文件，通常位于logs目录下。

过大的Region使得查询效率降低，因此当Region的大小超过某一阈值时，HBase将执行Region的分裂操作：即将一个大Region拆分成两个相等规模的小Region。

因此一个可行的方案是将这个处理WAL的任务分给多台RegionServer服务器来共同处理，而这就又需要一个持久化组件来辅助HMaster完成任务的分配。

网络问题。如果存储了数据但是在用hbase运行查询不到是因为网络问题，更换网络，重新启动即可。

首先，停止hbase集群。其次，删除zk中的hbase元数据信息，在配置单元hbaseMap表中插入数据，进入zk。最后，重启hbase，启动Phoenix可以显示。

happybase的scan查找不到数据的原因是服务协议运行问题。【检查相关服务是否正常】登入hbase web UI检查，各个HMaster正常运行，各个Region Server运行正常，各个相关进程都在；hdfs集群各个data node都运行正常。

hdfs显示但是hive里面没有的话，很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好，如果用sqoop的话，把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下，让sqoop知道保存的数据是到mysql元数据库的hive。

有赞技术团队对于HBase高可用服务接口的设计，同样使用了熔断的概念，只是其底层的熔断技术依赖于java微服务中的Hystrix框架。

HBase数据写入通常会遇到两类问题，一类是写性能较差，另一类是数据根本写不进去。

BloomFilter的数据存在StoreFile的meta中，一旦写入无法更新，因为StoreFile是不可变的。

对于读端，捕获异常后，可以采取休眠一段时间后进行重试等方式。3）当然，还可以根据实际情况合理调整hbase.client.retries.number和hbase.client.pause配置选项。