hbase写入速度-hbase写入性能对比elasticsearch(9-5-92)

更新时间：2024-08-06 分类：HBase 浏览量：2

HBase本文目录一览：

1、和读相比，HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore，当Memstore中数据大小达到一定阈值（128M）之后，系统会异步将Memstore中数据flush到HDFS形成小文件。

2、可以看出，在这三种合并方式中，最大比值合并的性能最好，选择式合并的性能最差。当N较大时，等增益合并的合并增益接近于最大比值合并的合并增益。

3、在命令执行漏洞的防护手段中效果最差的是输入过滤和验证。尽管输入过滤和验证可以提供一定程度的防护，但它并不是一个可靠的防御措施，因为恶意用户可以使用各种技术绕过这种过滤和验证。

4、通过上述操作可以定位是在regionserver服务宕掉的后重启的过程中丢了数据。需要进行空洞修复。然而hbase hbck命令总是只显示三条空洞。

5、其实，每个Region Server的最大Region数量由总的MemStore内存大小决定。每个Region的每个列族会对应一个MemStore，假设HBase表都有一个列族，那么每个Region只包含一个MemStore。

6、其次hbase本身的数据读写服务没有单点的限制，服务能力可以随服务器的增长而线性增长，达到几十上百台的规模。LSM-Tree模式的设计让hbase的写入性能非常良好，单次写入通常在1-3ms内即可响应完成，且性能不随数据量的增长而下降。

HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。

现在比较著名的方案是华为提出的。要点是1）保证主表和索引表在同一个regionserver上（通过自定义的balancer实现） 2）使用coprocessor实现索引表的创建和插入。

优点：海量URL管理网速快缺点： Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。

大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。

大数据技术的核心技术是：在大数据产业中，主要的工作环节包括：大数据采集、大数据预处理、大数据存储和管理、大数据分析和大数据显示和应用的挖掘（大数据检索、大数据可视化、大数据应用、大数据安全性等）。

NoSQL数据库 NoSQL，Not Only SQL，意思是“不仅仅是SQL”，泛指非关系型数据库。NoSQL数据库提供了比关系数据库更灵活、可伸缩和更便宜的替代方案，打破了传统数据库市场一统江山的格局。