对象存储和hdfs-对象存储和hbase存储(1-1-85)

HBase本文目录一览：

• 1、HBase应用场景
• 2、Hadoop如何处理非结构化数据
• 3、分布式存储有哪些
• 4、hbase是一种什么数据库
• 5、大数据的分布式数据库的发展趋势如何?

HBase应用场景

HBase的应用场景：大型数据存储：HBase可以处理PB级别的数据量，适合存储大规模的数据，例如日志数据、监控数据、交易数据等。时序数据：HBase可以用于存储时序数据，如速度的展示，天气、温度、风速、车流量等。

交通方面：船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。

HBase的应用场景 日志处理 HBase适用于大规模的日志处理，可以快速地存储和分析海量的日志数据。通过将日志数据按照时间戳进行排序，可以实现高效的日志查询和分析。

HBase适用于需要高扩展性和高可用性的场景，如大数据分析、日志处理等。它可以处理海量数据，并具备分布式存储和自动数据复制等特性。传统数据库则适用于事务处理和关系型数据的应用场景，如企业管理系统、电子商务平台等。

数据量较小、数据结构复杂、需要高度事务性、需要高度事务性等场景。如果数据量较小，使用HBase可能会增加系统的复杂性和成本，不如使用传统的关系型数据库或其他轻量级的NoSQL数据库。

对于hbase当前noSql数据库的一种，最常见的应用场景就是采集的网页数据的存储，由于是key-value型数据库，可以再扩展到各种key- value应用场景，如日志信息的存储，对于内容信息不需要完全结构化出来的类CMS应用等。

Hadoop如何处理非结构化数据

例如，它可以处理社交媒体中的文本数据、日志文件、图像和视频等非结构化数据，同时也可以处理如CSV文件等结构化数据。这就证明了Hadoop不仅可以处理结构化数据。总结：因此，关于“Hadoop只能处理结构化数据”的描述是错误的。

Hadoop可以处理各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。Hadoop处理的这些数据可以来自各种来源，例如传感器、日志、社交媒体、文本文档等等。通过使用Hadoop，可以轻松地处理这些数据，并从中提取有价值的信息。

hadoop是个轻量级的产品，又是开源的，不像dpf那么复杂，还要购买商业软件，搭个DPF环境需要费挺大力气的。hadoop能处理半结构化，非结构化数据。但hadoop要写mapreduce函数，这个比起SQL来，方便灵活性差太多了。

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。数据质量和数据管理。

文本信息只有换行这个结构吧？空格和TAB都是自己定义的分隔符而已，不是强结构。写MR的时候Mapper的作用就是把每一行数据结构化。构建在Hadoop之上的各种工具，也都有对应的定制Mapper的功能，比如Hive的UDF。

分布式存储有哪些

其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

分布式存储币种如下所示：FilecoinFilecoin，Filecoin： 网络主要由独立的数据存储矿工、检索矿工、以及雇用矿工的存储服务客户组成，存储服务的客户可以通过存储市场和检索市场这两个分布式的、可验证的、激励性的市场来雇佣矿工。

数据分散存储：将数据分散存储在多个节点上，每个节点只存储部分数据，从而避免单点故障和数据丢失的风险。

分布式是存储设备的部署方式，是部署在一台机器上，还是一个多台设备组成的集群中。

英特尔Optane-DC-Persistent-Memory、三星V-NAND芯片等。英特尔OptaneDCPersistentMemory。基于3D-XPoint存储技术的非易失性内存，适用于数据中心的存储和内存需求。三星V-NAND芯片。

公有云方面：阿里云的盘古和腾讯的PaxosStore，这两个存储系统分别支撑了大多数阿里云和腾讯系产品的存储和计算。

hbase是一种什么数据库

考点是大数据的关键技术，HBase是一个分布式、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，从定义看选B。

是分布式数据库。具有高可靠、高性能、面向列、可伸缩的特点。是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。

HBase是一个列式存储的分布式数据库，它支持的数据格式包括以下几种：字符串类型（String）：HBase中的字符串类型是最常见的一种数据类型，可以存储任何字符串，不论是ASCII字符还是Unicode字符。

Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。

HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文“Bigtable”：一个结构化数据的分布式存储系统。

分布式：HBase是一个分布式数据库，它可以在Hadoop分布式文件系统（HDFS）上存储和管理大量数据。它可以通过添加更多的节点来扩展容量和提高性能。

大数据的分布式数据库的发展趋势如何?

进入“大数据时代”，大数据量、高并发、分布式和实时性的需求，由于传统的数据库技术的数据模型和预定义的操作模式，时常难以满足实际需求，致使新型数据库在大数据的场景下，将取代传统数据库成为主导。

此外，工业大数据和健康医疗大数据作为新兴领域，数据量大、产业链延展性高，未来市场增长潜力大。

新分布式数据库首先是要避免和传统关系型数据库的竞争，这是明智的选择，能够轻装上阵。因此从几个方面入手，应对海量数据处理、分析、缓存、流式处理、开发模式等等。相对应列式，KV，Document等多种存储数据结构。

产业发展前景及趋势：大数据市场潜力巨大，未来有望保持高速增长 据赛迪顾问预测，2023年中国大数据产业市场规模将超过10000亿元，2021-2023年增速将达到15%以上。

在2018-2020年的预测期内，大数据市场整体的收入规模将保持每年约70亿美元的增长，复合年均增长率约为133%。