flink stateful functions 应用场景-flinkhbase场景化解决方案(9-19-98)

更新时间：2024-09-12 分类：HBase 浏览量：2

HBase本文目录一览：

Spark streaming批量读取数据源中的数据，然后把每个batch转化成内部的RDD。Spark streaming以batch为单位进行计算（默认1s产生一个batch），而不是以Tuple为单位，大大减少了ack所需的开销，显著提高了吞吐。

大数据的四种主要计算模式包括：批处理模式、流处理模式、交互式处理模式、图处理模式。

常见的大数据处理工具有Hadoop、Spark、Apache Flink、Kafka和Storm等。 **Hadoop**：Hadoop是一个分布式计算框架，它允许用户存储和处理大规模数据集。

1、所以大数据四层堆栈技术架构的底层是基础层。

2、数据源层：包括传统的数据库，数据仓库，分布式数据库，NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构。

3、大数据的四层堆栈式技术架构：基础层第一层作为整个大数据技术架构基础的最底层，也是基础层。要实现大数据规模的应用，企业需要一个高度自动化的、可横向扩展的存储和计算平台。

4、基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。

5、第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。第三层面是实践，实践是大数据的最终价值体现。

6、大数据技术层面主要分为这几层预测分析技术这也是大数据的主要功能之一。预测分析允许公司通过分析大数据源来发现、评估、优化和部署预测模型，从而提高业务性能或降低风险。同时，大数据的预测分析也与我们的生活息息相关。

Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

日志收集：日志系统中定制各类数据发送方，用于收集数据。

传统数据源采集：这类数据通常来自企业内部的数据库、日志、文件、表格等，以及外部的传统数据源，比如公共数据库、政府报告、统计数据等。这些数据通常是结构化数据，易于存储和处理。

交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”（ERP）系统数据、销售系统数据、客户关系管理（CRM）系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。2）移动通信数据。

大数据的来源途径有许多，如下哪些属于大数据来源（A、B、C、D）。A．传感器设备采集的数据。B．计算机网络运行产生的日志。C．网络爬虫得到的数据。D．关系型数据库中采集到的数据。