flink 写入hive-flink高效写入hbase(7-6-39)

HBase本文目录一览：

• 1、Flink:特性、概念、组件栈、架构及原理分析
• 2、flink流处理特点
• 3、基于Flink的实时计算平台的构建

Flink:特性、概念、组件栈、架构及原理分析

1、Flink以层级式系统形式组件其软件栈，不同层的栈建立在其下层基础上，并且各层接受程序不同层的抽象形式。

2、Flink在德语中是快速和灵敏的意思 ，用来体现流式数据处理速度快和灵活性强等特点。

3、第一个是阿里巴巴重构了Flink的分布式架构，对Flink的作业调度和资源管理做了明确的分层和解耦。这样做的第一个好处是Flink可以在各种开源资源管理器上本地运行。

4、一些处理框架可同时处理批处理和流处理工作负载。这些框架可以用相同或相关的组件和API处理两种类型的数据，借此让不同的处理需求得以简化。如你所见，这一特性主要是由Spark和Flink实现的，下文将介绍这两种框架。

5、学员将了解大数据的处理挑战，以及常见的大数据技术架构和工具。

6、为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。目前常用的开源日志收集系统有Flume、Logstash、Filebeat。

flink流处理特点

1、Flink框架的主要特点包括： 流处理：Flink是一个流处理引擎，专门为处理连续、动态的数据流而设计。这意味着它可以实时分析大量的数据流，而无需等待数据的完整批次。

2、Flink从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的； 批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。

3、流、转换、操作符 Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。

4、Flink 是一个流处理框架，支持流处理和批处理，特点是流处理有限，可容错，可扩展，高吞吐，低延迟。

5、API层主要实现了面向无界Stream的流处理和面向Batch的批处理API，其中面向流处理对应DataStream API，面向批处理对应DataSet API。

基于Flink的实时计算平台的构建

1、消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。

2、像Flink 、 Spark Streaming 这类包含状态的实时计算框架，需要恢复 Master 节点的同时还需要对其状态进行恢复，Master 状态信息包含一些必要的配置、以及对 Slave 节点状态管理的信息（如“某个 Slave 节点的状态快照所在的 HDFS 路径”）。

3、Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。 Flink程序被执行的时候，它会被映射为Streaming Dataflow。

4、Flink在德语中是快速和灵敏的意思 ，用来体现流式数据处理速度快和灵活性强等特点。