flinksql写入mysql批量-flinksql写入hbase(7-17-81)

更新时间：2024-07-31 分类：HBase 浏览量：2

HBase本文目录一览：

1、HiveSql窗口函数主要应用于求TopN，分组排序TopN、TopN求和，前多少名前百分之几。与Flink窗口函数不同。 Flink中的窗口是用于将无线数据流切分为有限块处理的手段。

1、mysql同步数据到hive大部分公司目前都是走的jdbc的方式。这种方式有两个好处：也有不好的地方：这一步最主要的细节是将mysql库的所有binlog数据全部打入一个kafka topic，格式使用json。

2、数据源：目前数据源主要是Binlog，通过Canal监控各个业务系统的Mysql，将binlog发送至kafka。

3、从已有的 binlog 开始，bin.000002 大约有 1 个 G：请点击输入图片描述用 mysqlbinlog 解析该 binlog：请点击输入图片描述大概会执行 6 秒左右。

4、包括 Kafka 集群配置、Elasticsearch 地址配置、日志记录方式配置、MySQL 库表及字段与 Elasticsearch 的 Index 和 Mapping 对应关系配置等。

5、flink12版本中使用了flinksql，固定了groupid。但是因为重复上了两个相同任务之后，发现数据消费重复。下图sink中创建两个相同任务，会消费相同数据。两个任务同时处理，并没有在一个consume group里，所以不会共同消费。

Hadoop Hadoop采用MapReduce分布式计算框架，根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。Hadoop的开源特性使其成为分布式计算系统的事实上的国际标准。

未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。

完善大数据监督和技术反腐体系”，并具体部署了四大重大工程：数据资源共享开放工程、国家大数据资源统筹发展工程、治理大数据工程、公共服务大数据工程；把大数据与现代产业体系结合起来。

常见的大数据处理工具有Hadoop、Spark、Apache Flink、Kafka和Storm等。 **Hadoop**：Hadoop是一个分布式计算框架，它允许用户存储和处理大规模数据集。

1、是的。flinksql可以通过create语句控制字段个数和顺序，决定后面insertinto的select语句中的字段顺序受影响，所以insertinto的select只能跟create定义的顺序一样，不能改别名。

2、其中字段定义时还可以声明表主键，声明语法为PARIMARY KEY（myColumn1，...） NOT ENFORCED，这里的not enforced表示flinksql不会对主键做强制的唯一性约束、非空约束，而且目前flinksql中只支持这种类型的主键。

3、在SQL中，使用GROUP BY 分组，SELECT 查询中的列必须在GROUP BY 中出现，不然会报错但，GROUP BY 后面的列，不一定要在前面查询中出现。INNER JOIN 可以和GROUP BY 一起使用。