day7-FlinkSQL

今日目标

SQL 语法

知识点22：【理解】DDL：Create 子句

CREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。
目前 Flink SQL 支持下列 CREATE 语句：

• CREATE TABLE
• CREATE DATABASE
• CREATE VIEW
• CREATE FUNCTION

day6-Flink基础&FlinkSQL

今日目标

• 掌握SQL的水印操作
• 掌握SQL的容错机制
• 了解SQL的时区问题
• 掌握SQL的语法

整体概述

SQL 的水印操作（Watermark）

知识点14：【理解】为什么要有 WaterMark？

• 当 flink 以 EventTime 模式处理流数据时，它会根据数据里的时间戳来处理基于时间的算子。但是由于网络、分布式等原因，会导致数据乱序的情况。如下图所示：
• 假设在一个5秒的Tumble窗口，有一个EventTime是 11秒的数据，在第16秒时候到来了。图示第11秒的数据，在16秒到来了，如下图：该如何处理迟到数据

• 掌握Flink的三种时间属性
• 掌握SQL的窗口操作
• 掌握SQL的水印操作
• 掌握SQL的容错机制
• 了解SQL的时区问题

FlinkSQL整体概述

SQL 的窗口操作（Window）

知识点08：【理解】窗口的概述

在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。

day4-Flink基础

今日目标

• 【理解】- Flink SQL 数据类型
• 【理解】- Flink SQL 动态表 & 连续查询
• 【掌握】- Flink四大基石之时间
• 【掌握】- Flink四大基石之window窗口

FlinkSQL基础之四大基石

知识点03：【掌握】SQL 数据类型

在介绍完一些基本概念之后，我们来认识一下，Flink SQL 中的数据类型。Flink SQL 内置了很多常见的数据类型，并且也为用户提供了自定义数据类型的能力。总共包含 3 部分：

Chapter1_Flink基础

本章目标

• 【了解】- Flink基础的课程介绍
• 【理解】- Flink的批处理和流处理的概念
• 【了解】- Flink概述
• 【理解】- Flink框架如何进行搭建和部署的
• 【理解】- Flink的运行时架构
• 【会用】- Flink的入门案例（DataStream API）流处理应用

课程介绍

批处理与流处理

知识点01：【了解】批处理和实时流处理的区别