逻辑计划阶段被定义为LogicalPlan类，主要有三个阶段：
LogicalPlan的父类QueryPlan主要分为六个模块：
1 |
|
用来表示一行数据的类，根据下标来访问和操作元素，其中每一列都是Catalyst内部定义的数据类型；物理算子树产生和转换的RDD类型为RDD[InternalRow]；
{3.png}
get类型方法，通过调用此类定义的genericGet虚函数进行，实现在下级子类中TreeNode是SparkSQL中所有树节点的基类，定义了通用集合操作和树遍历接口
Catalyst还提供了节点位置功能，根据TreeNode定位到对应SQL字串中的位置，方便Debug
编程免不了要写配置文件，怎么写配置也是一门学问。
YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。
本文介绍 YAML 的语法，以JS-YAML的实现为例。你可以去在线Demo验证下面的例子。
YAML 语言（发音 /ˈjæməl/ ）的设计目标，就是方便人类读写。它实质上是一种通用的数据串行化格式。
它的基本语法规则如下。
# 表示注释，从这个字符一直到行尾，都会被解析器忽略。
YAML 支持的数据结构有三种。
对象的一组键值对，使用冒号结构表示。
1 | animal: pets |
转为 JavaScript 如下。
1 | { animal: 'pets' } |
Yaml 也允许另一种写法，将所有键值对写成一个行内对象。
1 | hash: { name: Steve, foo: bar } |
转为 JavaScript 如下。
1 | { hash: { name: 'Steve', foo: 'bar' } } |
一组连词线开头的行，构成一个数组。
1 | - Cat |
转为 JavaScript 如下。
1 | [ 'Cat', 'Dog', 'Goldfish' ] |
数据结构的子成员是一个数组，则可以在该项下面缩进一个空格。
1 | - |
转为 JavaScript 如下。
1 | [ [ 'Cat', 'Dog', 'Goldfish' ] ] |
数组也可以采用行内表示法。
1 | animal: [Cat, Dog] |
转为 JavaScript 如下。
1 | { animal: [ 'Cat', 'Dog' ] } |
Kafka 0.9+增加了一个新的特性Kafka Connect,可以更方便的创建和管理数据流管道。它为Kafka和其它系统创建规模可扩展的、可信赖的流数据提供了一个简单的模型，通过connectors可以将大数据从其它系统导入到Kafka中，也可以从Kafka中导出到其它系统。Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等，比如数据库、Elastic Search、Apache Ignite等。
Kafka Connect特性包括：
KafkaCnnect有两个核心概念：Source和Sink。 Source负责导入数据到Kafka，Sink负责从Kafka导出数据，它们都被称为Connector。
当我开始阅读Kafka官方文档时，尽管看起来Log Compacted Topics是一个简单的概念，但是我并不是很清楚Kafka内部是如何在文件系统中保存他们的状态。通过详细了解这个feature相关的文档，形成这边文档。
在这篇文档中，我会首先描述介绍kafka的log compacted Topics，然后我会介绍Topics是一个简单的概念，但是我并不是很清楚Kafka内部是如何在文件系统中保存他们的状态。
在DataStream中，要实现流维Join，可以用Function，如MapFunction、FlatMapFunction、ProcessFunction等等; 或通过Async I/O实现。
从Flink 1.9.0开始，提供了LookableTableSource，只需将Lookup数据源(如Mysql、HBase表)注册成LookableTableSource，即可用SQL的方式，实现流维Join。
注意：
LookableTableSource只支持Blink Planner。LookableTableSource，需要实现LookableTableSource接口。1 | public interface LookupableTableSource<T> extends TableSource<T> { |
可看到，LookupableTableSource主要有三个方法:getLookupFunction、getAsyncLookupFunction、isAsyncEnabled。
getLookupFunction: 返回一个TableFunction。该Function可和LATERAL TABLE关键字结合使用，根据指定的key同步查找匹配的行。getAsyncLookupFunction: 返回一个TableFunction。该Function可和LATERAL TABLE关键字结合使用，根据指定的key异步(Async I/O的方式)查找匹配的行。isAsyncEnabled: 如果启用了异步Lookup，则此方法应返回true。当返回true时，必须实现getAsyncLookupFunction(String[] lookupKeys)方法。本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。
1 | // 某个用户在某个时刻浏览了某个商品，以及商品的价值 |
Flink Table & SQL StreamTableSink有三类接口: AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink。
注意:
本文主要想总结在Update场景下，RetractStreamTableSink和UpsertStreamTableSink的消息编码。
1 | // 自己造的测试数据 |
Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。
ReduceFunction、AggregateFunctionProcessWindowFunction本文总结增量聚合函数(ReduceFunction、AggregateFunction)和全量聚合函数(ProcessWindowFunction)的使用。
注意:
FoldFunction也是增量聚合函数，但在Flink 1.9.0中已被标为过时(可用AggregateFunction代替)，这里不做总结。WindowFunction也是全量聚合函数，已被更高级的ProcessWindowFunction逐渐代替，这里也不做总结1 | // 测试数据: 某个用户在某个时刻浏览了某个商品，以及商品的价值 |
注意: ReduceFunction输入输出元素类型相同。
为了基于事件时间来处理每个元素，Flink需要知道每个元素(即事件)的事件时间(Timestamp)。为了衡量事件时间的处理进度，需要指定水印(Watermark)。
本文总结Flink DataStream中提取Timestamp与生成Watermark的两种方式。
在源端(即SourceFunction)中直接指定Timestamp和生成Watermark。
1 | package com.bigdata.flink.dataStreamExtractTimestampAndGenerateWatermark; |