• 让天下没有难学的技术
    多数学员都来自推荐,这就是口碑的力量

flink的开发中用了哪些算子?

Flink中的算子是将一个或多个DataStream转换为新的DataStream,可以将多个转换组合成复杂的数据流拓扑。

在Flink中,有多种不同的DataStream类型,他们之间是使用各种算子进行的。如下图所示:

java培训

flink中常用的算子

  • mapDataStream –> DataStream]:输入一个参数产生一个参数,map的功能是对输入的参数进行转换操作。
  • flatMap[DataStream –> DataStream]:输入一个参数,产生0、1或者多个输出,这个多用于拆分操作
  • filter[DataStream –> DataStream]:结算每个元素的布尔值,并返回为true的元素
  • keyBy[DataSteam –> DataStream]:逻辑地将一个流拆分成不相交的分区,每个分区包含具有相同key的元素,在内部以hash的形式实现的。以key来分组。注意,以下类型无法作为key:
    • 1. POJO类,且没有实现hashCode函数
    • 2. 任意形式的数组类型
  • reduce[KeyedStream –> DataStream]:滚动和并操作,合并当前元素和上一次合并的元素结果。
  • fold[KeyedStream –> DataStream]:用一个初始的一个值,与其每个元素进行滚动合并操作。
  • aggregation[KeyedStream –> DataStream]:分组流数据的滚动聚合操作:min和minBy的区别是min返回的是一个最小值,而minBy返回的是其字段中包含的最小值的元素(同样元原理适用于max和maxBy)
  • window[KeyedStream –> DataStream]:windows是在一个分区的KeyedStreams中定义的,windows根据某些特性将每个key的数据进行分组(例如:在5s内到达的数据)。
  • windowAll[DataStream –> AllWindowedStream]:Windows可以在一个常规的DataStream中定义,Windows根据某些特性对所有的流(例如:5s内到达的数据)。注意:这个操作在很多情况下都不是并行操作的,所有的记录都会聚集到一个windowAll操作的任务中
  • window apply[WindowedStream –> DataStream]:将一个通用的函数作为一个整体传递给window。
  • window reduce【WindowedStream –> DataStream】:给窗口赋予一个reduce的功能,并返回一个reduce的结果。
  • window fold【WindowedStream –> DataStream】:给窗口赋予一个fold的功能,并返回一个fold后的结果。
  • aggregation on windows【WindowedStream –> DataStream】:对window的元素做聚合操作,min和minBy的区别是min返回的是最小值,而minBy返回的是包含最小值字段的元素。(同样原理适用于max和maxBy)
  • union【DataStream –> DataStream】:对两个或两个以上的DataStream做union操作,产生一个包含所有的DataStream元素的新DataStream。注意:如果将一个DataStream和自己做union操作,在新的DataStream中,将看到每个元素重复两次
  • window join【DataStream –> DataStream】:根据给定的key和window对两个DataStream做join操作
  • window coGroup【DataStream –> DataStream】:根据一个给定的key和window对两个DataStream做CoGroups操作。
  • connect【DataStream –> ConnectedStreams】:连接两个保持她们类型的数据流。
  • coMap、coFlatMap【ConnectedStreams –> DataStream】:作用于connected数据流上,功能与map和flatMap一样。
  • split【DataStream –> SplitStream】:根据某些特征把一个DataStream拆分成两个或多个DataStream
  • select【SplitStream –> DataStream】:从一个SplitStream中获取一个或多个DataStream
  • iterate【DataStream –> IterativeStream –> DataStream】:在流程中创建一个反馈循环,将一个操作的输出重定向到之前的操作,这对于定义持续更新模型的算法来说很有意义的。
  • extract timestamps【DataStream –> DataStream】:提取记录中的时间戳来跟需要事件时间的window一起发挥作用。

flink的一些算子比较

union和connect

    • connect只能连接两个流,而union可以连接多于两个流
    • connect连接的两个流类型可以不一致,而union连接的流的类型必须一致

map和flatmap

    • Map: 一对一转换,即一条转换成另一条[DataStream->DataStream]
    • FlatMap: 一行变零到多行[DataStream->DataStream]

CoMap和CoFlatMap

    • 跟map and flatMap类似,只不过作用在ConnectedStreams上

split和select(拆分流)

    • split是将DataStream转成SplitStream;select是将SplitStream转成DataStream
    • select跟split搭配使用,从SplitStream中选择一个或多个流

join、CoGroup、CoFlatMap

    • Join:只输出条件匹配的元素对。
    • CoGroup: 除了输出匹配的元素对以外,未能匹配的元素也会输出。
    • CoFlatMap:没有匹配条件,不进行匹配,分别处理两个流的元素。在此基础上完全可以实现join和cogroup的功能,比他们使用上更加自由。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注