Flink的Scala API扩展

原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/scala_api_extensions.html
为了保持Scala API和Java API之间相当的一致性,Scala 的一些高阶表达式被从标准的API中剔除,包括批处理的和流处理的。
如果你想享受完整的Scala体验,你可以选择通过隐式转换来添加扩展提升Scala的API。
为了使用所有的扩展,你仅需要导入如下的包,在DataSet API中:

import org.apache.flink.api.scala.extensions._

或者在DataStream API中:

import org.apache.flink.streaming.api.scala.extensions._

或者你可以根据你自己的需要导入单独的扩展。
接受部分函数(Accept partial functions)
通常,DataSet API和DataStream API都不支持通过匿名模式匹配来构建tuple、case class和集合,如下:

val data: DataSet[(Int, String, Double)] = // [...]
data.map {
  case (id, name, temperature) => // [...]
  // The previous line causes the following compilation error:
  // "The argument types of an anonymous function must be fully known. (SLS 8.5)"
}

这个扩展为DataSet API和DataStream API引入了新的方法,这些方法与扩展API有着一一对应的关系,这些委派方法支持匿名模式匹配功能:
DataSet API
方法 原形 案例

mapWith map (DataSet)   data.mapWith {
  case (_, value) => value.toString
}
mapPartitionWith    mapPartition (DataSet)  data.mapPartitionWith {
  case head #:: _ => head
}
flatMapWith flatMap (DataSet)   data.flatMapWith {
  case (_, name, visitTimes) => visitTimes.map(name -> _)
}
filterWith  filter (DataSet)    data.filterWith {
  case Train(_, isOnTime) => isOnTime
}
reduceWith  reduce (DataSet, GroupedDataSet)    data.reduceWith {
  case ((_, amount1), (_, amount2)) => amount1 + amount2
}
reduceGroupWith reduceGroup (GroupedDataSet)    data.reduceGroupWith {
  case id #:: value #:: _ => id -> value
}
groupingBy  groupBy (DataSet)   data.groupingBy {
  case (id, _, _) => id
}
sortGroupWith   sortGroup (GroupedDataSet)  grouped.sortGroupWith(Order.ASCENDING) {
  case House(_, value) => value
}
combineGroupWith    combineGroup (GroupedDataSet)   grouped.combineGroupWith {
  case header #:: amounts => amounts.sum
}
projecting  apply (JoinDataSet, CrossDataSet)   data1.join(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case ((pk, tx), (products, fk)) => tx -> products
  }

data1.cross(data2).projecting {
  case ((a, _), (_, b) => a -> b
}
projecting  apply (CoGroupDataSet)  data1.coGroup(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case (head1 #:: _, head2 #:: _) => head1 -> head2
  }
}

DataStream API
方法 原形 案例

mapWith map (DataStream)    data.mapWith {
  case (_, value) => value.toString
}
mapPartitionWith    mapPartition (DataStream)   data.mapPartitionWith {
  case head #:: _ => head
}
flatMapWith flatMap (DataStream)    data.flatMapWith {
  case (_, name, visits) => visits.map(name -> _)
}
filterWith  filter (DataStream) data.filterWith {
  case Train(_, isOnTime) => isOnTime
}
keyingBy    keyBy (DataStream)  data.keyingBy {
  case (id, _, _) => id
}
mapWith map (ConnectedDataStream)   data.mapWith(
  map1 = case (_, value) => value.toString,
  map2 = case (_, _, value, _) => value + 1
)
flatMapWith flatMap (ConnectedDataStream)   data.flatMapWith(
  flatMap1 = case (_, json) => parse(json),
  flatMap2 = case (_, _, json, _) => parse(json)
)
keyingBy    keyBy (ConnectedDataStream) data.keyingBy(
  key1 = case (_, timestamp) => timestamp,
  key2 = case (id, _, _) => id
)
reduceWith  reduce (KeyedDataStream, WindowedDataStream)    data.reduceWith {
  case ((_, sum1), (_, sum2) => sum1 + sum2
}
foldWith    fold (KeyedDataStream, WindowedDataStream)  data.foldWith(User(bought = 0)) {
  case (User(b), (_, items)) => User(b + items.size)
}
applyWith   apply (WindowedDataStream)  data.applyWith(0)(
  foldFunction = case (sum, amount) => sum + amount
  windowFunction = case (k, w, sum) => // [...]
)
projecting  apply (JoinedDataStream)    data1.join(data2).
  whereClause(case (pk, _) => pk).
  isEqualTo(case (_, fk) => fk).
  projecting {
    case ((pk, tx), (products, fk)) => tx -> products
  }

想了解更多关于每个方法的语义信息,请参考DataSet和DataStream API文档。
为了使用这些扩展方法,你需要引入如下类对于DataSet 来说:

import org.apache.flink.api.scala.extensions.acceptPartialFunctions

对于DataStream来说:

import org.apache.flink.streaming.api.scala.extensions.acceptPartialFunctions

下面的小例子中展示了如何组合使用这些扩展的方法(使用DataSet API):

object Main {
  import org.apache.flink.api.scala.extensions._
  case class Point(x: Double, y: Double)
  def main(args: Array[String]): Unit = {
    val env = ExecutionEnvironment.getExecutionEnvironment
    val ds = env.fromElements(Point(1, 2), Point(3, 4), Point(5, 6))
    ds.filterWith {
      case Point(x, _) => x > 1
    }.reduceWith {
      case (Point(x1, y1), (Point(x2, y2))) => Point(x1 + y1, x2 + y2)
    }.mapWith {
      case Point(x, y) => (x, y)
    }.flatMapWith {
      case (x, y) => Seq("x" -> x, "y" -> y)
    }.groupingBy {
      case (id, value) => id
    }
  }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容