前言
有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。
StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。
准备工作
下载安装包
为了跑起来，你需要下载一个flink的包，我用的是1.2.0版本的。
接着就是下载StreamingPro的 flink版本：
https://pan.baidu.com/s/1slCpxxV
启动flink
进入flink安装目录运行如下命令：
./bin/start-local.sh
之后写一个flink.json文件：
{
"example": {
"desc": "测试",
"strategy": "flink",
"algorithm": [],
"ref": [],
"compositor": [
{
"name": "flink.sources",
"params": [
{
"format": "socket",
"port": "9000",
"outputTable": "test"
}
]
},
{
"name": "flink.sql",
"params": [
{
"sql": "select * from test",
"outputTableName": "finalOutputTable"
}
]
},
{
"name": "flink.outputs",
"params": [
{
"name":"jack",
"format": "console",
"inputTableName": "finalOutputTable"
}
]
}
],
"configParams": {
}
}
}
目前source 只支持 kafka/socket ，Sink则只支持console和csv。准备好这个文件你就可以提交任务了：
./bin/flink run -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar
-streaming.name god \
-streaming.platform flink_streaming \
-streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.json
然后皆可以了。
你也可以到localhost:8081 页面上提交你的任务。
WX20170321-104738@2x.png
后面的话
Flink目前在流式计算上对SQL支持有限，暂时还不支持Join，Agg等行为操作，这个和Spark相比较而言差距还比较大。不过我们很快会将Script暴露出来，可以让大家直接进行编程，主要利用其Table API。
