Flink 开发环境部署和配置
Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 github 上，并使用 maven 来编译和构建项目。对于大部分开发或使用 Flink 的同学来说，Java、Maven 和 Git 这三 个工具是必不可少的，因此首先需要把这三个工具进行安装和配置。另外，一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 bug，因此这里也会简单介绍 IDE 的相关 配置。
1. 下载 flink 代码
Git工具安装配置完成后，我们就可以从 github 上下载 Flink 代码了。github 上 flink 的代码仓库是https://github.com/apache/flink
（可选）对于国内的用户，下载 github 上的代码可能比较慢，可以在/etc/hosts 中增加如下配置， 可以显著提升 github 的下载速度：
151.101.72.133 assets-cdn.github.com
151.101.73.194 github.global.ssl.fastly.net
192.30.253.113 github.com
11.238.159.92 git.node5.mirror.et2sqa
如果使用 Windows 系统，则是配置在“C:\Windows\System32\drivers\etc\hosts”文件中。
如果使用 Win10 Linux 子系统，建议也配置在“C:\Windows\System32\drivers\etc\hosts”文件中， 然后重启 Linux 子系统，因为 Linux 子系统中的/etc/hosts 文件是根据 Window 系统中的“C:\Windows\System32\drivers\etc\hosts”这个文件生成的。
使用 Win10 Linux 子系统还可以通过删除 Linux 子系统的/etc/hosts 文件中的这一行来阻止 Linux 子系统启动的时候覆盖修改过的 hosts 文件：
# This file was automatically generated by WSL. To prevent automatic generation of this file, remove this line.
下载 Flink 代码到本地
git clone https://github.com/apache/flink.git
（可选）代码下载完后，默认是在 master 分支，考虑到代码质量，一般会选择合适的发布分支 使用，比如 release-1.7 或者 release-1.8。
git checkout release-1.7
git checkout release-1.8
2. 编译 flink 代码
Flink 代码使用 maven 构建项目，编译代码的时候 maven 默认会根据当前用户下的 “~/.m2/settings.xml”文件中的配置信息下载 Flink 的依赖包，也可以在 mvn 命令中增加“-- settings=${your_maven_settings_file}”来指定 maven settings 文件的位置。 如果你之前已有合适的 maven settings 的配置，可以直接使用已有的配置即
如果需要指定 maven 的 local repository 的路径，可以在 settings.xml 文件中配置 “localRepository”这个参数。默认情况下会下载到“~/.m2/repository/”（即当前用户 home 目录下 的“.m2/repository”目录）。
重要的配置片段如下所示。
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
<id>mapr-public</id>
<mirrorOf>mapr-releases</mirrorOf>
<name>mapr-releases</name>
<url>https://maven.aliyun.com/repository/mapr-public</url>
</mirror>
简要说明一下，第一个 mirror 使用的是 aliyun 提供的 maven 镜像仓库，能够为国内用户加速 maven repository 的访问，你也可以配置成国内其他的 maven 镜像仓库或者自己搭建的仓库。最 重要的是下面片段中红色标注的内容。由于 flink 中的 flink-filesystems/flink-mapr-fs 模块依赖 mapr-releases repository 提供的 jar 包，然而由于国内访问 mapr-releases repository 比较慢，而 且所依赖的 maprfs-5.2.1-mapr.jar 这个 jar 包有 48MB，flink 依赖中最大的一个 jar 包，故初次编译 flink 时，往往会由于下载 mapr 相关依赖超时导致编译失败。因此，aliyun 专门有一个镜像仓库代理 mapr-releases repository，以期望能让用户更容易地下载 mapr 相关的 jar 包。 可以通过这个链接查看 aliyun 提供的镜像仓库的 meta 信息：https://maven.aliyun.com/mvn/view
在我们配置好之前的几个工具后，编译 flink 就非常简单了，执行如下命令即可：
# 删除已有的 build，编译 flink binary
# 接着把 flink binary 安装在 maven 的 local repository（默认是~/.m2/repository）中
mvn clean install -DskipTests
# 另一种编译命令，相对于上面这个命令，主要的确保是：
# 不编译 tests、QA plugins 和 JavaDocs，因此编译要更快一些
mvn clean install -DskipTests -Dfast
另外，在一些情况下，我们可能并不想把编译后的 flink binary 安装在 maven 的 local repository 下，我们可以使用下面的命令：
# 删除已有的 build，编译 flink binary
mvn clean package -DskipTests
# 另一种编译命令，相对于上面这个命令，主要的确保是：
# 不编译 tests、QA plugins 和 JavaDocs，因此编译要更快一些
mvn clean package -DskipTests -Dfast
如果你需要使用指定 hadoop 的版本，可以通过指定“-Dhadoop.version”来设置，编译命令如下：
mvn clean install -DskipTests -Dhadoop.version=2.6.1
# 或者 mvn
clean package -DskipTests -Dhadoop.version=2.6.1
当成功编译完成后，上述几种编译方式最终都能在当前 flink 的 code path 下编译出完整的 flink binary，可以在 flink-dist/target/目录中看到：
在编译中可能遇到的问题
- 问题 1：编译失败“BUILD FAILURE”，失败信息中有 mapr 相关信息
这种错误一般都和 mapr 相关的依赖包的下载失败有关，在实际测试时，即使配置了之前说的 aliyun 代理的 mapr-releases 镜像，还是可能出现下载失败的情况，问题可能还是和 mapr 的 jar 包比较大，容易下载失败有关。 遇到这些问题时，重试即可。在重试之前，要先根据失败信息删除 maven local repository 中对应 的目录，否则需要等待 maven 下载的超时时间才能再次出发下载依赖到本地。
比如下面这个编译失败：
失败信息显示 com.mapr.hadoop:maprfs:jar:5.2.1-mapr 和它依赖的 org.apache.hadoop:hadoopauth:jar:2.7.0-mapr-1703 有问题，就直接把这两个包对应在 maven local repository 中的目录删 掉，然后重新编译即可。
rm -rf ~/.m2/repository/com/mapr/hadoop/maprfs/5.2.1-mapr
rm -rf ~/.m2/repository/org/apache/hadoop/hadoop-auth/2.7.0-mapr-1703
我还遇到过上面这种情况，直接删除 maprfs 的 jar 包后重试即可。
rm -rf ~/.m2/repository/com/mapr/hadoop/maprfs/5.2.1-mapr
这些问题等到编译成功后，相关的 mapr 的 jar 包就保存在本地的 local repository 目录下了，之后的编译就没问题了。
- 问题 2：发现在 Win10 的 Linux 子系统中编译 flink 比较耗时
我在 Win10 的 Linux 子系统中编译 flink 发现，编译 flink-runtime-web 过程中执行“ng build --prod --base-href ./”命令非常慢，最后虽然编译过了，但差不多花了一个小时的时间。
单独执行“ng build --prod --base-href ./”这个命令时，会长时间停留在“92% chunk asset optimization”处。不确定是否和 Linux 子系统有关，也可能和我的 Win10 机器的内存比较少有关 （我的 Win10 机器编译之前的剩余内存只有 3GB 左右，执行这个 ng 命令比较耗内存，整机内存 差不多用完了）。这个问题目前没有结论，有兴趣和条件的同学，也可以试一试。
3. 开发环境准备
一个好的 IDE 不仅能有效的提高开发者的开发效率，而且对于不做代码开发但是希望通过代码学 习 Flink 的人来说，也非常有助于其对代码的理解。
推荐使用 IntelliJ IDEA IDE 作为 Flink 的 IDE 工具。官方的说法是，不建议使用 Eclipse IDE，主 要原因是 Eclipse 的 Scala IDE 和 Flink 用 scala 的不兼容。
（1）下载安装 Intellij IDEA，Intellij IDEA IDE 的下载地址：https://www.jetbrains.com/idea/，下载最新版本安装即可。
（2）安装 Scala plugin， Flink 项目使用了 Java 和 Scala 开发，Intellij 自带 Java 的支持，在导入 Flink 代码前，还需要确 保安装 Intellij 的 Scala plugin。安装方法如下：
- IntelliJ IDEA -> Preferences -> Plugins，点击“Install Jetbrains plugin…”
- 搜索“scala”，点击“install”
- 重启 Intellij
（3）检查 Intellij 的 Maven 配置
IntelliJ IDEA -> Preferences -> Build, Execution, Deployment -> Build Tools -> Maven
检查“Maven home directory”是否符合预期，如果不是，则选择正确的 maven 路径，然后 apply
检查“User settings file”是否符合预期，默认是“${your_home_dir}/.m2/settings.xml”，如果 之前没有特殊配置，则无需更改
检查“Local directory”是否符合预期，默认是“${your_home_dir}/.m2/repository”，如果之前 没有特殊配置，则无需更改
（4）导入 Flink 代码
- 1. IntelliJ IDEA -> File -> New -> Project from existing sources…，选择 Flink 代码的根路径
- 2. 在“Import project from external model”中选择“Maven”，然后一路点击“next”直到结束
- 3. IntelliJ IDEA -> File -> Project Structure… -> Project Settings -> Project，检查 Project SDK 是否符合预期（因为在之前的步骤中我们已经配置了 JAVA_HOME，所以一般是符 合预期的），如果不是就点击“New”，然后选择之前步骤中安装的 JDK home 目录
PS：代码导入完后，Intellij 会自动 sync 代码并创建 index 用于代码查找。如果之前代码没有编 译过，则需要做一次代码全编译，然后 Intellij 经过一次 sync 后，就能这样 Intellij 就能识别所有 的代码。
（5）添加 Java 的 Checkstyle
在 Intellij 中添加 Checkstyle 是很重要的，因为 Flink 在编译时会强制代码风格的检查，如果代码 风格不符合规范，可能会直接编译失败。对于需要在开源代码基础上做二次开发的同学，或者有 志于向社区贡献代码的同学来说，及早添加 checkstyle 并注意代码规范，能帮你节省不必要的修 改代码格式的时间。
Intellij 内置对 Checkstyle 的支持，可以检查一下 Checkstyle-IDEA plugin 是否安装（IntelliJ IDEA -> Preferences -> Plugins，搜索“Checkstyle-IDEA”）。
配置 Java Checkstyle：
- IntelliJ IDEA -> Preferences -> Other Settings -> Checkstyle
- 设置 “Scan Scope”为“Only Java sources (including tests)”
- 在“Checkstyle Version”下拉框中选择“8.9”
- 在“Configuration File”中点击“+”新增一个 flink 的配置：
a. “Description”填“Flink”
b. “Use a local Checkstyle file”选择本代码下的 tools/maven/checkstyle.xml 文件
c. 勾选“Store relative to project location”，然后点击“Next”
d. 配置“checkstyle.suppressions.file” 的值为"suppressions.xml"，然后点击“Next”和 “Finish”
e. 勾选上“Flink”作为唯一生效的 checkstyle 配置，点击“Apply”和“OK
- IntelliJ IDEA -> Preferences -> Editor -> Code Style -> Java，点击⚙齿轮按钮，选择 “Import Scheme” -> “Checkstyle Configuration”，选择 checkstyle.xml 文件。这样配置后， Intellij 在自动 import 的时候会按照规则，把 import 代码添加到正确的位置。
需要说明的是，Flink 中的一些模块并不能完全 checkstyle 通过，包括 flink-core、flink-optimizer 和 flink-runtime。但无论如何，还是应当保证你新增或修改的代码遵守 checkstyle 的规范。
（6）添加 Scala 的 Checkstyle
- 将“tools/maven/scalastyle-config.xml”文件拷贝到 flink 代码根目录的“.idea”子目录中
- IntelliJ IDEA -> Preferences -> Editor -> Inspections，搜索“Scala style inspections”，勾选这一项
（7）小试牛刀：在 Intellij 中运行 example
flink 代码编译完成后，直接选择一个 example 即可运行，如： org.apache.flink.streaming.examples.windowing.WindowWordCount.java
