好玩的大数据之53:flink编程实验3(利用eclipse +maven构造flink-quick-start程序,java版)

一、简介


        Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)

        本文基于windows环境下来安装和配置eclipse,以创建flink版的WordCount为例,介绍eclipse+maven来开发大数据相关应用,关于eclipse本身的使用不做介绍。

二、下载


            下载地址:https://www.eclipse.org/downloads/

            下载得到:eclipse-java-2020-06-R-win32-x86_64.zip

三、安装


        不需要安装,直接解压缩后就可以使用,解压缩后双击eclipse.exe即可

四、配置


      1.安装maven

        在进行下一步之前,需要安装好maven,maven的安装其实就是解压缩

      2.配置maven环境变量

        windows环境下的安装方法与linux基本一致:就是找个解压缩软件,将其解压缩到某一个目录即可,然后在环境变量中添加MAVEN_HOME,以及在PATH中添加%MAVEN_HOME%\bin即可

        文件管理器在“此电脑”图标上右击鼠标=>属性

属性


高级系统设置

增加MAVEN_HOME及MAVEN_OPTS

MAVEN_HOME


      2.配置maven国内仓库(maven编译时需要下载n多文件,国内仓库会大大加快下载速度)

        找到maven安装目录下的conf子目录,其下有一个settings.xml文件,打开编辑之

         找到<mirrors>,在其下增加以下子元素:

         <mirror>

      <id>alimaven</id>

      <name>aliyun maven</name>

      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

      <mirrorOf>central</mirrorOf>

    </mirror>

      3.在eclipse里配置maven安装目录

         点击菜单windows=>performance

performance

        选择左边的Maven=>installations,然后点击右边的add...按钮

添加maven安装位置

         选择maven的安装路径,安装名自动会显示,保留该名则可

设置maven安装路径

        选择刚添加的maven的安装路径,然后Apply and Close

选中刚刚的maven安装目录

    4.在eclipse里配置maven参数文件位置

            点击菜单windows=>performance

            选择左边的Maven=>User Settings,然后点击右边的Browse...按钮,在打开的对话框中选中maven安装目录下conf子目录下的settings.xml文件,然后选择Update Settings,再选择Apply and Close

配置maven参数文件位置


五、创建项目(project)


点击菜单File=>New

New Project

        选择Maven下的Maven Project,然后Next

Maven Project

        选Next

Next

            这一步很关键俄(我在这里卡了N久),选择Configure...

Configure

                选Add Remote Catalog...

Add Remote Catalog...

        Catalog File:https://mirrors.huaweicloud.com/repository/maven/

                 注,测试发现阿里的maven仓库地址不行

        Desciption:    huawei(随意)

        点击Verify...可以验证一下地址

        最后OK

添加Remote地址

        选择本地和huawei,选择Apply and Close

在Catalog中选择All Catalogs

在Filter中 输入flink

然后选择GoupID为org.apache.flink的其中一个Artifact,Next

选择ArtheType

输入Groupid,Artifact id,然后Finish

Finish

之后eclipse会下载依赖的文件,同时报一堆错,这是由于flink的版本号问题造成的

打开pom.xml,修改版本号后保存

    flink:1.11.1

    scala:  2.11

配置Run Configuration...

配置Run Configuration..

配置Run Configuration...

设置Name

点击WorkSpace

在Goals中输入:clearn compile package

选择: Skip Tests

 最后Run

Run

开始编译和打包

开始下载、编译、打包


打包成功

在文件管理器中会发现jar文件

包文件

运行之:

flink run -m master:8081 -c Group1.FlinkTest.BatchJob FlinkTest-0.0.1-SNAPSHOT.jar 

结果出现错误:rg.apache.flink.client.program.ProgramInvocationException: The main method caused an error: No data sinks have been created yet. A program needs at least one sink that consumes data. Examples are writing the data set or printing it.

出错了

从flink.apache.org下载flink-1.11.1-src.tgz,(下载地址:https://www.apache.org/dyn/closer.lua/flink/flink-1.11.1/flink-1.11.1-src.tgz)

也可以从https://github.com/中搜flink,然后点击apache/flink下载源码

将flink-1.11.1-src.tgz解压缩后,

找到子目录\flink-1.11.1-src\flink-1.11.1\flink-examples\flink-examples-batch\src\main\java\org\apache\flink\examples\java\wordcount

copy文件

将其下的WordCount.java文件及util文件夹复制到FlinkTest工程的以下子目录下

FlinkTest\src\main\java\Group1\FlinkTest

然后到eclipse,在FlinkTest右击鼠标,选择refresh

refresh

刷新后,文件就出来了

把WordCountData.java中的package全改为 package Group1.FlinkTest.util;

修改WordCountData.java

把WordCount.java中的

package改为Group1.FlinkTest

import org.apache.flink.examples.java.wordcount.util.WordCountData;

改为

import Group1.FlinkTest.util.WordCountData;

修改Wordcount.java

选中项目FlinkTest,点击菜单Run=>Run As=>Maven build

rebuild

编译,打包成功

编译,打包成功


运行之:

flink run -m master:8081 -c Group1.FlinkTest.WordCount FlinkTest-0.0.1-SNAPSHOT.jar --input $FLINK_HOME/LICENSE --output /home/hadoop/wordcount-result001.txt

本地文件

也可以到hdfs里面试试身手

hadoop fs -put $FLINK_HOME/LICENSE /mylab/mydata

hadoop fs -ls /mylab/mydata

flink run -m master:8081 -c Group1.FlinkTest.WordCount FlinkTest-0.0.1-SNAPSHOT.jar --input hdfs:///mylab/mydata/LICENSE --output hdfs:///mylab/mydata/wordcount-result001.txt

hdfs

至此,全部搞定!


七、排错


有时候出现问题的话,也有网上说,在pom.xml,找到 <build>在其后面添加子元素

<defaultGoal>compile</defaultGoal>

然后再选择菜单Run=>maven build

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,002评论 6 509
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,777评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,341评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,085评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,110评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,868评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,528评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,422评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,938评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,067评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,199评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,877评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,540评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,079评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,192评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,514评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,190评论 2 357