1.1 Eclipse大数据开发过程

Eclipse项目开发过程

1.打开eclipse,新建其他项目:

image.png

2.展开 “Maven”并选择“Maven Project”, 然后点击 “Next”:

image.png

3.选择 “Create a simple project” 再点击“Next”:

image.png

4.确认 GroupId, ArtifactId, Verison, 和 Name, 然后点击“Finish”:

image.png

5.打开 pom.xml file 并点击 “pom.xml” 页面。 将以下Maven依赖粘贴进pom中:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
    
  <groupId>hdp6java.0811</groupId>
  <artifactId>hdp6</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>test0811</name>
  <packaging>jar</packaging>
  
  <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <PermGen>512m</PermGen>
        <MaxPermGen>1024m</MaxPermGen>

        <scala.version>2.10.4</scala.version>
        <scala.binary.version>2.10</scala.binary.version>
        <spark.version>1.6.3</spark.version>
        
        <!--TODO Modify Version After public-cupid RELEASED-->
        <cupid.project.version>3.3.2-public</cupid.project.version>

    </properties>    
    <dependencies>
        <!--spark relative deps-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <scope>provided</scope>
        </dependency>
        
        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>cupid-sdk</artifactId>
            <version>${cupid.project.version}</version>
            <scope>provided</scope>
        </dependency>
        
        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>odps-spark-datasource_${scala.binary.version}</artifactId>
            <version>${cupid.project.version}</version>
        </dependency>
        
        <dependency>
            <groupId>com.aliyun.odps</groupId>
            <artifactId>hadoop-fs-oss</artifactId>
            <version>${cupid.project.version}</version>
        </dependency>
        <dependency>
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
                <version>1.2.17</version>
        </dependency>
                
    </dependencies>

    <build>
        <plugins>                       
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <!--<version>3.5.4</version>-->
                <configuration>
                <encoding>UTF-8</encoding>
                    <!--这部分可有可无,加上的话则直接生成可运行jar包-->
                    <!--<archive>-->
                        <!--<manifest>-->
                            <!--<mainClass>${exec.mainClass}</mainClass>-->
                        <!--</manifest>-->
                    <!--</archive>-->
                    <descriptorRefs>
                        <descriptorRef>
                            <!-- 必须是这样写 -->
                            jar-with-dependencies
                        </descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

6. 保存pom.xml,右击项目,再Mavne选项中,选择updata project。随后,系统会自动链接maven依赖库,下载阿里云的依赖包,下载完成后,确保pom.xml文件中没有错误,即可开始程序的编写。

image.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,948评论 18 139
  • Maven的基本了解 什么是Maven? Maven就是Apache下的一个开源项目。它是用纯java开发的。是一...
    Bcome阅读 2,873评论 0 7
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,958评论 6 342
  • Maven概述 Maven定义Maven是一个项目管理和整合,统一管理jar包的工具;Maven为开发者提供了一套...
    THQ的简书阅读 810评论 0 0
  • 天快亮了 忘了所有故事吧 酒不多了 烟还剩几根 没有谁比谁会快乐 没有谁比谁更悲伤 咬住嘴唇 怕秋天最后一片叶子凋...
    艺术家清樾阅读 288评论 0 13