二、HADOOP-WINDOWS环境搭建

一、 Maven环境配置

    1、安装路径：

    2、 修改配置文件maven/conf/settings.xml

        设置本地仓库路径

      <localRepository>F:/免安装软件/apache-maven-3.6.0/repository</localRepository>

        设置阿里云服务器，更快的下载JAR包

<mirror> 

          <id>alimaven</id> 

          <name>aliyun maven</name> 

          <url>http://maven.aliyun.com/nexus/content/groups/public/</url> 

          <mirrorOf>central</mirrorOf> 

</mirror>

二、 Hadoop的环境配置

    1、 解压文件

    2、 环境变量配置

三、 IDEA配置

    1、 配置MAVEN环境

    2、 创建一个MAVEN项目

    2、 添加依赖

<dependencies>

<dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-common</artifactId>

            <version>2.8.4</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-hdfs</artifactId>

            <version>2.8.4</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>2.8.4</version>

        </dependency>

        <dependency>

            <groupId>org.projectlombok</groupId>

            <artifactId>lombok</artifactId>

            <version>1.16.10</version>

        </dependency>

        <dependency>

            <groupId>log4j</groupId>

            <artifactId>log4j</artifactId>

            <version>1.2.17</version>

        </dependency>

        <dependency>

            <groupId>org.slf4j</groupId>

            <artifactId>slf4j-api</artifactId>

            <version>1.7.7</version>

        </dependency>

        <!-- https://mvnrepository.com/artifact/junit/junit -->

        <dependency>

            <groupId>junit</groupId>

            <artifactId>junit</artifactId>

            <version>4.12</version>

            <scope>test</scope>

        </dependency>

  </dependencies>

    3、 创建主类

// 1 获取文件系统

Configuration configuration = new Configuration();

// 配置在集群上运行

configuration.set("fs.defaultFS", "hdfs://bigdata111:9000");

FileSystem fileSystem = FileSystem.get(configuration);

// 直接配置访问集群的路径和访问集群的用户名称

// FileSystem fileSystem = FileSystem.get(new URI("hdfs://bigdata111:9000"),configuration, "itstar");

// 2 把本地文件上传到文件系统中

fileSystem.copyFromLocalFile(new Path("F:\\装机资料\\mate8信息.txt"), new Path("/mate8信息.txt"));

// 3 关闭资源

fileSystem.close();

System.out.println("over");

    4、 测试文件上传