java使用Hadoop、Spark、Hbase、TensorFlow实现商城商品智能推荐

说明:该文章介绍在win10上如何操作

1.安装Hadoop

a.首先下载需要的安装包:

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
https://github.com/s911415/apache-hadoop-3.1.0-winutils/archive/master.zip

b.解压下载文件并进行配置

把hadoop-3.1.3.tar.gz解压到E:\java\hadoop-3.1.3,master.zip解压到E:\java;
修改E:\java\hadoop-3.1.3\etc\hadoop下面的四个配置文件,
添加的时候要注意注释和<configuration>直接不要有换行
core-site.xml中添加:

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/hadoop-3.1.3/data/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

mapred-site.xml中添加:

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
</configuration>

yarn-site.xml中添加:

<configuration>
<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
<property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>

hdfs-site.xml中添加:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>/E:/hadoop-3.1.3/data/namenode</value>
  </property>
  <property>
<name>fs.checkpoint.dir</name>
<value>/E:/hadoop-3.1.3/data/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>/E:/hadoop-3.1.3/data/snn</value>
</property>
  <property>
      <name>dfs.datanode.data.dir</name>
      <value>/E:/hadoop-3.1.3/data/datanode</value>
  </property>
</configuration>
c.替换bin目录下面的文件

默认下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行,打开解压的apache-hadoop-3.1.0-winutils-master文件夹,复制下面的bin目录到E:\java\hadoop-3.1.3\bin,选择替换重名文件。

d.格式化namenode

打开cmd窗口执行命令:hdfs namenode -format


执行成功后界面
e.启动hadoop

启动之前先复制一个文件,把E:\java\hadoop-3.1.3\share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.1.3.jar复制到E:\java\hadoop-3.1.3\share\hadoop\yarn;

cmd窗口执行命令:start-all


start-all

执行命令后会弹出四个cmd窗口,接下来我们再验证hadoop是否能够访问。
访问管理页面:http://localhost:8088/cluster

http://localhost:8088/cluster

访问health页面:http://localhost:9870/dfshealth.html#tab-overview

http://localhost:9870/dfshealth.html#tab-overview

至此Hadoop安装完成

2.安装Hbase

a.下载Hbase安装包

下载地址:https://mirror.bit.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz
下载完成后解压文件到E:\java\hbase-2.2.4
修改配置文件:
E:\java\hbase-2.2.4\conf\hbase-env.cmd 添加配置

set HBASE_MANAGES_ZK=true
set JAVA_HOME=E:\java\jre8
set HBASE_CLASSPATH=E:\java\hbase-2.2.4\conf

E:\java\hbase-2.2.4\conf\hbase-site.xml 添加配置

<configuration>
    <property>
<name>hbase.master</name>
<value>localhost</value>
    </property>
    <property> 
        <name>hbase.rootdir</name> 
        <value>file:///E:/datacenter/hbdata/root</value> 
    </property> 
    <property> 
        <name>hbase.tmp.dir</name> 
        <value>E:/datacenter/hbdata/tmp</value> 
    </property> 
    <property> 
        <name>hbase.zookeeper.quorum</name> 
        <value>localhost</value>
    </property> 
    <property> 
        <name>hbase.zookeeper.property.dataDir</name> 
        <value>E:/datacenter/hbdata/zoo</value> 
    </property>
    <!-- 外部ZK此处必须为true,不然hbase仍用自带的zk,若启动了外部的zookeeper,会导致冲突,hbase启动不起来 -->
    <property> 
        <name>hbase.cluster.distributed</name> 
        <value>false</value> 
    </property>
    <property>
    <name>hbase.master.info.port</name>
    <value>60010</value>
    </property>
</configuration>

b.启动Hbase

进入文件夹 :E:\java\hbase-2.2.4\bin


启动Hbase

选中 start-hbase.cmd 以管理员方式运行


start-hbase.cmd

访问:http://localhost:60010/master-status

http://localhost:60010/master-status

至此Hbase启动完成

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。