大数据单机部署-hue

ubuntu建议版本hue-3.11.0或者hue-4.0.1

1.直接上http://gethue.com/下载

解压,放到 /usr/local/hue

或者直接clone本地
 git clone https://github.com/cloudera/hue.git

2.依赖安装:

sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libffi-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip

官网给出的ubuntu依赖安装,防止报错就装一次:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

显示libtidy-0.99-0被遗弃了,修改为libtidy-dev:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-dev libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

sasl.h 文件

sudo apt-get install libsasl2-dev

3.安装maven、nodejs和npm

注意: deepin安装nodejs和npm需要另外处理

sudo apt-get install maven
sudo apt-get install nodejs
sudo apt-get install npm

#查看版本
mvn -v  
node -v  
npm -v  

4.编译:

cd /usr/local/hue
make apps

5.集成hadoop

/usr/local/hadoop/etc/hadoop/core-site.xml 配置:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.21:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hadoop.groups</name>
         <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.hosts</name>
          <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.groups</name>
          <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hbase.hosts</name>
         <value>*</value>
     </property>
     <property>
         <name>hadoop.proxyuser.hbase.groups</name>
         <value>*</value>
    </property>
</configuration>

hadoop.proxyuser.hadoop.hosts 第二个hadoop是hadoop集群的使用者名
hadoop.proxyuser.hue.hosts 这个hue是给hue代理权限

6.配置hdfs-stie-xml

开启运行HUE web访问HDFS

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>
<property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>

7.集成hive

配置 /usr/local/hive/conf/hive-site.xml

<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ip</value>
</property>
 <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://ip:9083</value>
</property>

代理<name>hadoop.proxyuser.hive.hosts</name>在前面的core-site.xml中添加了

8.集成hbase

配置/usr/local/hbase/hbase-site.xml

 <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.thrift.support.proxyuser</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.regionserver.thrift.http</name>
        <value>true</value>
</property>

代理<name>hadoop.proxyuser.hbase.hosts</name>在前面的core-site.xml中添加了

9.配置 /hue/desktop/conf/hue.ini (hue4-4为pseudo-distributed.ini)

default_hdfs_superuser=hadoop集群使用者名      
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=ip
http_port=8888
time_zone=Asia/Shanghai


#找到[hadoop]项
[hadoop]
[[hdfs_clusters]]
      fs_defaultfs=hdfs://ip:9000
      webhdfs_url=http://ip:50070/webhdfs/v1
      hadoop_conf_dir=/usr/local/hadoop/etc/hadoop

[[yarn_clusters]]
      resourcemanager_host=ip
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://ip:8088
      proxy_api_url=http://ip:8088
      history_server_api_url=http://ip:19888
      spark_history_server_url=http://ip:18088


#找到 [beeswax] 项
[beeswax] 
hive_server_host=ip    
hive_server_port=10000 #这个是hiveserver2的端口号,很重要,如果没设置的话hive的服务无法启动
hive_conf_dir=/usr/local/hive/conf
server_conn_timeout=12000000   #默认120,增加数值否则查询会超时

#找到 [hbase]项
[hbase]
  hbase_clusters=(Cluster|192.168.1.21:9090)
  hbase_conf_dir=/usr/local/hbase/conf
  thrift_transport=buffered

[spark]
  # livy 服务器域名
  livy_server_url=http://192.168.1.21:8998
  livy_server_host=你的ip或者hostname

  # livy 服务器端口
   livy_server_port=8998
  #livy_server_session_kind=spark://你的ip   #两种模式,选yarn
  livy_server_session_kind=yarn                     
  sql_server_host=你的ip 
  sql_server_port=10000
  security_enabled=false


  # Host of the Sql Server
  sql_server_host=192.168.1.21

  # Port of the Sql Server
  sql_server_port=10000


[[interpreters]]      
#部分spark相关配置
   [[[impala]]]
      name=Impala
      interface=hiveserver2

    [[[sparksql]]]
       name=SparkSql
       interface=hiveserver2

    #[[[sparksql]]]
    #  name=SparkSql
    #  interface=livy

    [[[spark]]]
      name=Scala
      interface=livy

    [[[pyspark]]]
      name=PySpark
      interface=livy

    [[[r]]]
      name=R
      interface=livy

    [[[jar]]]
      name=Spark Submit Jar
      interface=livy-batch

    [[[py]]]
      name=Spark Submit Python
      interface=livy-batch

10.hue.ini中mysql的配置

#[[database]]的配置,要去掉注释
[[database]]

  engine=mysql
  host=你的ip
  port=3306
  user=root
  password=123
  name=hue

#[librdbms]的[databases]的[mysql]配置,同样去掉注解
[librdbms]
  [[databases]]
    [[[mysql]]]               #这一行前面的注释一定要去掉 ,整个mysql配置才生效  
      nice_name="My SQL DB"
      name(DB_NAME)=hue
      engine=mysql
      port=3306
      user=root
      password=123

初始化hue的mysql数据

cd /usr/local/hue/build/env
bin/hue syncdb            #初始化数据库,启动后会出现让你填写用户名和密码,邮箱等信息,用户名和密码既可以用系统的,也可以用新建的hue用户的,笔者只试过第一个,因为第一个填写成功后,再次初始化数据库就不会出现那些填写信息了,至于邮箱,可以直接跳过
bin/hue migrate            #执行完以后,可以在mysql中看到,hue相应的表已经生成。

11.启动hived的2个服务

hive --service hiveserver2
hive --service metastore

12.启动hbase的thrift服务

hbase thrift start

13.集成spark

详情看:大数据单机部署 - spark+scala (hue 集成 spark)

46.启动hue:

cd /usr/local/hue
./build/env/bin/hue runserver
./build/env/bin/supervisor

注意:hue4-4版本启动都是8000

其他版本:
runserver --------- http://localhost:8000 打开web ui界面
supervisor --------- http://localhost:8888 打开web ui界面


在这里我们可以输入系统的用户名登录密码,然后进入界面进行操作了

hive报错:

如果报错可以测试hive的服务是否能连通
beeline连接:

#启动beeline
beeline
!connect jdbc:hive2://localhost:10000/default     #测试是否可以连接

(可选)启动 HUE 前,如果没有启动 httpfs 服务,应先启动此服务,否则会报【111】错误

(a)先进入到此目录下:
    cd /usr/local/hadoop/sbin/sbin/
(b)启动httpfs服务(如果配置过hadoop全局,可以直接执行此命令):
    httpfs.sh start

编译报错:

1.Gcc 编译出错处理 --openssl 依赖问题

sudo apt-get install libssl1.0-dev

2.提示缺少 sasl.h 文件

sudo apt-get install libsasl2-dev

3.error: my_config.h: 没有那个文件或目录
链接:https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found

sudo apt install default-libmysqlclient-dev

4.ProgrammingError: (1146, "Table 'hive.django_session' doesn't exist")

没有初始化数据库

cd usr/local/hue/build/env
bin/hue syncdb
bin/hue migrate

5.Exception: Version mismatch: this is the 'cffi' package version 1.10.0, loca......

sudo apt-get install python-cffi
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容