大数据单机部署-hue

ubuntu建议版本hue-3.11.0或者hue-4.0.1

1.直接上http://gethue.com/下载

解压,放到 /usr/local/hue

或者直接clone本地
 git clone https://github.com/cloudera/hue.git

2.依赖安装:

sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libffi-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip

官网给出的ubuntu依赖安装,防止报错就装一次:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

显示libtidy-0.99-0被遗弃了,修改为libtidy-dev:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-dev libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

sasl.h 文件

sudo apt-get install libsasl2-dev

3.安装maven、nodejs和npm

注意: deepin安装nodejs和npm需要另外处理

sudo apt-get install maven
sudo apt-get install nodejs
sudo apt-get install npm

#查看版本
mvn -v  
node -v  
npm -v  

4.编译:

cd /usr/local/hue
make apps

5.集成hadoop

/usr/local/hadoop/etc/hadoop/core-site.xml 配置:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.21:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hadoop.groups</name>
         <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.hosts</name>
          <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.groups</name>
          <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hbase.hosts</name>
         <value>*</value>
     </property>
     <property>
         <name>hadoop.proxyuser.hbase.groups</name>
         <value>*</value>
    </property>
</configuration>

hadoop.proxyuser.hadoop.hosts 第二个hadoop是hadoop集群的使用者名
hadoop.proxyuser.hue.hosts 这个hue是给hue代理权限

6.配置hdfs-stie-xml

开启运行HUE web访问HDFS

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>
<property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>

7.集成hive

配置 /usr/local/hive/conf/hive-site.xml

<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ip</value>
</property>
 <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://ip:9083</value>
</property>

代理<name>hadoop.proxyuser.hive.hosts</name>在前面的core-site.xml中添加了

8.集成hbase

配置/usr/local/hbase/hbase-site.xml

 <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.thrift.support.proxyuser</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.regionserver.thrift.http</name>
        <value>true</value>
</property>

代理<name>hadoop.proxyuser.hbase.hosts</name>在前面的core-site.xml中添加了

9.配置 /hue/desktop/conf/hue.ini (hue4-4为pseudo-distributed.ini)

default_hdfs_superuser=hadoop集群使用者名      
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=ip
http_port=8888
time_zone=Asia/Shanghai


#找到[hadoop]项
[hadoop]
[[hdfs_clusters]]
      fs_defaultfs=hdfs://ip:9000
      webhdfs_url=http://ip:50070/webhdfs/v1
      hadoop_conf_dir=/usr/local/hadoop/etc/hadoop

[[yarn_clusters]]
      resourcemanager_host=ip
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://ip:8088
      proxy_api_url=http://ip:8088
      history_server_api_url=http://ip:19888
      spark_history_server_url=http://ip:18088


#找到 [beeswax] 项
[beeswax] 
hive_server_host=ip    
hive_server_port=10000 #这个是hiveserver2的端口号,很重要,如果没设置的话hive的服务无法启动
hive_conf_dir=/usr/local/hive/conf
server_conn_timeout=12000000   #默认120,增加数值否则查询会超时

#找到 [hbase]项
[hbase]
  hbase_clusters=(Cluster|192.168.1.21:9090)
  hbase_conf_dir=/usr/local/hbase/conf
  thrift_transport=buffered

[spark]
  # livy 服务器域名
  livy_server_url=http://192.168.1.21:8998
  livy_server_host=你的ip或者hostname

  # livy 服务器端口
   livy_server_port=8998
  #livy_server_session_kind=spark://你的ip   #两种模式,选yarn
  livy_server_session_kind=yarn                     
  sql_server_host=你的ip 
  sql_server_port=10000
  security_enabled=false


  # Host of the Sql Server
  sql_server_host=192.168.1.21

  # Port of the Sql Server
  sql_server_port=10000


[[interpreters]]      
#部分spark相关配置
   [[[impala]]]
      name=Impala
      interface=hiveserver2

    [[[sparksql]]]
       name=SparkSql
       interface=hiveserver2

    #[[[sparksql]]]
    #  name=SparkSql
    #  interface=livy

    [[[spark]]]
      name=Scala
      interface=livy

    [[[pyspark]]]
      name=PySpark
      interface=livy

    [[[r]]]
      name=R
      interface=livy

    [[[jar]]]
      name=Spark Submit Jar
      interface=livy-batch

    [[[py]]]
      name=Spark Submit Python
      interface=livy-batch

10.hue.ini中mysql的配置

#[[database]]的配置,要去掉注释
[[database]]

  engine=mysql
  host=你的ip
  port=3306
  user=root
  password=123
  name=hue

#[librdbms]的[databases]的[mysql]配置,同样去掉注解
[librdbms]
  [[databases]]
    [[[mysql]]]               #这一行前面的注释一定要去掉 ,整个mysql配置才生效  
      nice_name="My SQL DB"
      name(DB_NAME)=hue
      engine=mysql
      port=3306
      user=root
      password=123

初始化hue的mysql数据

cd /usr/local/hue/build/env
bin/hue syncdb            #初始化数据库,启动后会出现让你填写用户名和密码,邮箱等信息,用户名和密码既可以用系统的,也可以用新建的hue用户的,笔者只试过第一个,因为第一个填写成功后,再次初始化数据库就不会出现那些填写信息了,至于邮箱,可以直接跳过
bin/hue migrate            #执行完以后,可以在mysql中看到,hue相应的表已经生成。

11.启动hived的2个服务

hive --service hiveserver2
hive --service metastore

12.启动hbase的thrift服务

hbase thrift start

13.集成spark

详情看:大数据单机部署 - spark+scala (hue 集成 spark)

46.启动hue:

cd /usr/local/hue
./build/env/bin/hue runserver
./build/env/bin/supervisor

注意:hue4-4版本启动都是8000

其他版本:
runserver --------- http://localhost:8000 打开web ui界面
supervisor --------- http://localhost:8888 打开web ui界面


在这里我们可以输入系统的用户名登录密码,然后进入界面进行操作了

hive报错:

如果报错可以测试hive的服务是否能连通
beeline连接:

#启动beeline
beeline
!connect jdbc:hive2://localhost:10000/default     #测试是否可以连接

(可选)启动 HUE 前,如果没有启动 httpfs 服务,应先启动此服务,否则会报【111】错误

(a)先进入到此目录下:
    cd /usr/local/hadoop/sbin/sbin/
(b)启动httpfs服务(如果配置过hadoop全局,可以直接执行此命令):
    httpfs.sh start

编译报错:

1.Gcc 编译出错处理 --openssl 依赖问题

sudo apt-get install libssl1.0-dev

2.提示缺少 sasl.h 文件

sudo apt-get install libsasl2-dev

3.error: my_config.h: 没有那个文件或目录
链接:https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found

sudo apt install default-libmysqlclient-dev

4.ProgrammingError: (1146, "Table 'hive.django_session' doesn't exist")

没有初始化数据库

cd usr/local/hue/build/env
bin/hue syncdb
bin/hue migrate

5.Exception: Version mismatch: this is the 'cffi' package version 1.10.0, loca......

sudo apt-get install python-cffi
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容