ubuntu建议版本hue-3.11.0或者hue-4.0.1
1.直接上http://gethue.com/下载
解压,放到 /usr/local/hue
或者直接clone本地
git clone https://github.com/cloudera/hue.git
2.依赖安装:
sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libffi-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip
官网给出的ubuntu依赖安装,防止报错就装一次:
sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev
显示libtidy-0.99-0被遗弃了,修改为libtidy-dev:
sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-dev libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev
sasl.h 文件
sudo apt-get install libsasl2-dev
3.安装maven、nodejs和npm
注意: deepin安装nodejs和npm需要另外处理
sudo apt-get install maven
sudo apt-get install nodejs
sudo apt-get install npm
#查看版本
mvn -v
node -v
npm -v
4.编译:
cd /usr/local/hue
make apps
5.集成hadoop
/usr/local/hadoop/etc/hadoop/core-site.xml 配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.21:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hbase.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hbase.groups</name>
<value>*</value>
</property>
</configuration>
hadoop.proxyuser.hadoop.hosts 第二个hadoop是hadoop集群的使用者名
hadoop.proxyuser.hue.hosts 这个hue是给hue代理权限
6.配置hdfs-stie-xml
开启运行HUE web访问HDFS
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
7.集成hive
配置 /usr/local/hive/conf/hive-site.xml
<property>
<name>hive.server2.thrift.bind.host</name>
<value>ip</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://ip:9083</value>
</property>
代理<name>hadoop.proxyuser.hive.hosts</name>在前面的core-site.xml中添加了
8.集成hbase
配置/usr/local/hbase/hbase-site.xml
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
<property>
<name>hbase.thrift.support.proxyuser</name>
<value>true</value>
</property>
<property>
<name>hbase.regionserver.thrift.http</name>
<value>true</value>
</property>
代理<name>hadoop.proxyuser.hbase.hosts</name>在前面的core-site.xml中添加了
9.配置 /hue/desktop/conf/hue.ini (hue4-4为pseudo-distributed.ini)
default_hdfs_superuser=hadoop集群使用者名
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=ip
http_port=8888
time_zone=Asia/Shanghai
#找到[hadoop]项
[hadoop]
[[hdfs_clusters]]
fs_defaultfs=hdfs://ip:9000
webhdfs_url=http://ip:50070/webhdfs/v1
hadoop_conf_dir=/usr/local/hadoop/etc/hadoop
[[yarn_clusters]]
resourcemanager_host=ip
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://ip:8088
proxy_api_url=http://ip:8088
history_server_api_url=http://ip:19888
spark_history_server_url=http://ip:18088
#找到 [beeswax] 项
[beeswax]
hive_server_host=ip
hive_server_port=10000 #这个是hiveserver2的端口号,很重要,如果没设置的话hive的服务无法启动
hive_conf_dir=/usr/local/hive/conf
server_conn_timeout=12000000 #默认120,增加数值否则查询会超时
#找到 [hbase]项
[hbase]
hbase_clusters=(Cluster|192.168.1.21:9090)
hbase_conf_dir=/usr/local/hbase/conf
thrift_transport=buffered
[spark]
# livy 服务器域名
livy_server_url=http://192.168.1.21:8998
livy_server_host=你的ip或者hostname
# livy 服务器端口
livy_server_port=8998
#livy_server_session_kind=spark://你的ip #两种模式,选yarn
livy_server_session_kind=yarn
sql_server_host=你的ip
sql_server_port=10000
security_enabled=false
# Host of the Sql Server
sql_server_host=192.168.1.21
# Port of the Sql Server
sql_server_port=10000
[[interpreters]]
#部分spark相关配置
[[[impala]]]
name=Impala
interface=hiveserver2
[[[sparksql]]]
name=SparkSql
interface=hiveserver2
#[[[sparksql]]]
# name=SparkSql
# interface=livy
[[[spark]]]
name=Scala
interface=livy
[[[pyspark]]]
name=PySpark
interface=livy
[[[r]]]
name=R
interface=livy
[[[jar]]]
name=Spark Submit Jar
interface=livy-batch
[[[py]]]
name=Spark Submit Python
interface=livy-batch
10.hue.ini中mysql的配置
#[[database]]的配置,要去掉注释
[[database]]
engine=mysql
host=你的ip
port=3306
user=root
password=123
name=hue
#[librdbms]的[databases]的[mysql]配置,同样去掉注解
[librdbms]
[[databases]]
[[[mysql]]] #这一行前面的注释一定要去掉 ,整个mysql配置才生效
nice_name="My SQL DB"
name(DB_NAME)=hue
engine=mysql
port=3306
user=root
password=123
初始化hue的mysql数据
cd /usr/local/hue/build/env
bin/hue syncdb #初始化数据库,启动后会出现让你填写用户名和密码,邮箱等信息,用户名和密码既可以用系统的,也可以用新建的hue用户的,笔者只试过第一个,因为第一个填写成功后,再次初始化数据库就不会出现那些填写信息了,至于邮箱,可以直接跳过
bin/hue migrate #执行完以后,可以在mysql中看到,hue相应的表已经生成。
11.启动hived的2个服务
hive --service hiveserver2
hive --service metastore
12.启动hbase的thrift服务
hbase thrift start
13.集成spark
详情看:大数据单机部署 - spark+scala (hue 集成 spark)
46.启动hue:
cd /usr/local/hue
./build/env/bin/hue runserver
./build/env/bin/supervisor
注意:hue4-4版本启动都是8000
其他版本:
runserver --------- http://localhost:8000 打开web ui界面
supervisor --------- http://localhost:8888 打开web ui界面
在这里我们可以输入系统的用户名和登录密码,然后进入界面进行操作了
hive报错:
如果报错可以测试hive的服务是否能连通
beeline连接:
#启动beeline
beeline
!connect jdbc:hive2://localhost:10000/default #测试是否可以连接
(可选)启动 HUE 前,如果没有启动 httpfs 服务,应先启动此服务,否则会报【111】错误
(a)先进入到此目录下:
cd /usr/local/hadoop/sbin/sbin/
(b)启动httpfs服务(如果配置过hadoop全局,可以直接执行此命令):
httpfs.sh start
编译报错:
1.Gcc 编译出错处理 --openssl 依赖问题
sudo apt-get install libssl1.0-dev
2.提示缺少 sasl.h 文件
sudo apt-get install libsasl2-dev
3.error: my_config.h: 没有那个文件或目录
链接:https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found
sudo apt install default-libmysqlclient-dev
4.ProgrammingError: (1146, "Table 'hive.django_session' doesn't exist")
没有初始化数据库
cd usr/local/hue/build/env
bin/hue syncdb
bin/hue migrate
5.Exception: Version mismatch: this is the 'cffi' package version 1.10.0, loca......
sudo apt-get install python-cffi