hadoop
在3.2版本中 hdfs namenode -format 后，启动start-all.sh
[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61204 Jps
60093 NameNode
用jps 查看没有 datanode ,需要使用
hdfs 命令 hdfs datanode 启动
[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61348 Jps
60093 NameNode
61247 DataNode
用jps 查看没有 namenode ,需要使用
hdfs 命令 hdfs --daemon start namenode 启动 ,可能是hdfs文件没了，需要格式化hdfs namenode -format
- hadoop command
用 hdfs dfs -ls / | hadoop fs -ls / 查看目录文件信息 。
hdfs dfs -mkdir /test 创建文件
hdfs dfs -put history.txt /test 上传文件到test目录
-
hadoop 安全模式
hadoop dfsadmin -safemode leave 离开安全模式
安全模式是hadoop的一种保护机制，在启动时，最好是等待集群自动退出，然后进行文件操作。
hive
前提
- 安装JDK-略过
- 安装Hadoop-略过
- 安装Mysql-略过 docker 安装的数据库，docker 启动
hive map reduce
yarn --daemon start nodemanager
-
在hive中可以查询hadoop文件目录
dfs -ls -R /;
-
hive 连接用户问题
user: ** is not allowed to impersonate anonymous，这个通常是因为Hadoop的hdfs需要配置用户代理： <property> <name>hadoop.proxyuser.**.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.**.groups</name> <value>hadoop</value> </property>
-
hive启动服务端口，配置文件后 需要kill -9 ,在启动
hive --service hiveserver2 >/dev/null 2>&1 & -
beeline
beeline -u jdbc:hive2://192.168.31.225:10000/
37开 - 原创文章(已经在多平台发表)，转载请标明出处
