基本命令
tar -tf 文件 查看归档文件的内容
tar -rf xxx 追加文件到tar中
xarge 将管道输出内容合并成一行数据，使用空格分隔
find. | grep txt | cp 'xarge' kk ' '是按照命令执行 也是命令的嵌套
mount 挂载外设
光驱的挂载
将设备挂载到一个目录下
mount /dev/cdrom /mnt/cdrom 下
解除挂载
unmount /dev/cdrom
basename
输出文件的基本名称（去除目录的那部分）
echo $(hostname) 类似于 echo hostname 都是进行动态执
行的
ctrl +alt +f6 开启一个新的会话命令行
做一个链接到bin目录下 这个链接叫 mybin
In -s /bin mybin
它的物理位置在 bin
当前目录是mybin 先出去
然后 cd -p mybin 进到bin目录下
输出环境变量
echo $evn_name 输出环境变量名称
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’错的
export mypath=/home/ubuntu 导入环境变量 这种导入只在当前
会话中有效
path 环境变量用:
export mypath=${PATH}:/home/ubuntu
echo $mypath
删除环境变量
export youpath=
basename
输出文件的基本名称（去除目录的那部分）
echo $(hostname) 类似于 echo hostname 都是进行动态执
行的
ctrl +alt +f6 开启一个新的会话命令行
做一个链接到bin目录下 这个链接叫 mybin
In -s /bin mybin
它的物理位置在 bin
当前目录是mybin 先出去
然后 cd -p mybin 进到bin目录下
输出环境变量
echo $evn_name 输出环境变量名称
echo ${evn_name}
echo “$evn_name”
echo ‘$evn_name’错的
export mypath=/home/ubuntu 导入环境变量 这种导入只在当前
会话中有效
path 环境变量用:
export mypath=${PATH}:/home/ubuntu 三元运算符
3hadoop 集群搭建
centos 中 java jdk的安装
http://download.csdn.net/download/janehlp/9605681
- 1、rpm -qa | grep Java 命令来查询出系统自带的jdk
2、rpm -e --nodeps 后面跟系统自带的jdk名 这个命令来删除系统自带的jdk
3、进入local目录之后 通过 mkdir java 命令来创建java目录存放自己的jdk
4、创建好之后，进入java目录 cd java
5导入jdk压缩包
- （1） yum -y install lrzsz
命令安装这个插件
安装插件完成之后输入 rz 命令然后按回车，就会弹出一个窗口，然后你就在这个窗口找到你下载好的jdk
注：使用 rz 命令的好处就是你在哪里输入rz导入的安装包他就在哪里，不会跑到根目录下 - （2）用工具 Xftp 导入
传输完成之后 ll 命令 查看
6、用
tar -zxvf jdk-8u11-linux-x64.tar.gz 命令解压
7、通过 rm -f jdk-8u11-linux-x64.tar.gz 删除安装包
8、通过 vim /etc/profile 命令打开 profile 文件盘配置环境变量
打开之后按 i 进入 insert （插入）模式，在文件末尾添加上环境变量
export JAVA_HOME=/usr/local/java/jdk1.8.0_11
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
9、用：wq 命令 保存
source /etc/profile 命令使刚才配置的环境变量生效
10、测试jdk
11、通过 java -version命令来查看你安装的jdk信息
jdk安装成功
tomcat的安装
1、导入tomcat安装包 到指定的路径
2、解压tomcat安装包
3、启动tomcat
进入tomcat服务器的bin目录，然后执行"./startup.sh"命令启动Tomcat服务器
4、关闭tomcat
进入tomcat服务器的bin目录，然后执行"./shutdown.sh"命令关闭Tomcat服务器
伪分布式的搭建
1、关闭 防火墙 启动 ssh
2、配置静态ip
准备工作：
准备一. 确认VMware Network Adapter VMnet8开启,查看ip地址.
准备二. 查看虚拟机设置,确保虚拟机Centos的网络配置是NAT,
设置静态IP
一般来说如果centos6.8没有网卡eth0配置文件，到网卡配置目录/etc/sysconfig/network-scripts/下面都会有一个 ifcfg-lo 回环接口配置文件，拷贝一份
命令为：
Cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ ifcfg-eth0
然后编辑eth0文件，将内容改为如下格式（标红的信息改为本机自定义的网段，IPADDR自定义最后一位范围一般在3~254）
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.80.138
NETMASK=255.255.255.0
NETWORK=192.168.80.0
BROADCAST=192.168.80.255
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.80.2
IPV6INIT=yes
IPV6_AUTOCONF=yes
我的设置
DEVICE=eth0
IPADDR=192.168.119.132
NETMASK=255.255.255.0
NETWORK=192.168.119.132
If you're having problems with gated making 127.0.0.0/8 a martian,
you can change this to something else (255.255.255.255, for example)
BROADCAST=192.168.119.255
ONBOOT=yes
NAME=loopback
BOOTPROTO=static
DNS1=114.114.114.114
DNS2=8.8.8.8
GATEWAY=192.168.119.132
IPV6INIT=yes
IPV6_AUTOCONF=yes
- DEVICE=eth0 #描述网卡对应的设备别名
BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或bootp，分别对应静态指定的 ip地址，通过dhcp协议获得的ip地址，通过bootp协议获得的ip地址
BROADCAST=192.168.182.255 #对应的子网广播地址,保持在同一个网段,末尾是255
ONBOOT=yes
IPADDR=192.168.182.100 #设置自己喜欢的ip地址,保持在同一个网段
NETMASK=255.255.255.0 #网卡对应的网络掩码
GATEWAY=192.168.182.2 #保持在同一网段,末尾设置为2
DNS1=192.168.182.2 #DNS1服务器的地址，保持在同一网段,末尾设置为2.
重新启动网络
chkconfig NetworkManager off
chkconfig network on
service NetworkManager stop
service network start
配置主机名
vi /etc/sysconfig/network
加入hostname=hadoop-master
配置host文件
vi /etc/hosts
192.168.80.138 hadoop-master
添加hadoop用户用于操作hadoop
hadoop的操作和配置尽量避免使用root用户
添加用户 hadoop；
修改hadoop密码
passwd hadoop
删除用户hadoop:
userdel hadoop
删除用户以及用户目录：
userdel -f hadoop
配置 ssh免密登录
现在需要从Host A通过ssh登录到Host A上
在HostA上执行
ssh-keygen –t rsa
一直回车就能生成SSH的私钥和公钥 id_rsa和id_rsa.pub
导入公钥到认证文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 注意要把~/.ssh和authorized_keys的权限进行修改。注意这里一定要改，否则不能成功。
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/
安装jdk 我已安装
安装hadoop
1、上传hadoop到虚拟机的/home/hadoop/app目录
2、解压hadoop
3、配置hadoop所使用的环境变量
Vi ~/.bashrc
将以下内容添加到文件末尾
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
配置hadoop
配置hadoop目录下的etc/hadoop目录下的
hadoop-env.sh、yarn-env.sh、mapred-env.sh
将#export JAVA_HOME=/xxxxx
改为export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144
配置hadoop目录下的etc/hadoop目录下的
Slaves文件将里面的内容改为hadoop-master
配置hadoop目录下的etc/hadoop目录下
core-site.xml、hdfs-site.xml文件、mapred-site.xml、yarn-site.xml
core-site.xml
在
<configuration>
</configuration>
标签内添加
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/hadooptmp</value>
</property>
hdfs-site.xml文件
在
<configuration>
</configuration>
标签内添加
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml文件
该目录下没有mapred-site.xml文件但是有mapred-site.xml.template模板文件
可复制该文件并命名为mapred-site.xml
Cp /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop-2.6.5/etc/hadoop/mapred-site.xml
编辑 mapred-site.xml在
<configuration>
</configuration>
标签内添加
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/hadoop/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/hadoop/mapred/system</value>
</property>
yarn-site.xml
在
<configuration>
</configuration>
标签内添加
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
测试hadoop
第一步：格式化hdfs文件系统：
hadoop namenode –format
第二步：进入hadoop目录下的sbin中启动，执行如下命令：
查看启动的java进程
在浏览器中查看hdfs的健康状态
[http://192.168.80.138:50070/]
