大数据之生产常用Linux命令（1）

1. 查看当前路径

[root@hadoop001 ~]# pwd
/root

2. ls查看

2.1 仅显示文件夹、文件名称

[root@hadoop001 ~]# ls

2.2 显示额外信息权限用户用户组时间大小

2.3 显示额外信息，也显示隐藏文件夹文件(隐藏文件以.开头）

[root@hadoop001 ~]# ls -l -a
total 40
dr-xr-x---.  6 root root 4096 Apr 15 21:51 .
dr-xr-xr-x. 17 root root 4096 Aug  8  2018 ..
-rw-------.  1 root root 3814 Apr 15 21:49 .bash_history
-rw-r--r--.  1 root root   18 Dec 29  2013 .bash_logout

2.4 仅查看文件大小

[root@hadoop001 ~]# ls -l -h

2.5 按时间排序查看最新文件

[root@hadoop001 ~]# ls -l -r -t

3. 创建文件夹（mkdir）

3.1 同时创建多个文件夹

[root@hadoop001 ~]# mkdir dir1 dir2 dir3

3.2 级联创建(记得加参数-p哦）

[root@hadoop001 ~]# mkdir -p dir4/dir5/dir6

4. 切换路径

4.1 切换到根目录

[root@hadoop001 ~]# cd /

4.2 切换到上一层目录

[root@hadoop001 ~]# cd ../

4.3 切换到家目录(符号为~)

root用户家目录 /root
普通xx用户家目录 /home/xx

以下是进入家目录的三种方式

[root@hadoop001 ~]# cd /root root 用户 
[root@hadoop001 ~]# cd /home/xx 普通xx用户

[root@hadoop001 ~]# cd 直接回车

[root@hadoop001 ~]# cd ~

4.4 回到上次访问的目录

[root@hadoop001 ~]# cd -

5. 命令帮助

[root@hadoop001 ~]# 命令 --help

6. 清除屏幕：输入一个clear就欧克啦

7.mv移动和cp复制

[root@hadoop001 ~]# mv dir1  ruozedata/dir1

注意复制文件夹的时候记得用-r（递归参数哦!!!)
[root@hadoop001 ~]# cp -r dir2 ruozedata/dir2

这两个功能也可用作重命名文件

[root@hadoop001 ~]# mv  dir2 dir22
[root@hadoop001 ~]# cp -r dir3 dir33

8. 创建文件

创建文件分为创建空文件和非空文件

创建一个空文件，我们直接用touch命令

[root@hadoop001 ~]# touch 1.log

非空文件创建

echo:打印一句话直接到文件
vi:编辑一个文件，自动创建

[root@hadoop001 ~]# echo "hadoop > 3.log

[root@hadoop001 ~]# vi 3.log

9.覆盖与追加

覆盖 >（高危高危！！！慎用）
追加 >>

将hadoop直接覆盖原文件内容
[root@hadoop001 ~]# echo "hadoop" > 3.log

将hadoop追加到原文件内容后面
[root@hadoop001 ~]# echo "hadoop" > 3.log

10. 查看文件内容（log config data）

cat xxx.log 文件内容一下子全部显示 ctrl+z 中断(适用于较少内容的文件)
more xxx.log 文件内容按页查找，按空格往下 Ctrl+B回退 q退出(文件内容相对较多)
less xxx.log 文件内容按上下键 q退出
tail 实时查看文件最新内容（重点）
tail -F = tail -f + retry

场景：在被监控的文件被移走且重命名后，又创建了一个相同名字的文件，系统会retry把这个文件找到，继续监控。
常用于大数据flume组件exec source： tail -F erp.log

查看文件后100行内容，并实时监控
[root@hadoop001 ~]# tail -100f xxx.log

[root@hadoop001 ~]# tail -F xxx.log

11. 管道过滤

如果文件内容超多，又想快速定位到需要的信息，我们用管道

下面定位某篇日志的ERROR信息

[root@hadoop001 ~]# cat xxx.log | grep ERROR   当前行
[root@hadoop001 ~]# cat xxx.log | grep -A 5 ERROR   后5行
[root@hadoop001 ~]# cat xxx.log | grep -B 5 ERROR   前5行
[root@hadoop001 ~]# cat xxx.log | grep -C 5 ERROR   前后各5行

如果定位出来的ERROR多达上万个，我们可以将其打印在一个新的
文件，用more查看
[root@hadoop001 ~]# cat xxx.log | grep -C 5 ERROR > 20200418error.log

[root@hadoop001 ~]# more 20200418error.log

12. 上传下载

安装工具包
下载 sz 从Linux到windows
上传 rz 从windows到Linux

安装工具包
[root@hadoop001 ~]# yum install -y lrzsz

下载
[root@hadoop001 ~]# sz xxx.log

上传
[root@hadoop001 ~]# sz xxx.log

13. 删除rm(又来一个高危命令，跑路的那种）

千万不要做 rm -rf / 一了百了！！！

[root@hadoop001 ~]# rm 11.log
rm: remove regular file ‘11.log’? y
[root@hadoop001 ~]# rm -f 1.log
[root@hadoop001 ~]# rm -r dir22
rm: remove directory ‘dir22’? y
[root@hadoop001 ~]# rm -rf dir33
[root@hadoop001 ~]#

14. 环境变量

全局变量: /etc/profile 所有用户都可以使用
个人变量: ~/.bash_profile 只能是当前用户使用其他不能使用~/.bashrc 【推荐】
场景:如果将环境变量配置在~/.bash_profile , ssh远程执行B机器,这个命令是找不到的（java command not found ），直接登陆B机器，可以被找到
（which java），所以应该配置在~/.bashrc文件里。

文件生效三个方式

[root@hadoop001 ~]# source ~/.bash_profile(或者是~/.bashrc)

[root@hadoop001 ~]# source /etc/profile

进家目录
[root@hadoop001 ~]# . .bashrc

15. 设置机器名以及ip映射

 [root@Localhost ~]# hostnamectl  hostnamectl set-hostname hadoop001

[root@hadoop001 ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.3 hadoop001

16. 用户，用户组

创建一个普通用户用户名称 czy,同时也会创建一个 czy用户组
设置czy用户的组为czy,且把这个czy用户组设置为主组。同时也创建家目录
/home/czy.

[root@hadoop001 ~]# useradd czy
[root@hadoop001 ~]# id czy
uid=1002(czy) gid=1003(czy) groups=1003(czy)

样式丢失：将家目录下所以的.bash*文件删除，再退出重登用户，会出现以下情况：

[root@hadoop001 ~]# su - czy
[czy@hadoop001 ~]$ rm -rf .bash*
[czy@hadoop001 ~]$ exit
logout
[root@hadoop001 ~]# su - czy
Last login: Tue Apr 21 16:11:35 CST 2020 on pts/0
-bash-4.2$ 
-bash-4.2$ 
-bash-4.2$

样式恢复：将/etc/skel下所有以.开头的文件全部复制到当前文件夹，再重新登陆一下用户。

-bash-4.2$ cp /etc/skel/.* ./
cp: omitting directory ‘/etc/skel/.’
cp: omitting directory ‘/etc/skel/..’
cp: omitting directory ‘/etc/skel/.mozilla’
-bash-4.2$ exit
logout
[root@hadoop001 ~]# su - czy
Last login: Tue Apr 21 16:11:57 CST 2020 on pts/0
[czy@hadoop001 ~]$

添加用户到Bigdata用户组

[root@hadoop001 ~]# usermod -a -G Bigdata czy
[root@hadoop001 ~]# id czy
uid=1002(czy) gid=1003(czy) groups=1003(czy),1002(Bigdata)
[root@hadoop001 ~]# usermod -g Bigdata czy
[root@hadoop001 ~]# id czy
uid=1002(czy) gid=1002(Bigdata) groups=1002(Bigdata)
[root@hadoop001 ~]# usermod -a -G czy czy
[root@hadoop001 ~]# id czy
uid=1002(czy) gid=1002(Bigdata) groups=1002(Bigdata),1003(czy)
[root@hadoop001~]#

17. 切换用户

[root@hadoop001 ~]# su czy

推荐下面的方式，登陆用户直接切换到家目录，且执环境变量文件
[root@hadoop001 ~]# su - czy

18. sudo 普通用户临时使用root的最大权限

编辑/etc/sudoers文件
czy ALL=(root) NOPASSWD:ALL

19. /etc/passwd文件

czy:x:1004:1005::/home/czy:/sbin/nologin 有提示无法登陆
czy:x:1004:1005::/home/czy:/usr/bin/false 无提示

[root@hadoop001 ~]# vi /etc/passwd
[root@hadoop001 ~]# su - czy
Last login: Tue Apr 21 16:14:53 CST 2020 on pts/0
This account is currently not available.
[root@hadoop001 ~]#

[root@hadoop001 ~]# su - czy
Last login: Tue Apr 21 16:38:52 CST 2020 on pts/0
[root@hadoop001 ~]#

20. 权限

[root@hadoop001 ~]# ll
-rw-r--r-- 1 root root 9 Apr 18 20:50 22.log
drwxr-xr-x 2 root root 6 Apr 15 22:12 dir3
第一个字母：d文件夹 -文件 l链接
后面9个字母,3个字母为一组:
rw- r-- r--

r: read 读权限 4
w: write 写权限 2
x: 执行 1
-: 没权限 0 占位

7=4 2 1
5=4 1
6=4 2

rw- 第一组 6 代表文件或文件夹的所属用户，读写权限
r-- 第二组 4 代表文件或文件夹的所属用户组，读权限
r-- 第三组 4 代表其他用户组的用户对这个文件或文件夹，读权限

rw-r--r-- root root 22.log


案例:
[root@hadoop001 tmp]# vi czy.log
www.xxxxxxxxxxxx.com

[czy@hadoop001 tmp]$ cat  czy.log 
www.xxxxxxxxxxxx.com
[czy@hadoop001 tmp]$ 

收回其他组的r权限 
[czy@ruozedata001 tmp]$ cat czy.log 
cat: czy.log: Permission denied
[czy@ruozedata001 tmp]$

21.查看大小

文件： ll -h 、du -sh
文件夹: du -sh

[root@ruozedata001 ~]# ll -h
total 20K
-rw-r--r--. 1 root root   22 Apr 19 23:07 11.log
-rw-------. 1 root root 1.5K Apr 16 14:19 anaconda-ks.cfg
-rw-r--r--. 1 root root 5.0K Apr 19 23:45 cat.log
drwxr-xr-x. 2 root root    6 Apr 20 15:10 dir111

[root@ruozedata001 ~]# du -sh
84K .
[root@ruozedata001 ~]#

22. 常用快捷方式

dd 删除当前行
dG 删除当前及以下所有行
ndd 删除当前及以下n行
gg 跳转到第一行的第一个字母
G 跳转到最后一行的第一个字母
shift+$ 行尾

23. 清空文件

清空补充：

cat /dev/null > 1.log
echo "" > 2.log

[root@hadoop001 ~]# ll
total 16
-rw-r--r-- 1 root root 0 Apr 19 21:58 1.log
-rw-r--r-- 1 root root 1 Apr 19 21:58 2.log
场景:
shell脚本，数据文件清空操作，根据字节大小判断是否清空完成

echo "" > 2.log
if filezise > 0 then
业务不操作

else
2.log 灌业务数据

注：会继续更新！！！

最后编辑于：2020.04.22 15:24:43

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,711评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,079评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,194评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,089评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,197评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,306评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,338评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,119评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,541评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,846评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,014评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,694评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,322评论 3赞 318
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,026评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,257评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,863评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,895评论 2赞 351