十、selinux及文本处理AWK

一、Selinux介绍

           SELinux:Security-Enhanced Linux, 是美国国家安全局(NSA=The National Security Agency)和SCC(Secure Computing Corporation)开发的 Linux一个强制访问控制(MAC:Mandatory Access Control 强制访问控制)的安全模块。2000年以GNU GPL发布,Linux内核2.6版本后集成在内核中。

二、启用SELinux

配置概要:

  1. 检查SELinux是否启用
  2. 给文件重新打安全标签
  3. 给端口设置安全标签
  4. 设定某些操作的布尔型开关

SELinux的状态:

  • enforcing:强制,每个受限的进程都必然受限
  • permissive:允许,每个受限的进程违规操作不会被禁止,但会被记录于审计日志
  • disabled:禁用

相关命令:
getenforce: ##获取selinux当前状态
sestatus:##查看selinux状态

  • setenforce 0|1
    0: 设置为permissive
    1: 设置为enforcing
  • 配置文件:
    /boot/grub/grub.conf 在kernel行使用selinux=0表示禁用SELinux
    /boot/grub2/grub.cfg 在linux16行使用selinux=0表示禁用SELinux

vi /etc/selinux/config 或 /etc/sysconfig/selinux
编辑行内容:SELINUX={disabled|enforcing|permissive}

示例:编写脚本selinux.sh,实现开启或禁用SELinux功能
cat selinux.sh

#!/bin/bash
read -p "Enter enforcing or permissive or disabled." var
case $var in
        enforcing)
        setenforce 1;getenforce
        ;;
        permissive)
        setenforce 0;getenforce
        ;;
        disabled)
        sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config;echo "Please restart yourself."
        ;;
        *)
        echo "Please Enter enforcing or permissive or disabled."
esac

三、awk文本处理工具

3.1 awk介绍

  • awk:Aho, Weinberger, Kernighan,报告生成器,格式化文本输出

  • 基本用法:
    awk [options] 'program' var=value file…
    awk [options] -f programfile var=value file…
    awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ...
    awk 程序可由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成
    Program:pattern{action statements;..} 通常是被放在单引号中
    pattern和action
    pattern 部分决定动作语句何时触发及触发事件:
    BEGIN,END
    action statements 对数据进行处理,放在{}内指明:
    print, printf

  • 选项:
    -F “分隔符” 指明输入时用到的字段分隔符
    -v var=value 变量赋值

  • 分割符、域和记录
    awk执行时,由分隔符分隔的字段(域)标记$1,$2...$n称为域标识。
    $0为所有域,注意:此时和shell中变量$符含义不同
    文件的每一行称为记录
    省略action,则默认执行 print $0 的操作

  • print格式:print item1, item2, ...
    要点:
     1. 逗号分隔符
     2. 输出item可以字符串,也可是数值;当前记录的字段、变量或awk的表达式
     3. 如省略item,相当于print $0

3.2 awk工作原理

  • 第一步:执行BEGIN{action;… }语句块中的语句
  • 第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
  • 第三步:当读至输入流末尾时,执行END{action;…}语句块
               BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
               END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块
               pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

3.3 awk printf命令

格式化输出:printf “FORMAT”, item1, item2, ...
(1) 必须指定FORMAT
(2) 不会自动换行,需要显式给出换行控制符,\n
(3) FORMAT中需要分别为后面每个item指定格式符

  • 格式符:与item一一对应
    %c:显示字符的ASCII码
    %d, %i:显示十进制整数
    %e, %E:显示科学计数法数值
    %f:显示为浮点数
    %g, %G:以科学计数法或浮点形式显示数值
    %s:显示字符串
    %u:无符号整数
    %%:显示%自身
  • 修饰符
    #[.#] 第一个数字控制显示的宽度;第二个#表示小数点后精度,%3.1f
    - 左对齐(默认右对齐) %-15s
    + 显示数值的正负符号 %+d

3.4 awk控制语句

if-else
语法:
if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else{statement3}
使用场景:对awk取得的整行或某个字段做条件判断

while循环
语法:while(condition){statement;…}
条件“真”,进入循环;条件“假”,退出循环
使用场景:
对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用

for循环
语法:for(expr1;expr2;expr3) {statement;…}
常见用法:
for(variable assignment;condition;iteration process)
{for-body}
特殊用法:能够遍历数组中的元素
语法:for(var in array) {for-body}

3.5 awk数组

关联数组:
array[index-expression]

表达式:
(1) 可使用任意字符串;字符串要使用双引号括起来
(2) 如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串”
(3) 若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历
(4) 若要遍历数组中的每个元素,要使用for循环
for(var in array) {for-body}

示例1:统计/etc/fstab文件中每个文件系统类型出现的次数

awk '/^\/dev|^UUID*/{filetype[$3]++}END{for(i in filetype){print i,filetype[i]}}' /etc/fstab

swap 1
xfs 2

示例2:提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字(for循环)

echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|awk -F "[^[:digit:]]" '{for(j=1;j<=NF;j++){count[$j]}}END{for(i in count){printf "%s",i}printf   "\n"}'

79053

示例3:解决DOS攻击生产案例:根据web日志或者或者网络连接数,监控当某个IP 并发连接数或者短时内PV达到100,即调用防火墙命令封掉对应的IP,监控频 率每隔5分钟。防火墙命令为:iptables -A INPUT -s IP -j REJECT

cat def_httpd_dos.sh 
#!/bin/bash
for i in $(awk '{a[$1$4]++ }END{for (i in a) print i,a[i]}' /var/log/httpd/access_log*|sort -nk2|awk  -F'[' '{print $1,$2}'|awk '$3>10{print $1}'|sort|uniq)
do

echo  $i >> /tmp/reject_log

iptables -A INPUT -s $i -j REJECT

done
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351