Linux知识点小结

作者：华超
原文地址：https://blog.huachao.me/

Linux一出，谁与争锋

$1 我的Linux需求

Linux博大精深。我只在此讨论一些我对线上Linux机器维护人员的基本需求，比如装机，加硬盘，配网络。只讨论CentOS 6，或者类似的RHEL，当然Ubuntu也可以此类推，但是一些新特性不予讨论，因为我不懂，比如CentOS 7的xfs不予讨论，并不是说xfs不好，而是以目前我的Linux水平需要更新很多xfs的知识，驾驭需要时间。CentOS 7将ifconfig，netstat等原来常用的命令也干掉了，用ip，lsof替换是更加好的工具，但是大部分的线上机器都应该还没有更新到CentOS 7。下面我们以CentOS 6作为基础，谈我认为最基本的4点。

$1.1 最小化安装

CentOS有一个minimal版本，相对于标准版去掉了很多Service，比如Network Manager，安装最小版本以后的网络配置是需要admin进行写配置文件的。我个人认为这样是比较好的，因为这样才能知道Linux内核真正关心的是哪些配置文件，直达核心。一些必要的监控工具，完全可以通过yum install来完成。作为线上机器，还是最小化安装，做到能不开的服务就不开，能关掉的端口就关掉，这样既能将宝贵的硬件资源留下来给应用程序，也能够做到更加的安全。

$1.2 足够安全

除了将能关的端口关掉，能不用的服务关掉以外，安全还需要做到特定的服务只能访问特定的内容。哪怕是root账户，不能访问的文件和文件夹还是不能访问，更加不能操作。开启SELinux以后，能够做到在不修改SELinux的情况下，指定的服务只能访问指定的资源。对于ssh要做到关闭账户密码登录，只能通过秘钥登录，这样在保证秘钥不被盗用的情况下是最安全的。

$1.3 资源按需调度

我们经常会遇到这样一个问题，假设将磁盘sda挂载到/var目录，但是由于log太多或者上传的文件等等其他因素将硬盘吃光了，再创建一块sdb磁盘就无法挂载到/var目录了，其实Linux自带的lvm已经解决了这个问题，并且CentOS默认就是用lvm来管理磁盘的。我们需要学会如何格式化一块硬盘为lvm，然后挂载到对应目录，在空间被吃光前能够添加一块硬盘就自动扩容。

$1.4 网络监控

Linux本地要利用好net_filter，也就是iptables，来规划服务哪些网络流量，抛弃哪些网络流量。以及在进行组网的时候需要用router来进行网关的创建，在遇到网络问题的时候通过netstat来查看网络访问异常。网络这块内容很多很杂，各种参数，TCP/IP协议栈等等，但是往往问题还就是出在网络这块，所以要给与高度的关注。

$2 Linux的理念与基础

小谈几点我对Linux的认识。

$2.1 Linux的文件系统

Linux将所有的事物都看成文件，这一点人尽皆知。我想说的是，除了传统的ext文件系统，Linux在抽象不同的资源的时候其实有各种不同的文件系统，都是从需求和使用出发，比如proc文件系统就是针对进程的抽象，使得修改对应进程的值就可以直接改变进程的行为。再比如，对于远程ssh登录的pts设备，Linux有对应的devpts文件系统。看下面表哥的type一栏。

$2.2 Linux的权限管理

Linux的-rwxrwxrwx权限管理也可谓人尽皆知，其实Linux自己也意识到了这样的权限管理所带来的一些局限性。首先rwx的权限管理是基于用户和组的，并且只是大致的分为owner|group|other这三类，无法再作更加细粒度的划分。有鉴于此，Linux目前默认是有ACL(Access Control List)管理的，所谓ACL，就是能够提供更加细粒度的用户和组管理。比如，可以明确哪个user可以有什么样的权限。如下示例：

getfacl abc
# file: abc
# owner: someone
# group: someone
user::rw-
user:johny:r-x
group::r--
mask::r-x
other::r--

而SELinux提供了不基于用户与组的权限管理，SELinux是基于应用程序的，什么样的应用程序可以使用什么资源，对于这些资源这个应用程序能干嘛，这个就是SELinux的管理方式。

$2.3 Linux上的Service

Linux上的Service组织得非常清晰，/etc/init.d/里面包含了所有的Service启动脚本，对应的二进制文件在/usr/bin、/usr/sbin、/usr/local/bin等目录下，一般而言配置文件在/etc/app_name下，还有一个chkconfig的工具来管理各个runlevel下需要启动的Service。这样的约定俗成使得管理员在配置和使用的时候非常方便。Linux标准的Service都会将log记录到/var/log/messages中，使得系统管理员不需要翻阅各种log，直接在/var/log/messages中就可以找到绝大部分的log来判断当前系统是否正常。更甚者，syslogd被rsyslogd替换以后，可以将/var/log/messages中的内容通过UDP发送到远端用专业的log分析工具进行分析。我们需要学习Linux上Service的这些优秀的编程习惯和技巧。

$3 磁盘

根据$1中的需求，下面是我记录的一些基本的磁盘操作。

  • df -lah查看磁盘的使用情况
  • fdisk -l查看插入到磁盘驱动器中的硬盘; sd(a,b,c)(1,2,3)，其中a是第一块磁盘，b是第二块磁盘，1，2，3表示磁盘上的主分区，最多4个。用fdisk从磁盘创建分区并且格式化。
  • LVM(logical volume manager)，主要就是满足加硬盘就能直接写数据的功能，而不会出现磁盘满了，新的磁盘只能挂载其他目录的情况。lvm有几个概念，VG, PV。将磁盘lvm格式化，创建PV, 创建VG，将创建的PV加入VG，然后在VG中创建lvm，然后就可以动态增加大小了。注意，将磁盘格式化为lvm，但是lv的格式化需要用ext，然后才能mount上去。参考这篇文章CentOS 6 卷组挂载硬盘教程
  • mount -t type(ext4|nfs) /dev/sdxn /path/dir来挂载。如果要重启生效，必须将挂载信息写入到/etc/fstab
  • 磁盘IO效率(IOPS)需要用vmstat, top等工具来查看。和性能相关的调优和监控留待后续文章详述。

$4 网络

网络的坑很多，需要把网络搞通没个3，4年很难。下面从网络的配置文件着手，简单理一下网络方面的内容。网络最难的方面应该是如何搭建一个合理的高效的局域网或者城域网，这个需要有专业的网络知识。

$4.1 配置文件

  • /etc/hosts私有IP对应主机名
  • /etc/resolv.confnameserver DNS的IP
  • /etc/sysconfig/network其中NETWORKING=要不要有网络，HOSTNAME=主机名，NETWORKING_IPV6=支持ipv6否
  • /etc/sysconfig/network-scripts/ifcfg-xxx其中DEVICE=网卡代号，BOOTPROTO=是否使用dhcp，HWADDR，IPADDR，NETMASK，ONBOOT，GATEWAY

$4.2 与网络有关的一些命令

  • router -n查看路由的命令，特别是要看带G的，表示gateway，而带U的表示up。
  • netstat -anp查看所有启动的tcp,udp,unix stream的应用程序，以及他们的状态，具体可以参考TCP/IP,JavaSocket简单分析一文。

$5 安全

$5.1 PAM

PAM只需要简单了解就行，是一个可插拔的认证模块。我的理解是：开发Linux的极客们搞出来的可复用的一个组件。举个例子，现在有一个app，想要验证当前的登录用户是否有权限操作某个目录，那么在PAM里面有现成的模块，app只需要include这个模块，给出一个配置文件，就可以了。有一个非常好的关于PAM的视频教程，请看这里

  • PAM是应用程序用来进行身份验证的。早期的身份验证和应用程序本身耦合，后来把身份验证单独抽出来，通过PAM来进行管理。
  • /etc/pam.d/xxx是能用pam来进行管理的应用程序PAM设置，在安装应用程序的时候安装。/etc/security/mmm, /lib/security/pam_mmm是一套。

$5.2 SELinux

SELinux也有一个非常好的视频教程，请看这里

  • getenforce来查看SELinux是否被启用
  • /etc/sysconfig/selinux enforcing启用SELinux
  • SELinux对“运行程序”配置和检查其是否有权限操作“对象”（文件系统），而普通的ACL(rwx)就是根据文件所属owner及其组来判断。SELinux是看可执行文件的type和目录文件的type是否兼容，来决定可执行文件是否能操作资源。

$5.3 防火墙

下面是学习时候的一些摘录。特别一点，要开启内核参数net.ipv4.ip_forward=1，在/etc/sysctl.conf文件中，用sysctl -p来保存。所谓ip_forward指的是内核提供的从一个iface到另外一个iface的IP包转发，比如将IP包从192.168.1.10的eth0转发到10.0.0.123的eth1上。防火墙配置是需要专业技能的。

  • tcp_wrapper需要libwrap.so的支持，可执行文件在ldd bin_file出来没有libwrap.so的，都不能用tcp_wrapper
  • iptables是按照规则进行短路判断的，即 满足条件1->执行action1->结束
  • iptables-save来更加清晰的查看
  • 先删掉全部规则，然后添加，比较简单。添加的时候，先添加策略，再添加细部规则。一般来讲，我们需要关注的是filter这个表的INPUT与OUTPUT
  • iptables -A(I) INPUT(OUTPUT,FORWARD) -i(o) iface -p tcp(ump,imp,all) -s (!)source -d dest -j ACCEPT(REJECT,DROP), 还支持的参数 —dport —sport

$6 工具

一个好的Linux命令参考网站

$6.1 CPU

  • top特别注意load
  • ps aux和ps -ef特别注意进程状态
  • vmstat 1表示每秒采集一次
  • sar -u 1查看所有cpu相关的运行时间

$6.2 Memory

  • free
  • vmstat 1注意其中的swap ram block之间的关系
  • sar -r 1内存使用率
  • sar -W 1查看swap，查询是否由于内存不足产生大量内存交换

$6.3 IO

  • lsof -i:port查询哪个进程占用了这个端口号
  • lsof -u username用户打开的文件
  • lsof -p pid进程打开的文件

杂项

关于安装好系统之后的运行脚本，这边有一个参考：

#!/bin/bash
#################################################
#   author  huachao
#   date    2015-12-09
#   email   i@huachao.me
#   web     blog.huachao.me
#################################################

flagFile="/root/centos6-init.executed"

precheck(){

    if [[ "$(whoami)" != "root" ]]; then
    echo "please run this script as root ." >&2
    exit 1
    fi

    if [ -f "$flagFile" ]; then
    echo "this script had been executed, please do not execute again!!" >&2
    exit 1
    fi

    echo -e "\033[31m WARNING! THIS SCRIPT WILL \033[0m\n"
    echo -e "\033[31m *1 update the system; \033[0m\n"
    echo -e "\033[31m *2 setup security permissions; \033[0m\n"
    echo -e "\033[31m *3 stop irrelevant services; \033[0m\n"
    echo -e "\033[31m *4 reconfig kernel parameters; \033[0m\n"
    echo -e "\033[31m *5 setup timezone and sync time periodically; \033[0m\n"
    echo -e "\033[31m *6 setup tcp_wrapper and netfilter firewall; \033[0m\n"
    echo -e "\033[31m *7 setup vsftpd; \033[0m\n"
    sleep 5
    
}

yum_update(){
    yum -y update
    #update system at 5:40pm daily
    echo "40 3 * * * root yum -y update && yum clean packages" >> /etc/crontab
}

permission_config(){
    #chattr +i /etc/shadow
    #chattr +i /etc/passwd
}

selinux(){
    sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' /etc/sysconfig/selinux
    setenforce 1
}

stop_services(){
    for server in `chkconfig --list |grep 3:on|awk '{print $1}'`
    do
        chkconfig --level 3 $server off
    done
     
    for server in crond network rsyslog sshd iptables
    do
       chkconfig --level 3 $server on
    done
}

limits_config(){
cat >> /etc/security/limits.conf <<EOF
* soft nproc 65535
* hard nproc 65535
* soft nofile 65535
* hard nofile 65535
EOF
echo "ulimit -SH 65535" >> /etc/rc.local
}

sysctl_config(){
sed -i 's/net.ipv4.tcp_syncookies.*$/net.ipv4.tcp_syncookies = 1/g' /etc/sysctl.conf
sed -i 's/net.ipv4.ip_forward.*$/net.ipv4.ip_forward = 1/g' /etc/sysctl.conf
cat >> /etc/sysctl.conf <<EOF
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog =  32768
net.core.somaxconn = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.ip_local_port_range = 1024  65535
EOF
sysctl -p
}

sshd_config(){
    if [ ! -f "/root/.ssh/id_rsa.pub" ]; then
    ssh-keygen -t rsa -P '' -f /root/.ssh/id_rsa
    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
    chmod 600 /root/.ssh/authorized_keys
    fi

    #sed -i '/^#Port/s/#Port 22/Port 65535/g' /etc/ssh/sshd_config
    sed -i '/^#UseDNS/s/#UseDNS no/UseDNS yes/g' /etc/ssh/sshd_config
    #sed -i 's/#PermitRootLogin yes/PermitRootLogin no/g' /etc/ssh/sshd_config
    sed -i 's/#PermitEmptyPasswords yes/PermitEmptyPasswords no/g' /etc/ssh/sshd_config
    sed -i 's/PasswordAuthentication yes/PasswordAuthentication no/g' /etc/ssh/sshd_config
    /etc/init.d/sshd restart
}

time_config(){
    #timezone
    echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile

    # Update time
    if [! -f "/usr/sbin/ntpdate"]; then
        yum -y install ntpdate
    fi
    
    /usr/sbin/ntpdate pool.ntp.org
    echo "30 3 * * * root (/usr/sbin/ntpdate pool.ntp.org && /sbin/hwclock -w) &> /dev/null" >> /etc/crontab
    /sbin/service crond restart
}

iptables(){
cat > /etc/sysconfig/iptables << EOF
# Firewall configuration written by system-config-securitylevel
# Manual customization of this file is not recommended.
*filter
:INPUT DROP [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
:syn-flood - [0:0]
-A INPUT -i lo -j ACCEPT
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p icmp -m limit --limit 100/sec --limit-burst 100 -j ACCEPT
-A INPUT -p icmp -m limit --limit 1/s --limit-burst 10 -j ACCEPT
-A INPUT -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK SYN -j syn-flood
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A syn-flood -p tcp -m limit --limit 3/sec --limit-burst 6 -j RETURN
-A syn-flood -j REJECT --reject-with icmp-port-unreachable
COMMIT
EOF
/sbin/service iptables restart
source /etc/profile
}

other(){
    # initdefault
    sed -i 's/^id:.*$/id:3:initdefault:/' /etc/inittab
    /sbin/init q
    
    # PS1
    #echo 'PS1="\[\e[32m\][\[\e[35m\]\u\[\e[m\]@\[\e[36m\]\h \[\e[31m\]\w\[\e[32m\]]\[\e[36m\]$\[\e[m\]"' >> /etc/profile
     
    # Wrong password five times locked 180s
    sed -i '4a auth        required      pam_tally2.so deny=5 unlock_time=180' /etc/pam.d/system-auth
}

vsftpd_setup(){
    yum -y install vsftpd
    mv /etc/vsftpd/vsftpd.conf /etc/vsftpd/vsftpd.conf.bak
    touch /etc/vsftpd/chroot_list
    setsebool -P ftp_home_dir=1
cat >> /etc/vsftpd/vsftpd.conf <<EOF
# normal user settings
local_enable=YES
write_enable=YES
local_umask=022
chroot_local_user=YES
chroot_list_enable=YES
chroot_list_file=/etc/vsftpd/chroot_list
local_max_rate=10000000
# anonymous settings
anonymous_enable=YES
no_anon_password=YES
anon_max_rate=1000000
data_connection_timeout=60
idle_session_timeout=600
# ssl settings
#ssl_enable=YES             
#allow_anon_ssl=NO           
#force_local_data_ssl=YES    
#force_local_logins_ssl=YES  
#ssl_tlsv1=YES               
#ssl_sslv2=NO
#ssl_sslv3=NO
#rsa_cert_file=/etc/vsftpd/vsftpd.pem 
# server settings
max_clients=50
max_per_ip=5
use_localtime=YES
dirmessage_enable=YES
xferlog_enable=YES
connect_from_port_20=YES
xferlog_std_format=YES
listen=YES
pam_service_name=vsftpd
tcp_wrappers=YES
#banner_file=/etc/vsftpd/welcome.txt
dual_log_enable=YES
pasv_min_port=65400
pasv_max_port=65410
EOF
    chkconfig --level 3 vsftpd on
    service vsftpd restart
}
 
main(){
    precheck
    
    printf "\033[32m================%40s================\033[0m\n" "updating the system            "
    yum_update

    printf "\033[32m================%40s================\033[0m\n" "re-config permission           "
    permission_config

    printf "\033[32m================%40s================\033[0m\n" "enabling selinux               "
    selinux

    printf "\033[32m================%40s================\033[0m\n" "stopping irrelevant services   "
    stop_services
    
    printf "\033[32m================%40s================\033[0m\n" "/etc/security/limits.config    "
    limits_config
    
    printf "\033[32m================%40s================\033[0m\n" "/etc/sysctl.conf               "
    sysctl_config

    printf "\033[32m================%40s================\033[0m\n" "sshd re-configuring            "
    sshd_config
    
    printf "\033[32m================%40s================\033[0m\n" "configuring time               "
    time_config
    
    printf "\033[32m================%40s================\033[0m\n" "configuring firewall           "
#   iptables
    
    printf "\033[32m================%40s================\033[0m\n" "someother stuff                "
    other

    printf "\033[32m================%40s================\033[0m\n" "done! rebooting                "
    touch "$flagFile"
    sleep 5
    reboot
}

main
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,732评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,496评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,264评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,807评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,806评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,675评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,029评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,683评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 41,704评论 1赞 299
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1赞 332
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,413评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,016评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2赞 350
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2赞 343

推荐阅读更多精彩内容

  • linux资料总章
    linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,131评论 2赞 34
  • CentOS 常用命令大全(转)
    下面，就给大家介绍这些CentOS常用命令。 一：使用CentOS常用命令查看cpu more/proc/cpui...
    guiwuzhe阅读 2,477评论 1赞 25
  • Linux 基础知识
    本文包括： 1、Linux 系统概述 2、Linux 用户和用户组管理 3、Linux 文件和目录管理 4、Lin...
    廖少少阅读 2,640评论 1赞 40
  • Linux知识点捡拾
    基础命令 为了在 sudo 中设置权限提升，您需要编辑 sudoers 文件。 你不应该直接编辑文件，而是使用：s...
    米开朗基乐阅读 1,885评论 0赞 5
  • .DS_Store _&_ .gitignore
    (.DS_Store)避免多人提交代码到GitHub上起冲突http://www.jianshu.com/p/4f...
    FlyTheKite阅读 915评论 2赞 0