如何限制Linux内存的使用

本文问题

  1. 有哪几种方法可以限制内存的使用?
  2. Linux如何回收内存?
  3. 如何控制swap的使用?
  4. 如何使用limits限制资源使用?

常用命令

# 查看内存使用情况
free -m
# 查看内存使用限制
grep memlock /etc/security/limits.conf
# 查看SWAP使用积极度
cat /proc/sys/vm/swapiness
# 查看内存回收阈值
grep -A 3 'pages free' /proc/zoneinfo
# 查看内核分配策略
cat /proc/sys/vm/overcommit_memory
# 在分配策略为2的情况下查看可分配内存
grep Com /proc/meminfo

SWAP

swap是一块磁盘空间或者一个本地文件
/proc/sys/vm/swappiness可以设置服务器使用swap的积极程度。取值范围为0-100,值越大,越积极使用swap,更倾向于回收匿名页;值越小,越消极使用swap,更倾向于回收文件页。
即使swap设置为0,当剩余内存+文件页小于页高阈值(pages_high)的时候,也会发生swap

延展

文件页和匿名页

  • 文件页
    缓存,缓冲区,通过内存映射获取的文件映射页
    其中被应用程序修改过,暂时还没写入磁盘的数据被称之为脏页,不能直接回收,需要先写入磁盘,才能进行内存释放。非脏页可以直接回收
  • 匿名页
    应用程序动态分配的堆空间,不能直接回收,可以暂存到磁盘(swap

页阈值和Linux如何回收内存

Linux有专门的内核线程kswapd0定期回收内存,为了衡量内存的使用情况,kswapd0定义了三个内存阈值:页最小阈值pages_min、页低阈值pages_low和页高阈值pages_high,剩余内存使用pages_free表示。
kswapd0定期扫描内存的使用情况,并根据剩余内存和这三个阈值的关系进行内存回收操作。
pages_free<pages_min:进程可用内存耗尽,只有内核才可以分配内存
pages_min<pages_free<pages_low:内存压力较大,kswapd0会执行内存回收,直到剩余内存大于高阈值为止
pages_low<pages_free<pages_high:内存有一定压力,但还可以满足新内存请求
pages_free>pages_high:剩余内存较多,没有内存压力。
这些阈值可以通过内核选项来proc/sys/vm/min_free_kbytes间接设置。min_free_kbytes设置了页最小阈值(pages_min)。pages_low=pages_min*5/4,pages_high=pages_min*3/2

limits

/etc/security/limits.conf
通过这个配置文件可以对每个登录的会话进行限制,这种限制不是全局的,也不是永久的,只在会话期间起作用。
通常,对单个用户的限制优先级高于对用户组的限制

可以使用以下方式限制内存使用

@mysql  hard    memlock 63963136
@mysql  soft    memlock 63963136

详细说明

语法
<domain> <type> <item> <value>

domain

  • *
  • username
  • @groupname
  • min_uid:max_uid
  • @min_gid:max_@gid

type

  • hard 硬限制,强制不能超过该限制
  • soft 软限制,可以超过该限制
  • - 等同于 hard + soft

item

详见 limits.conf(5) - Linux man page

  • memlock 最大内存(KB
  • nproc 最大进程数
  • nofile 最大打开文件数

value

  • -1 表示无限制或无穷
  • 其他数值表示实际的限制值

内核参数

内存分配策略

/proc/sys/vm/overcommit_memory 控制内核使用虚拟内存的模式,可以设置为以下值

  • 0
    默认值,内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
  • 1
    不进行检查,只要有申请就允许分配内存。
  • 2
    总是检查内存使用情况,不允许过度分配内存
    允许系统使用的虚拟内存地址空间限制为(SS + RAM*(r/100)),SSswap的大小,RAM是物理内存的大小,r/proc/sys/vm/overcommit_ratio的值

问题答案

  1. 有哪几种方法可以限制内存的使用?
    2种方法,通过/etc/security/limits.conf文件限制用户或者用户组的内存组的内存使用限制,通过/proc/sys/vm/overcommit_memory/proc/sys/vm/overcommit_ratio可以限制系统总的内存使用情况。此外通过/proc/sys/vm/swappiness还可以设置系统是否积极使用swap
  2. Linux如何回收内存?
    Linux使用kswapd0内核线程定期检查内存的使用情况,当剩余内存小于页低阈值时对内存进行回收。页低阈值可以通过grep -A 3 'pages free' /proc/zoneinfo进行查看,可以通过/proc/sys/vm/min_free_kbytes进行间接设置:pages_low=pages_min*5/4
  3. 如何控制swap的使用?
    /proc/sys/vm/swappiness设置了系统使用swap的积极程度,值为0-100。注意该值不代表使用内存的百分比,并且即使值为0,也可能会使用swap。
  4. 如何使用limits限制资源使用?
    通过/etc/security/limits.conf文件为每个会话设置资源限制
    格式:
    username/@groupname soft/hard/- name value
    示例:
*               soft    core            0
*               hard    nofile          512
@student        hard    nproc           20
@faculty        soft    nproc           20
@faculty        hard    nproc           50
ftp             hard    nproc           0
@student        -       maxlogins       4
:123            hard    cpu             5000
@500:           soft    cpu             10000
600:700         hard    locks           10
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容

  • SWAP/swappiness/kswapd原理,swap分区优先级的妙用 概述 本文讨论的swap基于Linux...
    xywzhen阅读 5,175评论 1 5
  • 内存回收 当发生了内存泄漏时,或者运行了大内存的应用程序,导致系统的内存资源紧张时,系统又会如何应对呢? 这其实会...
    taj3991阅读 2,630评论 0 0
  • swap用来做什么 缓存和缓冲区属于可回收内存,它们在内存管理中,通常被叫做文件页(File- backed pa...
    崔天浩阅读 1,236评论 0 0
  • 处理器指标 CPU利用率(CPU utilization)top 用户时间(User time) 系统时间(Sys...
    零雁xy阅读 681评论 0 0
  • 1、感赏被宠爱。今天爸爸夹核桃,妈妈拨核桃,而我在吃核桃,好幸福。这是谁这么棒呀?当然是欢宝宝啦!爸爸妈妈...
    o糖果罐o阅读 309评论 0 1