当内存不足时会发生什么,结果很简单,linux的内存用完了,无法申请缓冲区,内核会挑选进程将其杀死,一般情况下,杀死正在申请内存的程序。频繁的进行磁盘swap操作,经常会出现这类问题,或是并发处理时启动的进程数过多。
出现内存耗尽的原因很简单,你申请的内存大小,超过了可用的虚拟内存的大小,注意是虚拟内存(内存并不是唯一的,交换分区也可以提供内存)
探究oom(out of memory)
首先运行下面的程序,不断申请大量内存:
#include<stdio.h>#include<stdlib.h>#define MEGABYTE 1024*1024intmain(intargc,char*argv[]){void*myblock=NULL;intcount=0;while(1){myblock=(void*)malloc(MEGABYTE);if(!myblock)break;printf("Currently allocating %d MB\n",++count);}exit(0);}
上面的程序运行一会就会出现oom,现在运行另外一个程序,不断申请内存,并且将其填充1。
#include<stdio.h>#include<stdlib.h>#define MEGABYTE 1024*1024intmain(intargc,char*argv[]){void*myblock=NULL;intcount=0;while(1){myblock=(void*)malloc(MEGABYTE);if(!myblock)break;memset(myblock,1,MEGABYTE);printf("Currently allocating %d MB\n",++count);}exit(0);}
有发现不同吗,事实上程序1可以比程序2申请更多的内存。两个程序退出的原因都是因为空间不够了,然而程序1的退出时因为malloc的失败,而程序2的退出则是因为内核所谓的oom killer 将其杀死了。
程序2退出的时候:
Currently allocatinn 1589 MB
程序1退出的时候:
Currently allocating 274520 MB(64位系统)
为什么程序1相较程序2可以多分配如此多的内存,这是因为linux采用了延迟的页面分配。也就是说内存只有在真正用的时候才进行分配,这种技术被称为optimistic memory allocation。
查看/proc/pid/status文件就可以知道这个情况。(其中vmdata是所占用的虚拟内存)
首先是程序1:
然后是程序2:
当我们请求一个内存区时,c库会判断当前预分配的内存块是否足够大,如果不够,程序会通过扩展堆空间的方式来获取内存。
查看文件/proc/pid/maps可以看到堆里的内存块。
在内存用尽的时候oom killer会依据策略挑选需要杀死的进程进行kill操作,策略是可以配置的。每个进程的oom_score是动态变化的,越大越可能被杀死。
通过查看/proc/pid/oom_score 可以知晓该进程的值。一般来说占用内存越多的值越高,运行时间越早的值越小。
同时在系统里面有些相对重要的进程可能会得到较高的值,这个时候可以使用/proc/pid/oom_adj文件。把里面的数值设置为整数,这个进程就越有可能被杀掉,相反设置为负数,就越有机会存活。当这个值为-17,oom-killer就会完全忽略这个进程。
当然这种方式不容易实现和管理,有其他编写代码管理oom-killer的方法。
如果系统有日志的话,killer的日志会保存到
grep -i kill /var/log/messages*
依据这个日志,可以调整策略,保证重要进程的正常运行,例如数据库和web服务。
oom-killer的代码位于mm/oom_kill.c
其调用的顺序是malloc -> _alloc_pages -> out_of_memory() -> select_bad_process() -> badness()
【文章福利】小生推荐自己的Linux后台/内核技术交流群【 318652197】整理了一些个人觉得比较好的学习书籍,视频资料共享在群文件里面,有需要的自行添加哦!!!前100名进群领取,额外赠送一份价值699的内核资料包(含视频、电子书、实战项目及代码)