docker-compose部署微服务发生资源抢占的问题解决

2019-06-26

在阿里云172.16.2.221服务器上的微服务都不可用了，查看情况为，三个微服务一直在重启，分别是ace-announcement，ace-notice和app-advertising。一直重启也造成cpu使用率一直处于90%以上。查找原因，发现任意启动两个微服务都是可以的，只要同时运行三个微服务，就会造成全部微服务的重启。临时的解决办法是将其中一个微服务转移到222服务器上运行，先保证系统的正常运行。然后再查原因发现，启动两个微服务后，系统的内存仅剩1G多一点，当再启动另外一个微服务时，就会因为内存不足，而导致所有微服务都重启的现象发生！

既然找到了原因，就想改如何解决这个问题。其中一个比较简单的办法就是升级服务器的内存，顺便也可以把cpu升级了。升级到8核32GB，大概需要2800元。但是升级服务器总得有个合适的理由吧，比如拿出一些数据来证明真的是服务器的资源不足导致的问题发生。但是从另外一个角度讲，服务占用内存的情况已经是最优的了吗？是否还可以进行调整，使得内存占用更小，且保证微服务的正常运行。

于是我的挑战就来了，我想要证明，微服务已经是最优的了，并且是可控的。如果这样还是不行，才能通过升级服务器配置的方法去解决问题。

我想通过调整微服务的运行内存，来控制内存的占用情况。一顿查啊，发现docker是可以通过加-m来限制内存大小的，那么docker-compose启动的容器是如何限制内存的呢？发现，version:3以上的版本是通过添加resources来限制cpu和mem资源的，但是前提条件是必须是在docker stack swarm下才能生效；docker-compose是自动忽略这个参数项的。

version:2中使用的是mem_limit来限制资源的使用，version:3不支持此配置项。

所以为了使用mem_limit，我将docker-compose.yaml中的version版本改为了2，再加上mem_limit: 500m，以为这样就可以限制内存的使用情况了。而实际情况是，内存最大限制是生效了，但是因为限制了最大内存，导致微服务的jvm虚拟机无法启动，总是启动到一半就自动退出，然后重启···改成1000m，也还是一样的情况，所以判断是jvm启动所需要的内存大小要超过1000m，这就很鸡肋了。我运行微服务本来是为了少占用一些系统资源，结果每个微服务都会占用约1.7GB的内存，多个微服务叠加在一起，可不就导致内存占满了嘛。而且跟开发人员沟通发现，微服务本身不会占用那么大的内存空间，应该是都被微服务依赖的jdk所占据了，并非是微服务应用本身。

所以调整了排查方向，想通过改变jdk基础镜像，来降低和控制jvm占用的内存空间大小，经过上网查找发现，openjdk:8-jre-alpine是个不错的选择。于是下载了该jdk，然后替换到Dockerfile中，并且添加上了：

ENTRYPOINT ["java","-XX:+UnlockExperimentalVMOptions","-XX:+UseCGroupMemoryLimitForHeap","-jar","/root/ace-notice.jar"]

用来保证你的Java进程不会因为内存问题被容器Kill。

这样，配合在docker-compose.yaml中添加mem_limit: 500m，再启动微服务，就可以正常启动了，并且查看该微服务资源占用情况：

可以看到，内存占用已经被限制住了！！！

补充：

如果不更换jdk，继续使用java:8-alpine，并且添加上了：

"-XX:+UnlockExperimentalVMOptions","-XX:+UseCGroupMemoryLimitForHeap"

则会在启动微服务时报错，提示该jdk版本不支持UseCGroupMemoryLimitForHeap：

Unrecognized VM option 'UseCGroupMemoryLimitForHeap'

Error: Could not create the Java Virtual

Machine.

不对内存做限制，ace-notice对内存占用的情况为1.66G：

此时服务器内存剩余情况为：

对内存做了限制之后：

执行：docker stats 容器ID

此时服务器内存剩余情况为：

可以看到，对容器的启动内存做了限制之后，微服务对内存的占用情况小了很多，这也是为什么没有做内存限制之前，服务器的内存占用情况很大的原因。当内存不足时，各微服务就会发生资源的争抢，最终导致该台服务器上的所有微服务一直在重启（jvm）。所以，从根本上解决问题，还是限制内存，避免发生资源争抢的情况发生。当然，也可以升级服务器的内存，从物理机制上解决资源不足的问题。

重新对所有微服务都进行了调整后，运行正常，资源占用明显变小，服务器内存剩余变多，这样就不用升级服务器了，再运行其他应用都绰绰有余了。这才是解决问题的正确方式！！！