harbor blobs占用的空间越来越大的情况记录和解决办法
2019-08-07
harbor所在的服务器突然提示磁盘空间不足，上去查看磁盘占用情况发现，/data竟然达到了49GB：
导致磁盘剩余只有17GB
于是我就好奇，做了一个统计，看看当前harbor中的所有image加起来到底是多少，这一统计就发现了问题，一共加起来才用了10GB不到，咋占用磁盘空间就达到了49GB呢？
所以怀疑，是否是产生了垃圾，导致了磁盘空间没有释放！！！
于是查了一下解决办法：
执行如下的前提是必须保证harbor是处于stop状态，而不能是down状态：
先执行：
docker-compose stop
然后执行
dockerrun -it --name gc --rm--volumes-from registryvmware/registry-photon:v2.6.2-v1.5.0garbage-collect--dry-run /etc/registry/config.yml
如果harbor是down状态，则会报错：
docker: Error responsefrom daemon: No such container: registry.
检测出如下结果：
此时磁盘占用情况为：
然后执行：
docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect /etc/registry/config.yml
可以看到上述并没有起作用：
于是在harbor控制台上手动删除了一些image，然后查看磁盘是没有立即释放的。
于是又执行了一次垃圾回收：
docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect --dry-run /etc/registry/config.yml
docker run -it --name gc --rm--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0garbage-collect /etc/registry/config.yml
然后查看发现，磁盘空间确实释放了2GB：
此时的磁盘空间占用为：
最后再启动harbor：docker-compose start
这只是证明了垃圾回收针对删除的image是起作用的。但是为啥blobs会占用这么大的空间呢？
于是接着查找原因，终于发现了一篇文章中记录着解决办法：
文章链接：https://www.cnblogs.com/xzkzzz/p/10151482.html
Harbor删除镜像后且GC清理后，磁盘空间没有释放。因为我们push大量相同标签的镜像，Docker 镜像由标签引用，并由唯一的摘要标识。这意味着如果myImage使用标记推送两个图像，在DR内部他们显示的不同，它们将由两个不同的digests标识。最后推送的Images是当前的。Docker 镜像由layers组成，每个layers都关联一个blob。该blob是最占用存储的文件; 这些文件将由GC清理。正由上面的描述每个镜像都会存储一个引用，因为，我们重复提交10次，那一个标签在DR中会有10个引用，标签只能获取tag。而其他9个只能用digest获取了。
简单的来说就是因为相同的标签的镜像重复提交次数过多导致。
通过向docker-compose.yml中添加：
ports：
-127.0.0.1:5000:5000
然后通过执行（需提前下载mortensrasmussen/docker-registry-manifest-cleanup）：
docker run--network="host" -it -v /data/registry:/registry -eREGISTRY_URL=http://127.0.0.1:5000mortensrasmussen/docker-registry-manifest-cleanup
来清理已删除未使用的那些blobs！！！
执行结果如下：
此时查看服务器磁盘空间，已经释放了：
可以看到，磁盘占用的情况已经发生了变化：
这简直是太美妙了！问题终于解决了！很久之前，在虚拟机中使用harbor，时间长了就出现过一回这个情况，但是当时没有找到解决办法，最后无奈迁移了harbor中的数据到新的harbor中。但是当时就对harbor的这个情况印象深刻，终于在这个环境中再次出现了，并且终于解决了！又攻克了一道大山！！！
补充一下通过harbor清理垃圾的方法：
首先必须以admin用户登录才行，普通用户是看不到以下页面的：
以上只是逻辑上的清理，但是磁盘空间并没有释放，必须要执行如下命令才能释放空间：
docker run -it --name gc --rm
--volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0 garbage-collect
/etc/registry/config.yml
但是以上命令不能删除多余的layer，只能释放删除的image的资源。若想真正删除多余的layer，还是需要：mortensrasmussen/docker-registry-manifest-cleanup 出马才行！！！
