Git 高效大文件清理工具 BFG

1. Introduction

git删除提交时本质上是逻辑删除，文件依然保存repo里，存放于.git
传统 git 提供的「filter-branch」option 命令慢、操作复杂，且可能出现复杂的问题（别问我，我也不知道历史出现过什么问题）
git-filter-branch的另一种选择
核心功能是用来过滤删除大文件
比「filter-branch」更快：10-720x
Java实现

2. Prepare

官网提供jar包下载
JRE，Java程序运行环境，Java官网

alias，我的是Mac系统，为了使用方便，把bfg.jar加到环境变量里

cd ~
vim .bashrc
## 添加alias
alias git-bfg="java -jar your-local-path/bfg.jar"

git仓库逻辑删除、提交、合并至default（master）分支
- 后面的操作是基于default分支进行的，如果在default分支上存在即将删除的文件，会处于保护模式，如下
```
Protected commits
-----------------
These are your protected commits, and so their contents will NOT be altered:
* commit xxxxxx (protected by 'HEAD')
```
- 也可以通过指令解除保护模式（--no-blob-protection），但是我在测试时使用该方式会有问题，在后续对重新拉取的work-tree进行merge操作时会报错（解决，git pull origin master --allow-unrelated-histories）：fatal: refusing to merge unrelated histories。而先确保删除已经提交到master分支后，即可以不用关闭保护模式，同时也不会出现后续合并报错

3. How To Use

一个完整的例子

## 建一个mirro文件夹「mirror-dir」
mkdir mirror-dir
## clone repo mirror，好了之后当前dir下会出现一个文件夹「some-big-repo.git」
cd mirror-dir
git clone --mirror git://example.com/some-big-repo.git
## 物理删除你制定的文件，这里我以文件名指定（我使用git-bfg，还记得前面的alias吗）
## 原命令 java -jar your-local-path/bfg.jar --delete-files xxx.jpg some-big-repo.git
git-bfg --delete-files xxx.jpg some-big-repo.git
## physically delete the unwanted stuff
cd some-big-repo.git
git reflog expire --expire=now --all && git gc --prune=now --aggressive
## push到远程仓库
git push

其他方式

## 删除文件名为 id_rsa、id_dsa的文件
git-bfg --delete-files id_{dsa,rsa}  my-repo.git
## 删除大于50M的文件
git-bfg --strip-blobs-bigger-than 50M  my-repo.git
## 删除文件夹
git-bfg --delete-folders .git --delete-files .git  --no-blob-protection  my-repo.git

验证

验证哪些
- 验证范围：branch（master、develop、feature）、tags
- 验证手段：repo大小变化
- 辅助：分支rewrite

验证过程

查看

## 执行物理删除前后分别查看一次
## 查看文件大小
du -h
## 查看分支
git branch -vv

结果
- branch、tags均被rewrite，包括ref id
- .git大小明显减小

注意

如果这个仓库执行删除操作之前已经有人开始使用了，那么执行完删除之后，需要重新clone，否则，已经clone的repo即不能push也不能pull
所以这种操作方式需要开发、测试、生产发布人员做一次重新clone的动作

4. Reference

最后编辑于：2020.07.22 17:04:56