镜像 Git 仓库,并保持同步

原文地址:https://alphahinex.github.io/2023/02/26/mirror-git-repo-and-keep-sync/


description: "How to mirror a git repo and keep sync"
date: 2023.02.26 10:26
categories:
- Git
tags: [Git]
keywords: git, mirror, prune, bare


有 A、B 两个 git 仓库,想实现类似主从数据库的效果:

  • A 库作为主库提交 Commit 记录
  • B 库作为备份库,同步 A 库内容,并在不影响 A 库的情况下提供读取、分析等操作

假设

TL;DR

全量镜像,执行一次:

rm -rf source.git
git clone --mirror http://git/repo/source.git
cd source.git
git remote add target http://another/git/sourcemirror.git
git push --mirror target 

增量同步,定时执行:

git --git-dir=/path/to/source.git fetch --prune
git --git-dir=/path/to/source.git push --mirror target

实现原理

实现原理如下图:

大致分为三个步骤:

  1. 全量同步
  2. 增量更新
  3. 同步变化

其中 2/3 步可以放在一起定时执行,起到保持同步的作用,并避免了每次同步全量更新,提高同步效率。

Step 1 克隆镜像仓库

在进行仓库的全量镜像时,我们不仅希望同步某些特定分支的提交记录,而是想完整的镜像源仓库的所有分支、tag 等信息。

这时,通常用来更新、提交代码的 clone、pull、push 操作就不太适合了。

Git 中有一个裸仓库(bare Git reposiotry)的概念,git-clone 的 Manual 中对此有如下描述:

--bare
    Make a bare Git repository. That is, instead of creating
    <directory> and placing the administrative files in
    <directory>/.git, make the <directory> itself the $GIT_DIR. This
    obviously implies the --no-checkout because there is nowhere to
    check out the working tree. Also the branch heads at the remote are
    copied directly to corresponding local branch heads, without
    mapping them to refs/remotes/origin/. When this option is used,
    neither remote-tracking branches nor the related configuration
    variables are created.

即在添加了 --bare 参数进行 git clone 时,我们得到的不再是一个包含了所有已提交文件最新版本的工作空间,而是原本存在于工作空间 .git 路径下的内容本身。

git clone

举个例子,在 git clone --mirror http://git/repo/source.git 之后,我们得到的是一个名为 source 的文件夹,路径下包括如下内容:

➜  source git:(master) tree -a -L 2
.
├── .git
│   ├── COMMIT_EDITMSG
│   ├── HEAD
│   ├── ORIG_HEAD
│   ├── config
│   ├── description
│   ├── hooks
│   ├── index
│   ├── info
│   ├── logs
│   ├── objects
│   ├── packed-refs
│   └── refs
├── README.md
├── Test.css
├── Test.groovy
├── Test.java
├── Test.js
├── Test.less
├── Test.scss
├── Test.vue
├── test.properties
└── test.yaml

6 directories, 17 files

git clone --bare

git clone --bare http://git/repo/source.git 之后,我们得到的是一个名为 source.git 的文件夹,路径下包括如下内容:

➜  source.git git:(master) tree -L 1
.
├── FETCH_HEAD
├── HEAD
├── config
├── description
├── hooks
├── info
├── objects
├── packed-refs
└── refs

4 directories, 5 files

可以看到,克隆相同的仓库,裸仓库中不包含我们提交的文件,只包含 Git 自己生成的文件。

--mirror vs --bare

--bare 参数类似,git-clone 还提供了另一个参数 —— --mirror

--mirror
    Set up a mirror of the source repository. This implies --bare.
    Compared to --bare, --mirror not only maps local branches of the
    source to local branches of the target, it maps all refs (including
    remote-tracking branches, notes etc.) and sets up a refspec
    configuration such that all these refs are overwritten by a git
    remote update in the target repository.

使用了 --mirror 参数,相当于同时指定了 --bare,也会得到类似上面 $GIT_DIR 的目录结构。

--bare 不同的是,通过 --mirror 参数克隆出来的裸仓库,是可以后续增量更新的。

所以如果只希望进行一次性的仓库迁移,使用哪个参数都可以;如果希望持续更新,需要使用 --mirror

Step 2 同步源仓库并进行修剪

同步

裸仓库的更新,与普通 git 仓库的更新也有区别。

通常我们使用 git pull 拉取最新代码,而 pull 操作相当于先执行了 fetch 操作,再接着执行 merge。

裸仓库中因为没有工作目录,没有办法执行 merge 操作,所以可以单独使用 fetch 进行更新,或使用 --mirror 参数文档中提到的 git remote udpate 命令更新。

修剪

同步时我们不仅希望同步增加的内容,也希望同步源仓库中减少的内容(如分支、tag等),这时需要为更新命令增加 --prune 参数,以修剪已不存在的内容。

-p, --prune
    Before fetching, remove any remote-tracking references that no
    longer exist on the remote. Tags are not subject to pruning if they
    are fetched only because of the default tag auto-following or due
    to a --tags option. However, if tags are fetched due to an explicit
    refspec (either on the command line or in the remote configuration,
    for example if the remote was cloned with the --mirror option),
    then they are also subject to pruning. Supplying --prune-tags is a
    shorthand for providing the tag refspec.

    See the PRUNING section below for more details.

--git-dir

同步操作会定时执行,为方便计划任务执行脚本,可在命令中指定 --git-dir 参数,设定 git 仓库路径,方便脚本在任意位置执行。

--git-dir=<path>
    Set the path to the repository. This can also be controlled by
    setting the GIT_DIR environment variable. It can be an absolute
    path or relative path to current working directory.

小结

同步并修剪,可使用下面任一方式执行:

$ git --git-dir=/path/to/source.git fetch --prune

$ git --git-dir=/path/to/source.git remote update origin --prune

Step 3 推送变更

克隆镜像仓库,或更新变更之后,可以通过 push 命令将内容推送至 B 仓库。在镜像仓库内执行 push 时,相当于默认指定了 --mirror 参数:

--mirror
    Instead of naming each ref to push, specifies that all refs under
    refs/ (which includes but is not limited to refs/heads/,
    refs/remotes/, and refs/tags/) be mirrored to the remote
    repository. Newly created local refs will be pushed to the remote
    end, locally updated refs will be force updated on the remote end,
    and deleted refs will be removed from the remote end. This is the
    default if the configuration option remote.<remote>.mirror is set.

故推送变更可使用

$ git --git-dir=/path/to/source.git push target

$ git --git-dir=/path/to/source.git push --mirror target

注意:指定了 --mirror 参数的推送相当于强制推送,即使目标仓库中原本存在一些与源库不一致的内容,也会将两个仓库的内容同步为一致的。 如果有分支被保护不允许强制提交,推送可能会失败。需要临时允许强制提交,待完成同步后,再禁止强制提交即可。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容