当前位置:   article > 正文

Git(七).git 文件夹瘦身,GitLab 永久删除文件_删除git 本地仓库的文件

删除git 本地仓库的文件

一、问题背景

由于项目在打 Docker 包的时候,需要将前端的包也打到 Docker 容器中,所以将前端包和前端的 Dockerfile 文件都放在了后端的 Git 目录下。

久而久之,由于前端包的更新迭代,Git 上面会一直保留前端包的历史版本,所以整个后端的 .git 越来越大,截至目前已经有 2.44G 了。每次有新的小伙伴加入 git 后都需要花很长时间来拉取代码,苦不堪言,而且 Jenkins 上面新建项目的拉取也会超时。

二、问题复现

2.1 新建项目

GitLab 上新建一个项目 my-test

在这里插入图片描述

我们可以看到,新建好的项目,默认只有 20KB

在这里插入图片描述

2.2 上传大文件

执行命令将项目克隆到本地:

git clone http://xxxx/xxx/xxx.git
  • 1

此时,.git 文件夹大小为 30.7KB

为了更加全面地测试,我们创建两个分支,并且分别上传文件。

分支、文件结构对应关系如下:

  • dev-test1 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件,12.8MB

    ​ | - test_2.pdf 文件,12.8MB

  • dev-test2 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件,12.8MB

    ​ | - test_2.pdf 文件,12.8MB

相关命令如下:

# 创建dev-test1分支
git checkout -b dev-test1
git add -A .
git commit -m "update test1"
git push origin dev-test1

# 创建dev-test2分支
git checkout -b dev-test2
git add -A .
git commit -m "update test2"
git push origin dev-test2
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

2.3 上传结果

将大文件上传到 GitLab 后,仓库的大小如下:

  • .git11.2MB
  • GitLab11.3MB

在这里插入图片描述

三、解决方案

注意:操作前要保证是最新版本。

3.1 GitLab备份与还原

1)备份

在操作之前,我们要先备份 GitbLab 中的项目。最简单的方式就是直接将项目导出来。

在 GitLab 上打开项目,进入菜单 Settings -> General -> Advanced,点击 Expand 打开折叠。

在这里插入图片描述

点击 Export project

在这里插入图片描述

可以看到提示,这个导出是一个异步的操作,当导出完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会有一个下载链接,点击链接下载,保存24小时。

在这里插入图片描述

下载后文件如下,文件名格式为:日期_时分秒_用户名_项目名.tar.gz

在这里插入图片描述

2)还原

点击首页的 New project

在这里插入图片描述

选择 Import project

在这里插入图片描述

选择 GitLab export

在这里插入图片描述

输入项目名称,选择我们之前导出的 .tar.gz 文件,点击 Import project

在这里插入图片描述

还原完毕,分支和大小都在。

在这里插入图片描述

3.2 删除方式一:git filter-repo 命令【推荐】

注意:git-filter-repo 工具需要依赖 Git 和 Python。

1)安装
# 安装(pip是Python自带的安装工具)
pip install git-filter-repo
# 查看版本
git-filter-repo --version
  • 1
  • 2
  • 3
  • 4

执行结果:

在这里插入图片描述

注意:git-filter-repo 需要在一个刚刚 clone 下来的仓库中进行操作,否则会操作失败。

Aborting: Refusing to destructively overwrite repo history since
this does not look like a fresh clone.
(expected at most one entry in the reflog for HEAD)
Please operate on a fresh clone instead. If you want to proceed
anyway, use --force.

在这里插入图片描述

2)删除本地仓库文件

git clone 到本地后立即执行如下命令:

(不要做切换分支等操作,否则会报错,删除重新克隆才行。)

# 模糊匹配,删除所有pdf文件(会同时删除pdf文件夹)
git filter-repo --path-glob '*.pdf' --invert-paths

# 补充:精确匹配,仅删除pdf/test_1.pdf
git filter-repo --path-glob 'pdf/test_1.pdf' --invert-paths
  • 1
  • 2
  • 3
  • 4
  • 5

执行结果如下:

在这里插入图片描述

git filter-repo 命令本身是用来将处理后的本地仓库重新推送到新的远程仓库用的,所以执行命令之后,查看 .git/config 配置文件,里面远程仓库的内容都被清空了:

在这里插入图片描述

执行之后,查看本地 .git 文件夹大小,从 11.2MB 直降至 32.8KB

3)重新关联远程仓库

重新关联远程仓库的命令如下:

git remote add origin https://git.xxx.cn/acgkaka/my-test.git
  • 1
4)删除远程仓库文件

执行如下命令,将本地仓库的改动强制推送到远程仓库即可。

git push --force origin --all
  • 1

执行结果如下:

在这里插入图片描述

此时,GitLab 的远程仓库大小还是 11.2 MB,并无效果,别担心,还有最后一步操作。

在这里插入图片描述

4)clean up 清理远程仓库

做完上面的操作之后,等待半小时,是的,等待30分钟,因为 GitLab 不会清理半小时内提交的文件。

在 GitLab 上打开项目,进入菜单 Settings -> Repository -> Repository cleanup,点击 Expand 打开折叠。

在这里插入图片描述

在使用 clean up 时,需要提交一个文件,这个文件就是文件根目录下的 .git/filter-repo/commit-map

在这里插入图片描述

可以看到提示,这个导出是一个异步的操作,当cleanup完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会说明 cleanup 后的仓库大小,为 0.1MB

在这里插入图片描述

再去 GitLab 查看远程仓库大小,从 11.3MB 直降至 51KB,瘦身成功。

在这里插入图片描述

(经验证,这种方式删除掉的历史文件,即使有其他成员的本地仓库有未提交的版本,需要复制出来,删除本地仓库重新克隆后,再粘贴提交。)

3.3 删除方式二:git branch-filter 命令【不推荐】

注意: 目前经过尝试,发现 git branch-filter 虽然可以删除分支中的文件历史、提交记录,但是并不会减少 GitLab 中远程仓库的大小。

1)删除本地仓库文件

可以直接操作删除所有分支的文件,但是要注意必须保证所有分支都是最新代码才行。

也可以切换到具体分支,执行 git pull 拉取最新代码后,再进行删除,只要去除后面的 -- --all即可。

# 模糊匹配,删除所有pdf文件(会同时删除pdf文件夹)
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch '*.pdf'" --prune-empty --tag-name-filter cat -- --all

# 补充:精确匹配,仅删除pdf/test_1.pdf
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch 'pdf/test_1.pdf'" --prune-empty --tag-name-filter cat -- --all
  • 1
  • 2
  • 3
  • 4
  • 5

执行结果如下,可以看到 dev-test1dev-test2 分支被重写了。

在这里插入图片描述

2)删除远程仓库文件

执行如下命令,将本地仓库的改动强制推送到远程仓库即可。

# 推送本地所有分支到远程
git push --force --all
  • 1
  • 2

执行结果如下,可以看到 dev-test1dev-test2 分支被强制更新了。

在这里插入图片描述

我们可以去 GitLab 上面看下提交记录,"如果之前的提交只涉及被删除文件的话,对应提交记录就会被清空,如果提交中除了被删除文件之外还包含其他文件,那么提交记录和其他文件都会被保留,不受影响。

在这里插入图片描述

3)重新 repack 远程分支到本地

执行如下命令,删除 refs/original 文件夹,并重新更新远程仓库到本地。

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
git reflog expire --expire=now --all
git gc --prune=now
  • 1
  • 2
  • 3

执行之后,查看本地 .git 文件夹大小,从 11.2MB 直降至 32KB

再次声明,这种方式虽然可以删除分支中的文件历史、提交记录,但是并不会减少 GitLab 中远程仓库的大小。远程仓库大小依然为 11.3MB。(有大佬知道后面怎么处理的,欢迎评论补充)

在这里插入图片描述

整理完毕,完结撒花~

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/96876
推荐阅读
相关标签