当前位置:   article > 正文

处理GitHub不允许上传大于100M文件问题_lfs.locksverify

lfs.locksverify

同样是记录一下自己工作遇到的问题,免得下次再遇到了还到处网上查资料解决。

自己的项目的版本控制用的是Git,代码仓库在github托管。项目里用到了百度导航SDK,由于百度导航SDK有了新版本,于是就更新到了新版本,更新好了之后想把代码push到github上,结果出错了,被拒绝,具体信息是:

  1. Total 3007 (delta 664), reused 0 (delta 0)
  2. remote: error: GH001: Large files detected.
  3. remote: error: Trace: 7b7de6b9372ee392e0f3961b05ea6f33
  4. remote: error: See http://git.io/iEPt8g for more information.
  5. remote: error: File  XXX/XXX/BaiduNaviSDK/libbaiduNaviSDK.a is 102.68 MB; this exceeds GitHub's file size limit of 100.00 MB
  6. To https://github.com/XXX/XXXX.git。

意思是有大文件,更多信息可到http://git.io/iEPt8g查看,文件libbaiduNaviSDK.a的大小超过了GitHub限制的100M大小。想要push,必须把这个文件移除,可是要怎么移除呢?开始我是想着直接删除掉libbaiduNaviSDK.a,结果不行,还是会报上面的错,于是我又把libbaiduNaviSDK.a放到忽略文件里,结果还是不行,还是说有大文件,报同样的错。这下只能老老实实的看官方的解决办法了,于是就打开http://git.io/iEPt8g老老实实的研究了一番。大意是说为了便于管理代码库和方便合作伙伴们使用,当你push50M以上的文件时github将会警告,当push100M以上文件,就直接拒绝你的push,要想push必须把该文件从本地仓库和远程仓库全部移除掉。这个移除会永久性的从本地git和github里移除,如果这个文件很重要,要记得做一次备份。

下面进入具体操作。如果这个文件是最近一次commit的,并且你还没有push到github,

那么第一步输入命令 cd /Users/Dora/Desktop/XXX(cd后面的这个路径要换成你自己项目的路径),

然后第二步输入命令 git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a(加下划线部分是你自己的要移除的文件的路径),

第三步输入命令 git commit --amend -CHEAD,执行完这步后,这个大文件将会从你的commit记录里移除,并且以后commit都将不会再把它commit了,这时候就可以git push把本地代码push到github上了。

注意:这里可能遇到输入git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a命令后说找不到你要删除的文件的问题,出现这个问题的原因是你要删除的文件路径名没写对,一定要仔细检查,确保要删除的文件的路径是正确的。

如果做了这几步你push的时候还是报和开始的时候一样的错,那说明这个文件你不是最近一次commit时添加的,而是在之前commit过很多次了,这就需要把关于这个文件的所有历史commit记录全部清除掉,这时候我们就需要用到一个叫BFG的工具。我们要到https://rtyley.github.io/bfg-repo-cleaner/#download这个网站去下载并学习如何使用这个工具。首先先得把这个软件下载下来,双击它,如果你的电脑没有java的SDK,按照提示安装好,否则BFG将运行不了。好了之后,我们要cd进BFG文件所在目录,

第一步输入命令java -jar bfg.jar --no-blob-protection --strip-blobs-bigger-than 50M my-repo.git(红色部分是你下载下来的文件的名字,蓝色部分是你需要移除的文件大小,橙色部分是你自己.git文件的路径),第二步cd my-repo.git ,第三步 git reflog expire --expire=now --all && git gc --prune=now --aggressive,第四步git push,到此大功告成。你的commit历史里所有大于50M的文件的commit全部被清除,这样你就可以push到github上了。这里只是记录了怎么处理遇到的问题,如果想要知道原理,则需要好好好去学习学习。

注意:这里可能遇到输入命令java -jar bfg.jar --strip-blobs-bigger-than 50M my-repo.git后bfg运行不成功的问题,原因是java -jar bfg.jar这个命令必须要在bfg.jar所在目录下运行才行,否则系统将不知道bfg.jar文件在哪里,所以执行不成功。所以我们要先cd到bfg.jar所在目录,然后在执行ava -jar bfg.jar --strip-blobs-bigger-than 50M my-repo.git命令。对于不熟悉命令行的人来说最容易犯这些错误了。

第二种方法:突破GitHub的限制,使用 git-lfs(Git Large File Storage) 支持单个文件超过100M

上面提到Git Large File Storage(https://git-lfs.github.com/).直接访问有 github 开源的 LFS 大文件上传方法就可以解决;
具体方式下面贴出来,也给自己备注下

LFS 并不能像”变魔术一样”处理所有的大型数据:它需要记录并保存每一个变化。然而,这就把负担转移给了远程服务器 - 允许本地仓库保持相对的精简。

为了实现这个可能,LFS 耍了一个小把戏:它在本地仓库中并不保留所有的文件版本,而是仅根据需要提供检出版本中必需的文件。

但这引发了一个有意思的问题:如果这些庞大的文件本身没有出现在你的本地仓库中….改用什么来代替呢? LFS 保存轻量级指针中有真实的文件数据。当你用一个这样的指针去迁出一个修订版时,LFS 会很轻易地找到源文件(不在他上面可能就在服务器上,特殊缓存)然后你下载就行了。

因此,你最终只会得到你真正想要的文件 - 而不是一些你可能永远都不需要冗余数据。

  1. # 1、安装git-lfs
  2. brew install git-lfs
  3. # 2、没有特别说明的情况下,LFS 不会处理大文件问题,因此,我们必须明确告诉 LFS 该处理哪些文件。将 FrameworkFold/XXXFramework/xxx的文件设置成大文件标示。
  4. git lfs track "FrameworkFold/XXXFramework/xxx"
  5. # 3、常规的push操作
  6. git add .
  7. git commit -m "add large file"
  8. git push

追踪文件路径(标示大文件):

1、追踪单个文件:

git lfs track "FrameworkFold/XXXFramework/xxx"


1
或者修改仓库路径下的 .gitattributes 文件:

FrameworkFold/XXXFramework/xxx filter=lfs diff=lfs merge=lfs -text


1
2、追踪指定类型的文件:

git lfs track "*.exe"


1
3、追踪指定目录下的文件:

git lfs track "FrameworkFold/*"

一些问题
1、Remote “origin” does not support the LFS locking API. Consider disabling it with

# 在最后一步push的时候

  1. git push -u origin develop1.0
  2. Remote "origin" does not support the LFS locking API. Consider disabling it with:
  3.   $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
  4. Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
  5. batch request: Access denied
  6. exec request failed on channel 0: exit status 255
  7. error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'


解决方式:

git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false


2、batch request: Access denied

# 在最后一步push的时候

  1. git push -u origin develop1.0
  2. Remote "origin" does not support the LFS locking API. Consider disabling it with:
  3.   $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
  4. Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
  5. batch request: Access denied
  6. exec request failed on channel 0: exit status 255
  7. error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'


解决方式:

  1. # 删除 .git/hooks/pre-push 文件即可
  2. That looks like a server issue with deploy keys. For now, try removing .git/hooks/pre-push.


3、GitHub 目前 Git LFS的总存储量为1G左右,超过需要付费。(上传失败时,可以开启VPN进行上传)

4、batch response: Repository or object not found

  1. $ git lfs push origin master
  2. Git LFS: (0 of 1 files) 0 B / 207.25 MB                                                                                                    
  3. batch response: Repository or object not found: https://gitee.com/harrydeng/LargeFileStorage.git/info/lfs/objects/batch
  4. Check that it exists and that you have proper access to it


失败原因:

是gitee.com这个git仓库并不支持lfs,所以在大文件入库的时候,提示失败


解决方式

目前来说,GitHub、GitLab、Coding。gitee(也就是git.oschina.net)目前还不支持。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/1012457
推荐阅读
相关标签
  

闽ICP备14008679号