赞
踩
同样是记录一下自己工作遇到的问题,免得下次再遇到了还到处网上查资料解决。
自己的项目的版本控制用的是Git,代码仓库在github托管。项目里用到了百度导航SDK,由于百度导航SDK有了新版本,于是就更新到了新版本,更新好了之后想把代码push到github上,结果出错了,被拒绝,具体信息是:
- Total 3007 (delta 664), reused 0 (delta 0)
- remote: error: GH001: Large files detected.
- remote: error: Trace: 7b7de6b9372ee392e0f3961b05ea6f33
- remote: error: See http://git.io/iEPt8g for more information.
- remote: error: File XXX/XXX/BaiduNaviSDK/libbaiduNaviSDK.a is 102.68 MB; this exceeds GitHub's file size limit of 100.00 MB
- To https://github.com/XXX/XXXX.git。
意思是有大文件,更多信息可到http://git.io/iEPt8g查看,文件libbaiduNaviSDK.a的大小超过了GitHub限制的100M大小。想要push,必须把这个文件移除,可是要怎么移除呢?开始我是想着直接删除掉libbaiduNaviSDK.a,结果不行,还是会报上面的错,于是我又把libbaiduNaviSDK.a放到忽略文件里,结果还是不行,还是说有大文件,报同样的错。这下只能老老实实的看官方的解决办法了,于是就打开http://git.io/iEPt8g老老实实的研究了一番。大意是说为了便于管理代码库和方便合作伙伴们使用,当你push50M以上的文件时github将会警告,当push100M以上文件,就直接拒绝你的push,要想push必须把该文件从本地仓库和远程仓库全部移除掉。这个移除会永久性的从本地git和github里移除,如果这个文件很重要,要记得做一次备份。
下面进入具体操作。如果这个文件是最近一次commit的,并且你还没有push到github,
那么第一步输入命令 cd /Users/Dora/Desktop/XXX(cd后面的这个路径要换成你自己项目的路径),
然后第二步输入命令 git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a(加下划线部分是你自己的要移除的文件的路径),
第三步输入命令 git commit --amend -CHEAD,执行完这步后,这个大文件将会从你的commit记录里移除,并且以后commit都将不会再把它commit了,这时候就可以git push把本地代码push到github上了。
注意:这里可能遇到输入git rm --cached /Users/Dora/Desktop/XXX/XXX/libbaiduNaviSDK.a命令后说找不到你要删除的文件的问题,出现这个问题的原因是你要删除的文件路径名没写对,一定要仔细检查,确保要删除的文件的路径是正确的。
如果做了这几步你push的时候还是报和开始的时候一样的错,那说明这个文件你不是最近一次commit时添加的,而是在之前commit过很多次了,这就需要把关于这个文件的所有历史commit记录全部清除掉,这时候我们就需要用到一个叫BFG的工具。我们要到https://rtyley.github.io/bfg-repo-cleaner/#download这个网站去下载并学习如何使用这个工具。首先先得把这个软件下载下来,双击它,如果你的电脑没有java的SDK,按照提示安装好,否则BFG将运行不了。好了之后,我们要cd进BFG文件所在目录,
第一步输入命令java -jar bfg.jar --no-blob-protection
--strip-blobs-bigger-than 50M my-repo.git
(红色部分是你下载下来的文件的名字,蓝色部分是你需要移除的文件大小,橙色部分是你自己.git文件的路径),第二步cd
my-repo.git ,第三步
git reflog expire --expire=now --all && git gc --prune=now --aggressive,第四步
git push
,到此大功告成。你的commit历史里所有大于50M的文件的commit全部被清除,这样你就可以push到github上了。这里只是记录了怎么处理遇到的问题,如果想要知道原理,则需要好好好去学习学习。
注意:这里可能遇到输入命令java -jar bfg.jar
--strip-blobs-bigger-than 50M my-repo.git后bfg运行不成功的问题,原因是java -jar bfg.jar这个命令必须要在bfg.jar所在目录下运行才行,否则系统将不知道bfg.jar文件在哪里,所以执行不成功。所以我们要先cd到bfg.jar所在目录,然后在执行
ava -jar bfg.jar
--strip-blobs-bigger-than 50M my-repo.git
命令。对于不熟悉命令行的人来说最容易犯这些错误了。
第二种方法:突破GitHub的限制,使用 git-lfs(Git Large File Storage) 支持单个文件超过100M
上面提到Git Large File Storage(https://git-lfs.github.com/).直接访问有 github 开源的 LFS 大文件上传方法就可以解决;
具体方式下面贴出来,也给自己备注下
LFS 并不能像”变魔术一样”处理所有的大型数据:它需要记录并保存每一个变化。然而,这就把负担转移给了远程服务器 - 允许本地仓库保持相对的精简。
为了实现这个可能,LFS 耍了一个小把戏:它在本地仓库中并不保留所有的文件版本,而是仅根据需要提供检出版本中必需的文件。
但这引发了一个有意思的问题:如果这些庞大的文件本身没有出现在你的本地仓库中….改用什么来代替呢? LFS 保存轻量级指针中有真实的文件数据。当你用一个这样的指针去迁出一个修订版时,LFS 会很轻易地找到源文件(不在他上面可能就在服务器上,特殊缓存)然后你下载就行了。
因此,你最终只会得到你真正想要的文件 - 而不是一些你可能永远都不需要冗余数据。
- # 1、安装git-lfs
- brew install git-lfs
-
- # 2、没有特别说明的情况下,LFS 不会处理大文件问题,因此,我们必须明确告诉 LFS 该处理哪些文件。将 FrameworkFold/XXXFramework/xxx的文件设置成大文件标示。
- git lfs track "FrameworkFold/XXXFramework/xxx"
-
- # 3、常规的push操作
- git add .
- git commit -m "add large file"
- git push
追踪文件路径(标示大文件):
1、追踪单个文件:
git lfs track "FrameworkFold/XXXFramework/xxx"
1
或者修改仓库路径下的 .gitattributes 文件:
FrameworkFold/XXXFramework/xxx filter=lfs diff=lfs merge=lfs -text
1
2、追踪指定类型的文件:
git lfs track "*.exe"
1
3、追踪指定目录下的文件:
git lfs track "FrameworkFold/*"
一些问题
1、Remote “origin” does not support the LFS locking API. Consider disabling it with
# 在最后一步push的时候
- git push -u origin develop1.0
- Remote "origin" does not support the LFS locking API. Consider disabling it with:
- $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
- Git LFS: (0 of 1 files) 0 B / 207.25 MB
- batch request: Access denied
- exec request failed on channel 0: exit status 255
- error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'
解决方式:
git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
2、batch request: Access denied
# 在最后一步push的时候
- git push -u origin develop1.0
- Remote "origin" does not support the LFS locking API. Consider disabling it with:
- $ git config lfs.https://git.oschina.net/harrydeng/xxx.git/info/lfs.locksverify false
- Git LFS: (0 of 1 files) 0 B / 207.25 MB
- batch request: Access denied
- exec request failed on channel 0: exit status 255
- error: failed to push some refs to 'git@git.oschina.net:harrydeng/xxx.git'
解决方式:
- # 删除 .git/hooks/pre-push 文件即可
- That looks like a server issue with deploy keys. For now, try removing .git/hooks/pre-push.
3、GitHub 目前 Git LFS的总存储量为1G左右,超过需要付费。(上传失败时,可以开启VPN进行上传)
4、batch response: Repository or object not found
- $ git lfs push origin master
- Git LFS: (0 of 1 files) 0 B / 207.25 MB
- batch response: Repository or object not found: https://gitee.com/harrydeng/LargeFileStorage.git/info/lfs/objects/batch
- Check that it exists and that you have proper access to it
失败原因:
是gitee.com这个git仓库并不支持lfs,所以在大文件入库的时候,提示失败
解决方式
目前来说,GitHub、GitLab、Coding。gitee(也就是git.oschina.net)目前还不支持。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。