首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用BFG从存储库中删除大文件,但缺少分支

BFG是一个强大的命令行工具,用于从Git存储库中删除大文件。它可以帮助我们解决由于大文件导致的存储库过大的问题,从而提高存储库的性能和管理效率。

BFG的主要优势包括:

  1. 快速而高效:BFG使用Java编写,经过优化,可以处理非常大的存储库,并在短时间内完成操作。
  2. 简单易用:BFG提供简洁的命令行接口,只需几个简单的步骤即可完成大文件的删除操作。
  3. 精确删除:BFG可以根据文件大小、文件名等条件进行筛选,精确删除指定的大文件,避免误删其他文件。
  4. 安全可靠:BFG会自动创建备份,确保在删除大文件时不会丢失任何数据,同时提供撤销操作,以便在需要时恢复删除的文件。

BFG的应用场景包括:

  1. 存储库瘦身:当Git存储库中包含大量大文件时,使用BFG可以快速删除这些文件,从而减小存储库的体积,提高克隆、推送等操作的速度。
  2. 敏捷开发:在敏捷开发中,经常需要频繁地创建、合并分支,如果存储库过大,会增加分支操作的复杂性和耗时。使用BFG可以快速删除大文件,使得分支操作更加轻松高效。
  3. 存储库迁移:当需要将存储库迁移到其他代码托管平台或云服务时,BFG可以帮助我们在迁移前清理存储库中的大文件,减小迁移的时间和成本。

腾讯云提供了一系列与Git存储库相关的产品和服务,可以帮助我们更好地管理和利用存储库资源。其中,腾讯云代码托管(CodeCommit)是一项安全、稳定、高效的托管服务,支持Git存储库的创建、管理和协作。您可以通过以下链接了解更多关于腾讯云代码托管的信息:腾讯云代码托管产品介绍

请注意,以上答案仅供参考,具体的解决方案和产品选择应根据实际需求和情况进行评估和决策。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

被吐槽 GitHub仓 太大,直接 600M 瘦身到 6M,这下舒服了

翻了翻各个项目发现里边的确有许多应该忽略的文件.idea、.mvn、target都被我提交了,直接删除文件,并没有什么卵用,项目整体size变化不大,应该不是这些文件的原因。...在Git系统,.git目录存储了整个代码仓库的元数据信息(包括提交历史记录、分支、标签等)和文件对象。...图片4、删除大文件使用--delete-files命令逐一的将大文件删除,如果提示分支是被保护的可以加上--no-blob-protection命令执行。...Git 的历史版本、清除废弃的、过期的对象,这个过程会耗费较长的时间。...图片每次提交都会生成一次快照,这些快照可能包含大量的文件和代码,频繁提交会导致版本快照的数量增加。Git使用的是一种增量存储方式,每次提交只存储发生了变化的文件和代码。

67620

BFG Repo-Cleaner - 快速清除Git提交历史的特定文件

的另一种选择 BFG是git-filter-branch之外的一种更简单、更快的方法,可以清除Git存储历史的不良数据: 删除 大文件 删除 密码、凭证 和其他 私人数据 git-filter-branch...命令非常强大,可以做BFG不能做的事情——但是BFG更适合上面的任务,因为: 快 : 快10 - 720倍 简单 : BFG并不是特别聪明,专注于让上述任务变得简单 优美 : 如果需要,可以使用漂亮的...无论它们在您的存储的任何地方: $ bfg --replace-text passwords.txt my-repo.git 删除Git中所有名为'.git'的文件夹或文件—保留的文件名。...BFG对待你就像一个改过自新的酒鬼:你过去犯过一些错误,但现在你已经改过自新了。因此,BFG假定您的最新提交是一个好的提交,其中没有您希望历史记录删除的脏文件。...如果某个坏的文件(比如10MB的文件,当您指定--strip-blobs-bigger-than 5M)在受保护的提交,那么它不会被删除—它将保存在您的存储,即使BFG以前的提交删除了它。

2.7K40

Git目录为什么这么大

删除大文件 4.4 按照pack文件直接操作 5、大文件存储的正确方式 6、其他解决方案 7、小结 1、介绍 Git作为一个分布式的版本控制工具,在每天高频次的使用难免遇到一些问题 本文围绕git...的目录过大,git进行版本控制底层存储出发,简要分析Git目录过大的原因,以及如何处理 2、Git存储原理 2.1 目录结构 使用版本控制的人都会知道,不管是svn还是更为流行的git,整个工程目录下...我们在提交前移除了 test.py 文件, 这个文件便Git的所有记录完全消失了 3、解析Object存储方式 为了一步步熟悉Object存储的方式,这里在本地创建一个空的git仓库,且objects...,可以存储到专用的文件服务器、对象存储等 如果非要在版本存储大文件,更好的方式是通过git-lfs,及时使用 lfs 来追踪、记录和管理大文件。...clone --mirror git://example.com/big-repo.git # 运行BFG来清理存储 $ java -jar bfg.jar --strip-blobs-bigger-than

1.2K10

如何删除GIT仓库的敏感信息

前言 正常Git仓库应该尽量不包含数据连接/AWS帐号/巨大二进制文件,否则一旦泄漏到Github,这些非常敏感信息会影响客户的信息安全已经公司的信誉。...由于Git的正常操作流程,导致敏感信息一旦进入主分支,再怎么在新的Pull Request删除,也无能为力了。其它人都能在历史记录查询到历史记录的配置。...如果已经上传了,或功能太多太复制没办法及时删除,就会后悔莫及了。 这里我将演示一个故意写满“敏感信息”的Github仓库,然后一步一步演示怎么在历史记录删除“敏感信息”,以完成“脱敏”。...3.5 删除二进制大文件 命令: git gc bfg --strip-blobs-bigger-than 150K --no-blob-protection 将150K换成你的二进制文件大小即可。...希望各位提高警惕,不要在Git的使用翻车。

2.9K61

仓库移除敏感信息

我们建议在从仓库删除文件之前合并或关闭所有打开的请求。 你可以使用 git rm 最新的提交删除文件。...你无法对仓库的现有克隆或分支做任何事情,但可以通过联系 GitHub 支持,永久删除所有存储的缓存视图并在GitHub上提出请求。...仓库历史清除文件 使用 BFG BFG Repo-Cleaner 和 git filter-branch 类似,用于删除不需要的文件,是一种更快速、更简单的替代方法。...仔细检查你是否已经仓库的历史记录删除了你想要的所有内容,并检查了所有分支。 6....告诉你的同事 rebase 而不是 merge 它们创建的任何分支,这些分支旧的(受污染的)存储历史创建的。一次合并提交可能会重新引入一些或所有你刚才去除清除问题的受污染历史记录。

90820

防止 Git 泄漏的 5 种最佳做法

启用分支限制[9] 可以强制执行分支限制,以便只有部分用户才能推送到代码受保护的分支。Gitlab 也有类似的选择。 将 master 设置为受限制的分支有助于我们执行代码审查的工作。 ?...我们需要做的是整个 Git 历史记录删除所有敏感数据。 在进行任何清理之前请记得进行备份,然后在确认一切正常后再删除备份文件。...git clone --mirror git://example.com/need-clean-repo.git 我们需要执行 git filter-branch 命令来所有分支删除数据并提交历史记录...除删除文件外,BFG 还可以用于替换文件的机密信息。 BFG 保留最新的提交记录。它是用来防止我们犯错误的。我们应该显式地删除文件,提交删除,然后清除历史记录以此删除它。...如果泄漏的 Git 代码被其他人 fork 了,我们需要遵循 DMCA[11] 的删除策略,请求 Github 删除创建的代码。 整个过程需要一些时间才能完成,这是删除所有副本的唯一方法。

1.7K10

试试 bfg删除敏感信息删除大文件一句命令搞定(比官方文档还详细的使用说明)

在实际使用工具的时候,你必须为你的每一句命令加上 java -jar bfg.jar 前缀来使用 Java 运行时间接运行。...删除误上传的大文件 使用下面的命令,可以将仓库历史中大于 500M 的文件都删除掉。...删除文件夹 删除名字为 walterlv 的文件夹: 1 > bfg --delete-folders walterlv 此命令可以与上面的 --delete-files 放在一起执行: 1 > bfg...此文件的每一行是一个匹配表达式。默认情况下,每一个表达式被视为一段文本常量,你可以通过指定 regex: 前缀来说明此表达式是一个正则表达式,或者指定 glob: 前缀。...欢迎转载、使用、重新发布,务必保留文章署名 吕毅 (包含链接: https://blog.walterlv.com ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。

38440

Git清理commit历史提交的大文件

记一次删除Git记录大文件的过程:https://www.hollischuang.com/archives/1708 方法二 工具化(自动机枪) 工具名称:BFG 工具地址:https://rtyley.github.io.../bfg-repo-cleaner/ 第一步 下载包文件 直接官网下载即可,bfg-1.13.0.jar 将程序包放到一个文件夹里,为了方便,重命名为bfg.jar 第二步 克隆仓库 clone自己的...git repo,使用--mirror参数 git clone --mirror http://192.168.1.199:8099/hcses/hcses-warehouse.git 第三步 清除大文件...删除文件和删除文件夹的命令 java -jar bfg.jar --delete-files 我是单个文件名字 hcses-warehouse.git --no-blob-protection java...,实际上这些数据/文件并没有被直接删除,这时候需要使用git gc指令来清除。

5.5K10

删除 GitGitHub 的敏感数据

幸好是个 private 的。就着手准备把这个文件删除。...但是在 Git 里删文件似乎不是个容易的事情——由于 Git 会保留历史与版本回溯,所以需要将需要删除的文件在之前的版本也一并删除掉w 据说正常来讲需要使用 git filter-branch 命令,...咱也不是 git 大佬,接触新命令也挺陌生的,而且据说这个命令一来繁琐,二来当需要修改的文件较大/较多时,执行时间堪忧。...删除文件 需要先将需要删除的文件进行删除并在本地进行一次 commit,才能在 BFG 对文件进行删除。...运行 BFG 万事俱备,准备删除w 删除文件的命令: java -jar bfg的路径/bfg-1.13.0.jar --delete-files 需要删除的文件 删除文件夹的命令: java -jar

1.4K10

Cloud Studio 三分钟上手 Git LFS

值得一提的是,CODING 支持 Git LFS 扩展,开发过程中使用 Git LFS 所提交的大文件不占用团队自身的 Git 仓库容量,有助于节省团队代码存储资源。...二、基本原理 Git LFS 实现优化大文件存储的方式,是使用文件的指针文件替换原来的大文件,把大文件单独存储于 lfs 缓存目录。...然后通过 Git 的 checkout hook 会调用 Git LFS,从上文提到的 Git LFS 存储服务器中下载当前分支所需的 LFS 大文件,而不需要下载 Git 仓库历史中所有文件。...存储服务器中下载缺少的文件。...结果可见,刚才的图片已经设置为 Git LFS 存储模式。 当然,我们还可以从上文的 Git LFS 原理, LFS 缓存目录检查是否有对应文件。

83030

git为什么不擅长处理大文件

有时,第二种类型的问题会因为旧的、被淘汰的二进制工件仍然存储在资源而变得更加复杂。...只需要使用--depth选项 git clone --depth [depth] [remote-url] **替代浅层克隆的方法:**只克隆一个分支git 1.7.10开始,你也可以通过克隆单个分支来限制你克隆的历史数量...管理有巨大二进制资产的存储 第二种类型的大资源是那些有巨大二进制资产的资源。这是许多不同类型的软件(和非软件!)团队遇到的问题。...完成上述工作后,你可以回去使用正常的 git 命令,你的工作目录将只包含你上面指定的文件夹。...image.png 当你签出一个包含Git LFS指针的提交时,它们会被替换成本地Git LFS缓存的文件,或者远程Git LFS存储中下载。

1.5K20

如何删除错误提交的 git 大文件

那么如何把这个压缩包彻底 git 删除? 如果需要删除 git 的历史记录,使用方法很简单,请看 Git如何永久删除文件(包括历史记录) - shines77 - 博客园 。...当然这个方法需要很长时间,因为提交大文件的时间不长,所以可以使用walterlv的方法 彻底删除 Git 仓库的文件避免占用大量磁盘空间 - walterlv 于是远程仓库删好了,但是本地仓库还是有小伙伴拉下来...如果你不小心把大文件提交其它的分支,记得切换的就是你提交的分支。 如果提交大文件只是在自己的分支,并且放到了远程分支,那么合并到远程开发分支,那么只需要删除自己远程分支就好了,不需要继续往下做。...删除原来分支,这样就好 最后的命令是使用 gc 清掉这个提交 这时候查看自己的git 文件夹,如果文件夹还是那么大,那么说明还有一个分支是引用提交大文件,需要自己去看一下是哪个分支。...需要说明,git 如果提交一个文件,然后删除他,继续提交,那么这个文件是存在 git ,需要使用特殊的命令才可以删除

3K10

(Mac Windows)双系统上Git的使用(不会你打我)

仓库才会更改 6删除文件夹 当我们需要删除暂存区或分支上的文件 , 本地又需要使用, 只是不希望这个文件被版本控制 , 可以使用 git rm -r --cached...’ (6)删除文件夹 当我们需要删除暂存区或分支上的文件 , 本地又需要使用, 只是不希望这个文件被版本控制 , 可以使用 git rm -r --cached...3、Git 分支和 SVN 的分支不同: 分支在 SVN 中一点都不特别,其实它就是版本的另外一个目录。Git 分支是指针指向某次提 交,而 SVN 分支是拷贝的目录。...在实际开发过程,经常会遇到有些代码没写完,但是需紧急 处理其他问题,若我们使用 Git,便可以创建本地分支存储没写完的代码,待问题处理完后,再回 到本地分支继续完成代码。...5、Git 的内容完整性要优于 SVN: Git 的内容存储使用的是 SHA-1 哈希算法。这能确保代码内容的完整性,确保在遇到磁盘故障和网 络问题时降低对版本的破坏。

1.3K20

Git 仓库体积过大,缩减记录

一、前言 写这篇博客主要是因为存储博客图片和一些文件占用GitHub仓库过大,导致仓库体积变大,所以找了一些方案,记录一下 image.png 上图可以看到原仓库已经很大了,所以必须要清除一些仓库没用的大文件了...二、具体操作 首先,git仓库删除历史大文件分为以下步骤: 查找大文件id→根据id查找大文件所在的路径→删除文件→删除文件的历史记录→提交→清除本地缓存 (我按照我的理解总结的,不知道是不是对的,如果有错误的话...首先,查看存储大文件: 1....查看存储大文件 $ git rev-list --objects --all | grep -E `git verify-pack -v .git/objects/pack/*.idx | sort...in refs/original/ Force overwriting the backup with -f 并告知所有组员,push 代码前需要 pull rebase,而不是 merge,否则会该组员的本地仓库再次引入到远程

5.2K10

Git LFS: 简单高效的大文件版本控制

用于对大文件进行版本控制的开源 Git 扩展 Git 大文件存储 (LFS) 使用 Git 内部的文本指针替换音频样本、视频、数据集和图形等大文件,同时将文件内容存储在 GitHub.com 或 GitHub...在每个要使用Git LFS的Git存储,选择您想要Git LFS管理的文件类型(或直接编辑.gitattributes文件)。可以随时配置额外的文件扩展名。...特性 大文件版本控制 使用Git对大文件进行版本控制,即使这些文件的大小达到几GB。 更多的存储空间 在Git存储托管更多内容。通过外部文件存储,轻松保持存储的可管理大小。...这意味着在处理大文件存储中进行更快的克隆和提取。 相同的Git工作流 像往常一样在Git上工作,无需额外的命令、辅助存储系统或工具集。...相同的访问控制和权限 在与GitHub等远程主机一起工作时,对大文件保持与Git存储的其余部分相同的访问控制和权限。

40510

20个你(可能)不知道的Git命令

Git Web 运行 git instaweb 可以立即在 gitweb 浏览你的工作存储。...Git Archive 使用git archive把整个版本合并成一个文件 当分享或备份一个版本时,通常倾向于将其存储为一个单一的文件。...git blame -L 400,420 index.rs Git LFS 使用git lfs存储大文件,不拖累你的 repo 通常你的项目会包含较大的文件(如数据、二进制资产、档案或媒体文件),这将拖慢...这就是大文件存储的作用--它使你能够将这些大的资产存储在其他地方,同时保持它们在git的可追踪性,并保持相同的访问控制/权限。LFS的工作原理是将这些大文件替换成文本指针,在git中进行跟踪。...脚本,或者源码构建来轻松安装它。

79540

砍掉百万行代码,这些巨头玩不转超级应用了?

Grab 启用的资源配置仅支持 Grab 应用程序主动使用的语言,其在 resourceConfig 删除所在地区不使用的语言,从而减少不必要的资源开销。...该工具会将数据发送至 Grafana 实例,借此监控并观察特定设备所需下载的应用软件大小、识别哪些和模块占用的存储空间最大,并创建出一份大文件清单。Grab 计划在不久的将来对该工具进行开源。...Grab 在帖子解释道,“我们建议采用单一主字体样式,并在编程灵活融入不同的字体变化,从而立足同一字体实现多种显示效果。” 开发团队发现,某个特定自己就占用了该应用存储空间的 8%。...Grab 删除了该,同时努力清理其他的重复函数。 Grab 应用还提供了一个附加功能,以开关形式远程禁用某项功能,这同样有助于削减软件体量。...2023 年,Shopify 删除了超 300 万行代码、归档了大约 6800 个未使用或者不必要的 GitHub 仓库、合并了 702 条由机器生成的用于清理僵尸代码的 PR,重要的是将一个用于在线购物网站的后台进程内存使用

10310

GitHub+Docker Hub实现自动构建镜像

对于自动构建,构建上下文是包含 Dockerfile 的存储。...限制 目前 Docker Hub 不支持 Git LFS(Large File Storage,大文件存储)。...如果你的构建上下文中有由 Git LFS 管理的二进制文件,则在自动构建过程创建的副本只有大文件对应的指针文件,这并不是你想要的。 订阅 GitHub issue 来跟进此限制。...对于该代码存储,类似的页面会出现在 Bitbucket 删除 Docker 集成会导致你的自动构建停止。 4.1. 理解构建过程 首次创建自动构建时,Docker Hub 会构建你的镜像。...可以使用这个页面的其他设置来配置并构建镜像。 六. 增加并运行新构建 Build 对话框的顶部是配置好的构建列表。可以代码分支或构建标签来构建。 ?

5.1K41

你可能不知道的20个Git命令,真的很实用

命令时执行脚本Git Blame -显示给定行的作者Git Large File Storage -在 git 存储大文件Git Garbage Collection -优化你的 git repoGit...接下来详细聊聊这些命令1、网页版运行git instaweb以立即浏览 gitweb的工作存储Git 有一个内置的基于 Web 的可视化工具,用于浏览本地存储,它允许您通过浏览器的 GUI 查看和管理您的存储...,只需git instaweb您的存储运行即可。.../my-archive HEAD5、Git 子模块用于git submodule将任何其他存储拉入您的存储在 git ,子模块让您可以将一个存储挂载到另一个存储,通常用于核心依赖项或将组件拆分到单独的存储...添加--aggressive标志将积极优化存储,丢弃任何现有的增量并重新计算它们,这需要更长的时间才能运行,如果您有一个大型存储,则可能需要。

81600
领券