前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >在HuggingFace上fork repository

在HuggingFace上fork repository

原创
作者头像
点火三周
修改2022-08-05 10:05:24
2.6K0
修改2022-08-05 10:05:24
举报
文章被收录于专栏:Elastic Stack专栏

该操作的意图主要是有修改+再发布的需求,原始的模型仓库可能来自于自己的组织,也可能是某个你喜欢的模型,你期望按照自己的方式做些小修补再发布一次。

这里介绍两个方法:

  • 通过git + git lfs工具进行分叉
  • 直接在HuggingFace的UI上做人工“分叉”

这两个方法各有优缺点,先做快速介绍,再总结:

通过git + git lfs工具进行分叉

按照以下方式执行,亲测可行:

代码语言:shell
复制
git lfs clone https://huggingface.co/${NEW_ORG}/${MODEL_NAME}
cd ${MODEL_NAME}
git lfs install --skip-smudge --local # --local affects only this clone, try without it
git remote add upstream https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}
git fetch upstream
git checkout -b temp upstream/main
git rebase main # resolve conflicts if needed and finish rebasing
git lfs pull upstream
git push origin temp
git lfs push --all origin temp
git lfs install --force --local

简单解释就是:

  • 先创建自己的仓库
  • 再把要fork的仓库设置为新残酷的upstream
  • 拉取upstream的内容到一个新的branch
  • rebase再push

需要注意的是,需要安装git lfs:

代码语言:shell
复制
$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install

Mac用户可以直接通过 brew install 来完成工具的安装。

这个方法主要是在命令行进行操作,缺点在于push的阶段是通过网络流量“硬推”,慢。。。

而且还需要处理一些莫名其妙的,莫须有的merge问题

因此,我们介绍第二个方法:

在HuggingFace的UI上做人工“分叉”

第一步,先把你要fock的模型通过git命令拉到本地。

代码语言:shell
复制
git clone https://huggingface.co/${ORIGINAL_ORG}/${MODEL_NAME}

第二步,在huggingface上,你要fork出来的新仓库上,把本地文件通过upload的方式上传到仓库中

无论文件多大,几乎都是瞬间上传

原因在于,因为我们是"fork",也就是将已经存在于HuggingFace的文件放到另一个地址。HuggingFace首先通过hash判断这个文件已经存在了,然后就会跳过用户内容上传的过程,直接在其文件系统内部完成数据的拷贝。目前,使用这种方式只能单个文件上传,而如果能够提供批量上传的方式,那速度和操作的简易性就完全秒杀通过命令行的方式了。

因此,如果网络吞吐不佳的情况,可以选择这种方式。因为HuggingFace上的model通常也就几个文件,文件的特性是大而少,人工操作不会太过复杂

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 通过git + git lfs工具进行分叉
  • 在HuggingFace的UI上做人工“分叉”
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档