Hugging Face 已成为 NLP 和 AI 开发者的必备工具,它提供了丰富的预训练模型,帮助我们快速进行模型训练与推理。但是,如何高效地将模型下载到本地?
👉 你可以选择:
使用 Hugging Face CLI 下载模型
打开 命令行(cmd
或 PowerShell
),输入以下命令进行安装:
pip install huggingface_hub
说明:
huggingface_hub
模块包含 huggingface-cli
,用于从 Hugging Face 下载模型文件。如果你要下载 私有模型 或使用高权限 API 访问,需要登录 Hugging Face 账户。
huggingface-cli login
获取 Access Token:
Read
权限的 Token。使用 huggingface-cli download
下载模型:
huggingface-cli download shibing624/text2vec-base-chinese
模型文件将保存在
~/.cache/huggingface/hub
目录,windows的就是在C:\Users\<你的用户名>\.cache\huggingface\hub
目录。
如果你希望将模型下载到自定义路径,可以使用 --cache-dir
参数:
huggingface-cli download shibing624/text2vec-base-chinese --cache-dir ./my_model
通过 Python 代码下载模型
在 Windows 系统上,同样需要安装 transformers
和 huggingface_hub
:
pip install transformers huggingface_hub
说明:
transformers
:用于加载预训练模型。huggingface_hub
:提供下载和管理模型的 API。from transformers import AutoModel, AutoTokenizer
# 模型名称,例如 "shibing624/text2vec-base-chinese"
model_name = "shibing624/text2vec-base-chinese"
# 下载并加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
# 保存到自定义路径(可选)
model.save_pretrained("./my_model")
tokenizer.save_pretrained("./my_model")
说明:
C:\Users\<你的用户名>\.cache\huggingface\hub
目录下。model.save_pretrained()
可将模型保存到自定义路径(如 ./my_model
)。关注 公众号 神的孩子都在歌唱 可领取 几十G的 python ,java, 计算机基础,算法等学习资料
作者:神的孩子都在歌唱 转载说明:务必注明来源,附带本人博客连接