大模型高效下载部署方式

原创

liddytang

发布于 2024-07-15 11:39:45

610

发布于 2024-07-15 11:39:45

文章被收录于专栏：数据挖掘

1. 下载 hfd

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量(Linux Ubtun)

export GF_ENDPOINT=https://hf-mirror.com

3. 下载模型

sh hfd.sh gpt2 --tool aria2c -x 4

4.下载数据集

sh hfd.sh wikitext --dataset --tool aria2c -x 4

下面以cogvlm2-llama3-chinese-chat-19B 为例子

SDK下载

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('ZhipuAI/cogvlm2-llama3-chinese-chat-19B')

git下载

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/cogvlm2-llama3-chinese-chat-19B.git

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

登录后参与评论

0 条评论

热度