admin管理员组

文章数量:1130349

huggingface使用国内镜像站下载

huggingface开源的模型托管仓库，预训练模型的数量已超过30万个，并且任何模型在下载之前都可以使用huggingface提供的spaces空间去测试效果

huggingface的国内镜像站HF-Mirror的地址：https://hf-mirror/

HF-Mirror网站主页提供了几个下载方法，这里使用方法二-借助huggingface-cli，huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror"

建议将上面这一行写入 ~/.bashrc。

3.1 下载模型

3.1.1 搜索模型

以Qwen1.5-0.5B-chat为例，我们先进入到https://hf-mirror/models去搜索Qwen1.5-0.5B-chat，会跳转到下面的页面

然后复制模型的名称

3.1.2 使用命令行下载模型

huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir /root/Qwen
  • –resume-download：接模型的名称
  • –local-dir：接模型的存放路径

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。

huggingface使用国内镜像站下载

huggingface开源的模型托管仓库，预训练模型的数量已超过30万个，并且任何模型在下载之前都可以使用huggingface提供的spaces空间去测试效果

huggingface的国内镜像站HF-Mirror的地址：https://hf-mirror/

HF-Mirror网站主页提供了几个下载方法，这里使用方法二-借助huggingface-cli，huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror"

建议将上面这一行写入 ~/.bashrc。

3.1 下载模型

3.1.1 搜索模型

以Qwen1.5-0.5B-chat为例，我们先进入到https://hf-mirror/models去搜索Qwen1.5-0.5B-chat，会跳转到下面的页面

然后复制模型的名称

3.1.2 使用命令行下载模型

huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir /root/Qwen
  • –resume-download：接模型的名称
  • –local-dir：接模型的存放路径

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。

本文标签： 镜像国内huggingface

版权声明：本文标题：huggingface使用国内镜像站下载 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1763991330a2977553.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。