admin管理员组文章数量:1130349
参考链接
在Windows 7操作系统,基于llama.cpp本地化部署 deepseek-r1模型的方法 2025-02-08
2G内存Windows7运行deepseek-r1:1.5b
这两个链接写的可能不够详细,有同学私信问实现过程,这里进一步解释一下。
一、准备
需要准备的大模型、工具等文件,已放到网盘,可自取。
网盘的 figures目录是配置过程中的一些截图,可参考。
百度网盘:https://pan.baidu/s/1NShm6Qi9bDgl6jI-IsEr1A?pwd=6es1
迅雷网盘:https://pan.xunlei/s/VOIfPUb8lCS71jAjBEnXmRg9A1?pwd=nze7#
模型文件
- 找几个
GGUF文件。- 本案例从
ollama获得GGUF文件,这些文件默认存储在%USERPROFILE%\.ollama\models\blobs,文件名形如sha256-*,文件名及模型对应关系见下表,相关文件见网盘models目录 - 也可以去魔搭社区等网站下载
- 本案例从
| 名称 | ollama ID | 大小GB | blobs |
|---|---|---|---|
| deepseek-r1:1.5b | a42b25d8c10a | 1.04 | sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc |
| deepseek-r1:8b | 28f8fd6cdc67 | 4.58 | sha256-6340dc3229b0d08ea9cc49b75d4098702983e17b4c096d57afbbf2ffc813f2be |
| deepseek-r1:14b | ea35dfe18182 | 8.37 | sha256-6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e |
| deepseek-r1:32b | 38056bbcbb2d | 18.4 | sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 |
| deepseek-r1:70b | 0c1615a8ca32 | 39.5 | sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 |
| qwen2.5-coder:7b | 2b0496514337 | 4.36 | sha256-60e05f2100071479f596b964f89f510f057ce397ea22f2833a0cfe029bfc2463 |
源代码
下载llama.cpp源代码即可,无需下载GIT代码仓库
-
如果能访问Github,就从 https://github/ggerganov/llama.cpp 下载
-
如果Github抽风,可以去镜像站,国内一些大站也有
llama.cpp的实时镜像 -
本例
git clone了llama.cpp源码库,并压缩为 <
参考链接
在Windows 7操作系统,基于llama.cpp本地化部署 deepseek-r1模型的方法 2025-02-08
2G内存Windows7运行deepseek-r1:1.5b
这两个链接写的可能不够详细,有同学私信问实现过程,这里进一步解释一下。
一、准备
需要准备的大模型、工具等文件,已放到网盘,可自取。
网盘的 figures目录是配置过程中的一些截图,可参考。
百度网盘:https://pan.baidu/s/1NShm6Qi9bDgl6jI-IsEr1A?pwd=6es1
迅雷网盘:https://pan.xunlei/s/VOIfPUb8lCS71jAjBEnXmRg9A1?pwd=nze7#
模型文件
- 找几个
GGUF文件。- 本案例从
ollama获得GGUF文件,这些文件默认存储在%USERPROFILE%\.ollama\models\blobs,文件名形如sha256-*,文件名及模型对应关系见下表,相关文件见网盘models目录 - 也可以去魔搭社区等网站下载
- 本案例从
| 名称 | ollama ID | 大小GB | blobs |
|---|---|---|---|
| deepseek-r1:1.5b | a42b25d8c10a | 1.04 | sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc |
| deepseek-r1:8b | 28f8fd6cdc67 | 4.58 | sha256-6340dc3229b0d08ea9cc49b75d4098702983e17b4c096d57afbbf2ffc813f2be |
| deepseek-r1:14b | ea35dfe18182 | 8.37 | sha256-6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e |
| deepseek-r1:32b | 38056bbcbb2d | 18.4 | sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93 |
| deepseek-r1:70b | 0c1615a8ca32 | 39.5 | sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 |
| qwen2.5-coder:7b | 2b0496514337 | 4.36 | sha256-60e05f2100071479f596b964f89f510f057ce397ea22f2833a0cfe029bfc2463 |
源代码
下载llama.cpp源代码即可,无需下载GIT代码仓库
-
如果能访问Github,就从 https://github/ggerganov/llama.cpp 下载
-
如果Github抽风,可以去镜像站,国内一些大站也有
llama.cpp的实时镜像 -
本例
git clone了llama.cpp源码库,并压缩为 <
版权声明:本文标题:Win7本地化部署deepseek-r1等大模型详解 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://it.en369.cn/jiaocheng/1754165473a2650643.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。


发表评论