admin管理员组

文章数量:1130349

前言

目前deepseek的本地部署已经较为火热,可参考(本地部署DeepSeek与国内大模型API接入_本地部署的deepseek cherry api-CSDN博客),但是本地化部署对电脑本身的配置时有要求的,

对于没有显卡GPU的同学看的就是内存的大小,一般笔记本电脑内存在8-16G,这当然是越高越好,这也是能满足8b及一下的部署和使用,但是没有GPU会使得在使用的过程中速度较慢,体验感较差(还是不建议部署了)。

对于有GPU但是GPU算力不足,显存较小的电脑配置又是一个使用deepseek-r1模型的一个挑战,没有8GB显存的电脑比较吃力,可能只能本地部署和使用1.5b-7b(4GB显存也可以)的模型,而有8GB显存的使用1.5b-14b的模型不在话下,有16GB显存的似乎刚刚好可以使用32b的模型,这就比较吃香了,这和满血版差距百分之十左右的性能,可通过下表中的DeepSeek-R1和DeepSeek-R1-32的观测到。

本篇文章旨在介绍如何免费通过api来调用8b及一下模型,无需电脑对显卡算力等要求,让电脑配置不高,不想配置在本地占用电脑资源的同学提供另一种可选方案。

不同大小模型的来源

DeepSeek 团队已经证明,较大模型的推理模式可以提炼为较小的模型,从而获得比在小模型上通过 RL(强化学习) 发现的推理模式更好的性能。

以下是使用 DeepSeek-R1 生成的推理数据,针对研究界广泛使用的几种密集模型进行微调而创建的模型。评估结果表明,提炼出的较小密集模型在基准测试中表现优异。

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

API免费调用8b及一下模型

1、注册SiliconCloud(地址:硅基流动统一登录)

2、配置API密钥

注册登录之后会自动赠送2000万Tokens,也就是平台中的14元,然后去API密钥中新建API密钥,创建完成后复制密钥

3、SiliconCloud的API提供的模型介绍

如上图可以看到在“模型广场”中,8b及以下的均为免费调用,满血版的R1价格为 RMB 16/ M Tokens,也就是每100万Tokens 16块人民币, 32b的模型每100万Tokens为1.26RMB。

(注意,这里注册时的2000万Tokens和这里的100万Tokens不同,平台 2000 万 Tokens 特指 Qwen2.5-14B-Instruct 模型单价下的数量,实际到账为 14 元平台配额)我们可以是使用这注册赠送的14元来使用收费的API。

4、使用cherry studio 或 chatbox配置API信息

cherry studio的下载地址:Cherry Studio - 全能的AI助手

chatbox的下载地址:Chatbox

(1)cherry studio 配置方式

进入设置的硅基流动,然后讲API密钥粘贴上去,点击管理选择需要添加的模型(当然也可选择更大的模型,毕竟有新注册进来免费赠送的14元)

然后使用时可选择需要的模型进行对话

(2)chatbox 配置方式

打开Chatbox应用,点击设置,然后选择“模型提供方”为SILICONFLOW API,将刚才复制的密钥粘贴上去,最后在下面的模型选择需要使用的模型,选择后记得保存。

可以看到对话正常调用api接口

(3)免费调用

        在SiliconCloud中的“费用账单”可以看到调用api消费的信息,可以看到调用的8B并没有产生费用,属实免费,调用其他的收费模型需要根据具体token收费

前言

目前deepseek的本地部署已经较为火热,可参考(本地部署DeepSeek与国内大模型API接入_本地部署的deepseek cherry api-CSDN博客),但是本地化部署对电脑本身的配置时有要求的,

对于没有显卡GPU的同学看的就是内存的大小,一般笔记本电脑内存在8-16G,这当然是越高越好,这也是能满足8b及一下的部署和使用,但是没有GPU会使得在使用的过程中速度较慢,体验感较差(还是不建议部署了)。

对于有GPU但是GPU算力不足,显存较小的电脑配置又是一个使用deepseek-r1模型的一个挑战,没有8GB显存的电脑比较吃力,可能只能本地部署和使用1.5b-7b(4GB显存也可以)的模型,而有8GB显存的使用1.5b-14b的模型不在话下,有16GB显存的似乎刚刚好可以使用32b的模型,这就比较吃香了,这和满血版差距百分之十左右的性能,可通过下表中的DeepSeek-R1和DeepSeek-R1-32的观测到。

本篇文章旨在介绍如何免费通过api来调用8b及一下模型,无需电脑对显卡算力等要求,让电脑配置不高,不想配置在本地占用电脑资源的同学提供另一种可选方案。

不同大小模型的来源

DeepSeek 团队已经证明,较大模型的推理模式可以提炼为较小的模型,从而获得比在小模型上通过 RL(强化学习) 发现的推理模式更好的性能。

以下是使用 DeepSeek-R1 生成的推理数据,针对研究界广泛使用的几种密集模型进行微调而创建的模型。评估结果表明,提炼出的较小密集模型在基准测试中表现优异。

DeepSeek-R1-Distill-Qwen-1.5B

ollama run deepseek-r1:1.5b

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

API免费调用8b及一下模型

1、注册SiliconCloud(地址:硅基流动统一登录)

2、配置API密钥

注册登录之后会自动赠送2000万Tokens,也就是平台中的14元,然后去API密钥中新建API密钥,创建完成后复制密钥

3、SiliconCloud的API提供的模型介绍

如上图可以看到在“模型广场”中,8b及以下的均为免费调用,满血版的R1价格为 RMB 16/ M Tokens,也就是每100万Tokens 16块人民币, 32b的模型每100万Tokens为1.26RMB。

(注意,这里注册时的2000万Tokens和这里的100万Tokens不同,平台 2000 万 Tokens 特指 Qwen2.5-14B-Instruct 模型单价下的数量,实际到账为 14 元平台配额)我们可以是使用这注册赠送的14元来使用收费的API。

4、使用cherry studio 或 chatbox配置API信息

cherry studio的下载地址:Cherry Studio - 全能的AI助手

chatbox的下载地址:Chatbox

(1)cherry studio 配置方式

进入设置的硅基流动,然后讲API密钥粘贴上去,点击管理选择需要添加的模型(当然也可选择更大的模型,毕竟有新注册进来免费赠送的14元)

然后使用时可选择需要的模型进行对话

(2)chatbox 配置方式

打开Chatbox应用,点击设置,然后选择“模型提供方”为SILICONFLOW API,将刚才复制的密钥粘贴上去,最后在下面的模型选择需要使用的模型,选择后记得保存。

可以看到对话正常调用api接口

(3)免费调用

        在SiliconCloud中的“费用账单”可以看到调用api消费的信息,可以看到调用的8B并没有产生费用,属实免费,调用其他的收费模型需要根据具体token收费

本文标签: 电脑配置模型DeepSeek