Windows系统本地大语言模型搭建

admin管理员组

文章数量:1130349

Windows系统本地大语言模型搭建

• 准备工具
• • Ollama
  • Docker
  • Ngrok
• 具体步骤
• • 1、安装 Ollama
  • 2、安装本地大模型
  • 3、Docker 部署 MaxKB
  • 4、Ngrok
  • 5、演示
  • 6、对比线上模型优劣势

准备工具

Ollama

模型管理服务，用于安装和管理本地语言模型，如 llama3.2 模型。

Docker

用于部署 MaxKB，为知识库、关键词、模型配置提供支持并搭建问答系统。

Ngrok

将本地端口映射到外网，使本地模型的问答系统可以在公网上访问。

具体步骤

1、安装 Ollama

• 访问 https://ollama/download ，点击下载 Windows 版本的可执行安装文件；
• 安装完成，浏览器打开 localhost:11434 页面看到“ollama is running”内容即可；
  
• 使用cmd或powershell工具输入ollama看到版本信息说明安装成功。

2、安装本地大模型

• 开始部署本地大模型，例如安装一个llama3.2模型，输入ollama run llama3.2
• 这个语言模型大小2GB
  
• 安装完成后，输入ollama list命令查看本地安装的模型。
  
  当然了，如果网络环境不支持在线下载模型文件，可以手动下载模型并导入Ollama中进行使用，详细步骤可以查看这篇文章，在我主页同样可以找到。

3、Docker 部署 MaxKB

输入以下内容，使用Docker 部署 MaxKB，前提确保Docker在本地正常安装且配置。值得注意的是，此处可能需要配置网络环境。

run -d –name=maxkb -p 8080:8080 -v ~/.maxkb:/ver/lib/postgreaql/data 1pannel/maxkb

MaxKB 部署完成

浏览器打开 localhost:8080 端口即可进入 MaxKB 页面。这里需要输入默认的用户名与默认密码。

默认用户名：admin
默认密码：MaxKB@123..

进入后默认需要用户更改密码，好像不改也可以，只是会一直弹窗。
接下来开始关联我们刚下好的本地模型，按照如下步骤进入系统管理Tab页面，在菜单列表中找到模型设置，选择我们下载的llama模型，点击添加模型。
模型名称自己手动填写，基础模型可以通过下拉菜单选择也可以直接手动填写我们下载好的 llama3.2 。
API域名需要能访问到本地模型，使用 Docker 部署的 MaxKB 我们需要输入特定的域名格式才能访问到 llama 模型。http://host.docker.internal:11434

其他模型也可以在MaxKB下载，是需要去模型官网获取ApiKey。
模型添加成功，可以看到基本的模型信息。

进入 MaxKB 应用 Tab 页面中创建一个应用。

进入应用就可以看到模型的问答页面访问链接等信息。

访问公开链接可以直接使用到本地模型进行对话，但需要注意的是，当前页面只是部署在了本机的8080端口下。

接下来返回 MaxKB 页面，在知识库 Tab 页菜单列表设置中创建知识库。知识库可以是pdf，word文档等等文件组成。

返回应用 Tab 页进入对应的应用，在设置中更改模型关联的知识库、提示词、开场白，调试并发布后就可以在刚才的链接访问到最新的模型。

4、Ngrok

访问 ngrok 官方网站 https://dashboard.ngrok/get-started/setup/windows 。在官网中找到下载链接并下载适合 Windows 系统的 ngrok 压缩包。

安装完成后在官网获取 Token.

打开 Ngrok 输入如下指令认证，将$YOUR_AUTHTOKEN替换为获取到的 Token：

ngrok config add-authtoken $YOUR_AUTHTOKEN

输入如下指令，将8080端口映射到外网。可以看到映射成功后会显示在线，且给出外网链接。

ngrok http 8080

复制红框内地址，在后面加上maxkb中公开访问链接的端口后的路径就可以在公网上访问到这个模型的问答系统


正常在外网访问到该问答模型。

5、演示

• 这是模型+知识库的效果，模型根据知识库中文档内容进行答复。（只是加了个知识库，如果优化一下其他内容效果会更好）
  
• 也可以把MaxKB嵌入其他系统页面
  
• 支持 Api 调用，感兴趣可以试试。
  
  
• 这整套的流程包括工具都可以在Linux和Mac环境上部署

6、对比线上模型优劣势

优势
本地模型可直接部署在服务器，数据安全和隐私保护更好。
无网络连接需求，不受网络问题影响，可实现内网离线访问。
内网穿透后同样可以实现远程访问，公网访问。
无Token限制，算力由本机服务器提供，且简单的对话并没有显卡和CPU压力。网上的大模型都是有Token限制，达到一定量就要收费或者直接被限制。成本较低，无接口和令牌费用。
灵活调整知识库，适应系统功能更新。便于与本地数据和系统集成。
能尝鲜各种开源模型

劣势
离线模型无法联网获取到最新的知识内容。演示的模型似乎只知道2023年以前的知识。
需要本地服务器长期开机且连接稳定，当然了，有条件的话可以部署在云服务器。
开源模型的初始性能相对较弱，需自行调教

Windows系统本地大语言模型搭建

• 准备工具
• • Ollama
  • Docker
  • Ngrok
• 具体步骤
• • 1、安装 Ollama
  • 2、安装本地大模型
  • 3、Docker 部署 MaxKB
  • 4、Ngrok
  • 5、演示
  • 6、对比线上模型优劣势

准备工具

Ollama

模型管理服务，用于安装和管理本地语言模型，如 llama3.2 模型。

Docker

用于部署 MaxKB，为知识库、关键词、模型配置提供支持并搭建问答系统。

Ngrok

将本地端口映射到外网，使本地模型的问答系统可以在公网上访问。

具体步骤

1、安装 Ollama

• 访问 https://ollama/download ，点击下载 Windows 版本的可执行安装文件；
• 安装完成，浏览器打开 localhost:11434 页面看到“ollama is running”内容即可；
  
• 使用cmd或powershell工具输入ollama看到版本信息说明安装成功。

2、安装本地大模型

• 开始部署本地大模型，例如安装一个llama3.2模型，输入ollama run llama3.2
• 这个语言模型大小2GB
  
• 安装完成后，输入ollama list命令查看本地安装的模型。
  
  当然了，如果网络环境不支持在线下载模型文件，可以手动下载模型并导入Ollama中进行使用，详细步骤可以查看这篇文章，在我主页同样可以找到。

3、Docker 部署 MaxKB

输入以下内容，使用Docker 部署 MaxKB，前提确保Docker在本地正常安装且配置。值得注意的是，此处可能需要配置网络环境。

run -d –name=maxkb -p 8080:8080 -v ~/.maxkb:/ver/lib/postgreaql/data 1pannel/maxkb

MaxKB 部署完成

浏览器打开 localhost:8080 端口即可进入 MaxKB 页面。这里需要输入默认的用户名与默认密码。

默认用户名：admin
默认密码：MaxKB@123..

进入后默认需要用户更改密码，好像不改也可以，只是会一直弹窗。
接下来开始关联我们刚下好的本地模型，按照如下步骤进入系统管理Tab页面，在菜单列表中找到模型设置，选择我们下载的llama模型，点击添加模型。
模型名称自己手动填写，基础模型可以通过下拉菜单选择也可以直接手动填写我们下载好的 llama3.2 。
API域名需要能访问到本地模型，使用 Docker 部署的 MaxKB 我们需要输入特定的域名格式才能访问到 llama 模型。http://host.docker.internal:11434

其他模型也可以在MaxKB下载，是需要去模型官网获取ApiKey。
模型添加成功，可以看到基本的模型信息。

进入 MaxKB 应用 Tab 页面中创建一个应用。

进入应用就可以看到模型的问答页面访问链接等信息。

访问公开链接可以直接使用到本地模型进行对话，但需要注意的是，当前页面只是部署在了本机的8080端口下。

接下来返回 MaxKB 页面，在知识库 Tab 页菜单列表设置中创建知识库。知识库可以是pdf，word文档等等文件组成。

返回应用 Tab 页进入对应的应用，在设置中更改模型关联的知识库、提示词、开场白，调试并发布后就可以在刚才的链接访问到最新的模型。

4、Ngrok

访问 ngrok 官方网站 https://dashboard.ngrok/get-started/setup/windows 。在官网中找到下载链接并下载适合 Windows 系统的 ngrok 压缩包。

安装完成后在官网获取 Token.

打开 Ngrok 输入如下指令认证，将$YOUR_AUTHTOKEN替换为获取到的 Token：

ngrok config add-authtoken $YOUR_AUTHTOKEN

输入如下指令，将8080端口映射到外网。可以看到映射成功后会显示在线，且给出外网链接。

ngrok http 8080

复制红框内地址，在后面加上maxkb中公开访问链接的端口后的路径就可以在公网上访问到这个模型的问答系统


正常在外网访问到该问答模型。

5、演示

• 这是模型+知识库的效果，模型根据知识库中文档内容进行答复。（只是加了个知识库，如果优化一下其他内容效果会更好）
  
• 也可以把MaxKB嵌入其他系统页面
  
• 支持 Api 调用，感兴趣可以试试。
  
  
• 这整套的流程包括工具都可以在Linux和Mac环境上部署

6、对比线上模型优劣势

优势
本地模型可直接部署在服务器，数据安全和隐私保护更好。
无网络连接需求，不受网络问题影响，可实现内网离线访问。
内网穿透后同样可以实现远程访问，公网访问。
无Token限制，算力由本机服务器提供，且简单的对话并没有显卡和CPU压力。网上的大模型都是有Token限制，达到一定量就要收费或者直接被限制。成本较低，无接口和令牌费用。
灵活调整知识库，适应系统功能更新。便于与本地数据和系统集成。
能尝鲜各种开源模型

劣势
离线模型无法联网获取到最新的知识内容。演示的模型似乎只知道2023年以前的知识。
需要本地服务器长期开机且连接稳定，当然了，有条件的话可以部署在云服务器。
开源模型的初始性能相对较弱，需自行调教

本文标签： 地大模型语言系统Windows