使用DeepSeek搭建个人知识库

admin管理员组

文章数量:1033384

使用DeepSeek搭建个人知识库

对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”，往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通，这便衍生出许多解决方案。

Ollama 简介

在进入对比之前，先简单回顾一下 Ollama 的定位和特性：

本地推理：

• CPU 即可运行：适合 Mac 或 Linux 环境。
• 若无 GPU 的情况下，也能让开源模型（如 LLaMA、GPT-Neo、Mistral 等）跑起来。

轻量易用：

• 安装方式简洁，一键下载二进制文件或通过 Homebrew、pkg 安装。
• 只需一个命令行工具就能加载模型并进行对话、推理。

量化优化：

• 支持对常见大语言模型做 4-bit 或 8-bit 等量化，进一步降低资源占用。

发展活跃：

• 在 GitHub 上有不错的社区支持和更新节奏，适合初中级开发者快速上手。

安装 Ollama 客户端

配置环境变量

代码语言：javascript代码运行次数：0运行复制

Ollma可以像其他软件一样在电脑上完成一键安装，不同的是，建议按照实际需求配置下系统环境变量参数。
默认的模型保存路径在C盘，我们把路径更改到有更多可用空间的分区或目录，可以更好地管理存储空间。

• 添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models
• 设置完成后重启 ollama 或 PowerShell，即可完成更改。

用 Ollama 下载模型

首先我们需要安装 Ollama（/），它可以在本地运行和管理大模型。

直接下载速度太慢，使用加速，GitHub Proxy 代理加速（/）【实测速度超快】： ://github/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

接下来点击 Ollama 官网左上方的 “Models” 按钮，会列出支持的各种模型，目前最火的 DeepSeek-R1 排在显眼位置，点击进入主题页面：

点击进去后，查看各个模型，不同模型执行的命令不同，最后部分看你选择的参数模型。

代码语言：javascript代码运行次数：0运行复制

7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b

DeepSeek R1 提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源，比如 1.5B 代表有 15 亿个参数。 具体选择哪一个看你硬件设备了。

将本机的电脑配置发给 deepseek，看看它的推荐是哪个模型

选择好模型之后，点击右侧这个按钮，复制指令，这里是：ollama run deepseek-r1:1.5b

在 Windows 搜索栏输入 “cmd” 回车，唤出命令行窗口

黏贴运行刚才复制的命令，开始下载，1.5b 模型容量大约 1.1GB，请保持网络畅通：

当界面出现 success 显示安装成功。输入 “你是谁”，看到 deepseek 的回答。

AnythingLLM、Dify、Open-WebUI 简介

AnythingLLM

• 定位：将本地文档或数据源整合进一个可检索、可对话的知识库，让 AI 助手 “懂你” 的资料。

主要功能：

• 文档管理：将 PDF、Markdown、Word 等多格式文件索引进系统。
• 智能检索：可基于向量数据库搜索相关文档片段，并在聊天时自动引用。
• 界面 +API：既提供用户友好的前端管理界面，也能通过 API 与其他系统集成。

对接 Ollama 思路：

• 在配置文件或启动脚本中，将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。
• 当用户发起提问时，AnythingLLM 会先做知识检索，再将检索到的上下文发送给 Ollama 做语言生成。

适用场景：

• 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。

Dify

• 定位：多功能的 AI 应用构建平台，支持多种大语言模型，方便开发者快速搭建 ChatGPT-like 服务或插件化应用。

主要功能：

• 对话管理：可自定义对话流或应用场景，为不同场景配置不同模型或工作流。
• 插件扩展：支持将其他第三方服务或插件加入对话流程中，提高可用性。
• 多模型兼容：除 Ollama 外，也兼容 OpenAI API、ChatGLM 等其他模型。

对接 Ollama 思路：

• 在 “模型管理” 或 “模型配置” 界面/文件中，添加对 Ollama 的引用，可能需要指定本地运行地址 (如 localhost:port)。
• 使用 Dify 的对话页面或 API 时，后台调用 Ollama 进行推理，再将结果返回前端。

适用场景：

• 多模型切换、多功能插件集成；需要可视化对话配置或工作流管理的团队与开发者。

Open-WebUI

• 定位：社区驱动的网页版用户界面，针对多种本地模型提供可视化使用入口，类似一个 “本地 ChatGPT 面板”。

主要功能：

• 浏览器聊天界面：在局域网或本机通过网页即可与模型交互。
• 支持多后端：LLaMA、GPT-NeoX 等，以及 CPU/GPU 等不同推理环境。
• 插件/扩展机制：在社区里可找到各式各样的扩展功能（如多语言 UI、模型切换、对话模板等）。

对接 Ollama 思路：

• 通常可在 Open-WebUI 的后台配置或启动脚本中，指定 Ollama 作为推理后端；
• 或使用适配 Ollama 协议的插件，让 Open-WebUI 调用 Ollama 进行对话。

适用场景：

• 需要 “纯聊天 + 模型管理” 界面的普通用户或开发者；想要单纯体验各种本地模型的人群。

接入 Ollama 的异同

在了解了三款工具的基本定位后，再来看看它们在接入 Ollama 时，有哪些不同之处，以及各自的优势与局限性。

从上表不难看出：

• AnythingLLM： 更专注于文档知识库与问答场景，自带向量检索管理，可 “多文档整合”，接入 Ollama 后实现本地化问答。
• Dify： 适合对话流管理、插件化扩展、团队协同等复杂需求。只要能在其后台正确配置 Ollama 地址，即可灵活调用。
• Open-WebUI： 走纯粹聊天界面路线，你可以把它当做一个能 “轻松切换模型、马上对话” 的 Web 面板，如果只是想单纯体验 Ollama 的生成效果，Open-WebUI 也许是最方便的。

选择 Anything LLM

• AnythingLLM 是由 Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。
• AnythingLLM 支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于 MacOS、Linux 和 Windows 操作系统，也可以使用 Docker 安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

安装 Anything LLM

AnythingLLM 配置

上传文件

点击按钮开始添加文档，并将文档 Move to Workspace，然后点击 Save and Embed，出现 Workspace updated successfully 就表示配置已经完成。

验证效果

使用DeepSeek搭建个人知识库

对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”，往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通，这便衍生出许多解决方案。

Ollama 简介

在进入对比之前，先简单回顾一下 Ollama 的定位和特性：

本地推理：

• CPU 即可运行：适合 Mac 或 Linux 环境。
• 若无 GPU 的情况下，也能让开源模型（如 LLaMA、GPT-Neo、Mistral 等）跑起来。

轻量易用：

• 安装方式简洁，一键下载二进制文件或通过 Homebrew、pkg 安装。
• 只需一个命令行工具就能加载模型并进行对话、推理。

量化优化：

• 支持对常见大语言模型做 4-bit 或 8-bit 等量化，进一步降低资源占用。

发展活跃：

• 在 GitHub 上有不错的社区支持和更新节奏，适合初中级开发者快速上手。

安装 Ollama 客户端

配置环境变量

代码语言：javascript代码运行次数：0运行复制

Ollma可以像其他软件一样在电脑上完成一键安装，不同的是，建议按照实际需求配置下系统环境变量参数。
默认的模型保存路径在C盘，我们把路径更改到有更多可用空间的分区或目录，可以更好地管理存储空间。

• 添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models
• 设置完成后重启 ollama 或 PowerShell，即可完成更改。

用 Ollama 下载模型

首先我们需要安装 Ollama（/），它可以在本地运行和管理大模型。

直接下载速度太慢，使用加速，GitHub Proxy 代理加速（/）【实测速度超快】： ://github/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

接下来点击 Ollama 官网左上方的 “Models” 按钮，会列出支持的各种模型，目前最火的 DeepSeek-R1 排在显眼位置，点击进入主题页面：

点击进去后，查看各个模型，不同模型执行的命令不同，最后部分看你选择的参数模型。

代码语言：javascript代码运行次数：0运行复制

7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b

DeepSeek R1 提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源，比如 1.5B 代表有 15 亿个参数。 具体选择哪一个看你硬件设备了。

将本机的电脑配置发给 deepseek，看看它的推荐是哪个模型

选择好模型之后，点击右侧这个按钮，复制指令，这里是：ollama run deepseek-r1:1.5b

在 Windows 搜索栏输入 “cmd” 回车，唤出命令行窗口

黏贴运行刚才复制的命令，开始下载，1.5b 模型容量大约 1.1GB，请保持网络畅通：

当界面出现 success 显示安装成功。输入 “你是谁”，看到 deepseek 的回答。

AnythingLLM、Dify、Open-WebUI 简介

AnythingLLM

• 定位：将本地文档或数据源整合进一个可检索、可对话的知识库，让 AI 助手 “懂你” 的资料。

主要功能：

• 文档管理：将 PDF、Markdown、Word 等多格式文件索引进系统。
• 智能检索：可基于向量数据库搜索相关文档片段，并在聊天时自动引用。
• 界面 +API：既提供用户友好的前端管理界面，也能通过 API 与其他系统集成。

对接 Ollama 思路：

• 在配置文件或启动脚本中，将 “语言模型推理” 后端地址指定为 Ollama 的本地服务。
• 当用户发起提问时，AnythingLLM 会先做知识检索，再将检索到的上下文发送给 Ollama 做语言生成。

适用场景：

• 企业内部文档问答、个人知识管理、高度依赖文本内容的问答场景。

Dify

• 定位：多功能的 AI 应用构建平台，支持多种大语言模型，方便开发者快速搭建 ChatGPT-like 服务或插件化应用。

主要功能：

• 对话管理：可自定义对话流或应用场景，为不同场景配置不同模型或工作流。
• 插件扩展：支持将其他第三方服务或插件加入对话流程中，提高可用性。
• 多模型兼容：除 Ollama 外，也兼容 OpenAI API、ChatGLM 等其他模型。

对接 Ollama 思路：

• 在 “模型管理” 或 “模型配置” 界面/文件中，添加对 Ollama 的引用，可能需要指定本地运行地址 (如 localhost:port)。
• 使用 Dify 的对话页面或 API 时，后台调用 Ollama 进行推理，再将结果返回前端。

适用场景：

• 多模型切换、多功能插件集成；需要可视化对话配置或工作流管理的团队与开发者。

Open-WebUI

• 定位：社区驱动的网页版用户界面，针对多种本地模型提供可视化使用入口，类似一个 “本地 ChatGPT 面板”。

主要功能：

• 浏览器聊天界面：在局域网或本机通过网页即可与模型交互。
• 支持多后端：LLaMA、GPT-NeoX 等，以及 CPU/GPU 等不同推理环境。
• 插件/扩展机制：在社区里可找到各式各样的扩展功能（如多语言 UI、模型切换、对话模板等）。

对接 Ollama 思路：

• 通常可在 Open-WebUI 的后台配置或启动脚本中，指定 Ollama 作为推理后端；
• 或使用适配 Ollama 协议的插件，让 Open-WebUI 调用 Ollama 进行对话。

适用场景：

• 需要 “纯聊天 + 模型管理” 界面的普通用户或开发者；想要单纯体验各种本地模型的人群。

接入 Ollama 的异同

在了解了三款工具的基本定位后，再来看看它们在接入 Ollama 时，有哪些不同之处，以及各自的优势与局限性。

从上表不难看出：

• AnythingLLM： 更专注于文档知识库与问答场景，自带向量检索管理，可 “多文档整合”，接入 Ollama 后实现本地化问答。
• Dify： 适合对话流管理、插件化扩展、团队协同等复杂需求。只要能在其后台正确配置 Ollama 地址，即可灵活调用。
• Open-WebUI： 走纯粹聊天界面路线，你可以把它当做一个能 “轻松切换模型、马上对话” 的 Web 面板，如果只是想单纯体验 Ollama 的生成效果，Open-WebUI 也许是最方便的。

选择 Anything LLM

• AnythingLLM 是由 Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。
• AnythingLLM 支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于 MacOS、Linux 和 Windows 操作系统，也可以使用 Docker 安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

安装 Anything LLM

AnythingLLM 配置

上传文件

点击按钮开始添加文档，并将文档 Move to Workspace，然后点击 Save and Embed，出现 Workspace updated successfully 就表示配置已经完成。

验证效果

本文标签： 使用DeepSeek搭建个人知识库