admin管理员组

文章数量:1130349

文章目录

    • 大模型本地化部署（一）——Ollama安装教程（Windows版）
      • 环境要求
      • 安装步骤
        • 1. 下载安装包
        • 2. 运行安装程序
      • 环境变量配置
        • 1. 基础路径配置
        • 2. 高级环境变量配置
        • 3. 验证配置
      • Ollama常用指令
      • 基础使用示例
        • 1. 运行Llama 2模型
        • 2. 通过API调用
      • 常见问题处理
        • 1. 命令未识别 (`'ollama' is not recognized`)
        • 2. 模型下载失败
        • 3. 显存不足 (`CUDA out of memory`)
      • 附：推荐模型列表
      • 总结

大模型本地化部署（一）——Ollama安装教程（Windows版）

环境要求

  1. 操作系统: Windows 10/11（64位）
  2. 内存: 建议8GB及以上（运行大模型需更高内存）
  3. 存储空间: 至少10GB可用空间（模型文件通常较大）
  4. 网络: 需稳定连接（下载模型依赖网络）

安装步骤

1. 下载安装包

访问 Ollama官网下载页，选择 Download for Windows 获取安装程序（OllamaSetup.exe）。

2. 运行安装程序
  • 双击安装包，按提示完成安装（默认路径为 C:\Users\<用户名>\.ollama）。
  • 安装完成后，验证是否成功：
    ollama --version
    若输出版本号（如 ollama version 0.xx.xx），则安装成功。

环境变量配置

1. 基础路径配置

  • 目的: 确保命令行全局调用 ollama 命令。

  • 步骤:

    1. 右键 此电脑 → 属性 → 高级系统设置 → 环境变量。

    2. 在 系统变量 中选中 Path → 编辑 → 新建，添加路径：

      C:\Users\<你的用户名>\.ollama\bin

    3. 替换 <你的用户名> 为实际用户名（如 C:\Users\John\.ollama\bin）。

2. 高级环境变量配置

通过以下变量优化存储、性能和网络行为：

变量名作用说明默认值推荐设置示例
OLLAMA_MODELS模型文件存储路径（避免占用C盘空间）C:\Users\%username%\.ollama\modelsD:\OllamaModels
OLLAMA_HOST服务监听地址（允许局域网访问需修改）127.0.0.10.0.0.0（开放所有IP）
OLLAMA_PORT服务监听端口114348080（端口冲突时修改）
OLLAMA_ORIGINS允许的HTTP请求来源（*表示允许所有）无（默认仅本地访问）*
OLLAMA_KEEP_ALIVE模型内存驻留时间（减少重复加载耗时）5m（5分钟）24h（24小时）
OLLAMA_NUM_PARALLEL并发请求处理数（提升吞吐量）1（单并发）4（根据CPU核心数调整）
OLLAMA_MAX_QUEUE最大请求队列长度（队列满时丢弃新请求）5121024（高并发场景调整）
OLLAMA_DEBUG启用调试日志（排查问题时开启）无（默认关闭）1
OLLAMA_MAX_LOADED_MODELS内存中同时加载的最大模型数量12（根据内存容量调整）

配置方法（任选其一）：

  • 图形界面：通过系统属性添加环境变量

  • 命令行（管理员权限）：

    setx OLLAMA_MODELS "D:\OllamaModels" /M
setx OLLAMA_HOST "0.0.0.0" /M
setx OLLAMA_KEEP_ALIVE "24h" /M
3. 验证配置

  1. 打开新命令行窗口，检查变量是否生效：

    echo %OLLAMA_MODELS%
echo %OLLAMA_HOST%

  2. 启动服务验证监听状态：

    ollama serve

    若输出显示 Listening on 0.0.0.0:11434（或自定义端口），则配置成功。

Ollama常用指令

指令功能描述示例
ollama run <模型名>运行指定模型ollama run llama2
ollama list列出已下载的模型ollama list
ollama ps查看当前运行的模型实例ollama ps
ollama pull <模型名>下载模型（不直接运行）ollama pull mistral
ollama rm <模型名>删除指定模型ollama rm llama2
ollama serve启动本地API服务（默认端口11434）ollama serve

基础使用示例

1. 运行Llama 2模型
ollama run llama2
  • 首次运行会自动下载模型文件（约4GB）。
  • 输入 /? 查看交互帮助，按 Ctrl+D 退出。
2. 通过API调用

启动服务后，可通过HTTP请求调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "Hello"
}'

常见问题处理

1. 命令未识别 ('ollama' is not recognized)
  • 原因: 环境变量未生效。
  • 解决:
    1. 检查环境变量路径是否正确。
    2. 重启命令行工具或系统。
2. 模型下载失败
  • 原因: 网络连接问题。
  • 解决:
    1. 使用代理工具（如配置HTTP_PROXY环境变量）。
    2. 尝试手动下载模型文件。
3. 显存不足 (CUDA out of memory)
  • 解决:
    1. 选择更小模型（如 tinyllama）。
    2. 关闭其他占用GPU资源的程序。

附：推荐模型列表

模型名称大小适用场景
llama24GB通用文本生成
mistral5GB多语言支持
codellama7GB代码生成与补全
tinyllama1.1GB低资源环境

总结

本文档提供了Ollama在Windows系统的完整安装与配置流程，涵盖基础指令和常见问题解决方案。后续将深入探讨模型微调、API集成及性能优化。如有问题，请参考 Ollama官方文档。

文章目录

    • 大模型本地化部署（一）——Ollama安装教程（Windows版）
      • 环境要求
      • 安装步骤
        • 1. 下载安装包
        • 2. 运行安装程序
      • 环境变量配置
        • 1. 基础路径配置
        • 2. 高级环境变量配置
        • 3. 验证配置
      • Ollama常用指令
      • 基础使用示例
        • 1. 运行Llama 2模型
        • 2. 通过API调用
      • 常见问题处理
        • 1. 命令未识别 (`'ollama' is not recognized`)
        • 2. 模型下载失败
        • 3. 显存不足 (`CUDA out of memory`)
      • 附：推荐模型列表
      • 总结

大模型本地化部署（一）——Ollama安装教程（Windows版）

环境要求

  1. 操作系统: Windows 10/11（64位）
  2. 内存: 建议8GB及以上（运行大模型需更高内存）
  3. 存储空间: 至少10GB可用空间（模型文件通常较大）
  4. 网络: 需稳定连接（下载模型依赖网络）

安装步骤

1. 下载安装包

访问 Ollama官网下载页，选择 Download for Windows 获取安装程序（OllamaSetup.exe）。

2. 运行安装程序
  • 双击安装包，按提示完成安装（默认路径为 C:\Users\<用户名>\.ollama）。
  • 安装完成后，验证是否成功：
    ollama --version
    若输出版本号（如 ollama version 0.xx.xx），则安装成功。

环境变量配置

1. 基础路径配置

  • 目的: 确保命令行全局调用 ollama 命令。

  • 步骤:

    1. 右键 此电脑 → 属性 → 高级系统设置 → 环境变量。

    2. 在 系统变量 中选中 Path → 编辑 → 新建，添加路径：

      C:\Users\<你的用户名>\.ollama\bin

    3. 替换 <你的用户名> 为实际用户名（如 C:\Users\John\.ollama\bin）。

2. 高级环境变量配置

通过以下变量优化存储、性能和网络行为：

变量名作用说明默认值推荐设置示例
OLLAMA_MODELS模型文件存储路径（避免占用C盘空间）C:\Users\%username%\.ollama\modelsD:\OllamaModels
OLLAMA_HOST服务监听地址（允许局域网访问需修改）127.0.0.10.0.0.0（开放所有IP）
OLLAMA_PORT服务监听端口114348080（端口冲突时修改）
OLLAMA_ORIGINS允许的HTTP请求来源（*表示允许所有）无（默认仅本地访问）*
OLLAMA_KEEP_ALIVE模型内存驻留时间（减少重复加载耗时）5m（5分钟）24h（24小时）
OLLAMA_NUM_PARALLEL并发请求处理数（提升吞吐量）1（单并发）4（根据CPU核心数调整）
OLLAMA_MAX_QUEUE最大请求队列长度（队列满时丢弃新请求）5121024（高并发场景调整）
OLLAMA_DEBUG启用调试日志（排查问题时开启）无（默认关闭）1
OLLAMA_MAX_LOADED_MODELS内存中同时加载的最大模型数量12（根据内存容量调整）

配置方法（任选其一）：

  • 图形界面：通过系统属性添加环境变量

  • 命令行（管理员权限）：

    setx OLLAMA_MODELS "D:\OllamaModels" /M
setx OLLAMA_HOST "0.0.0.0" /M
setx OLLAMA_KEEP_ALIVE "24h" /M
3. 验证配置

  1. 打开新命令行窗口，检查变量是否生效：

    echo %OLLAMA_MODELS%
echo %OLLAMA_HOST%

  2. 启动服务验证监听状态：

    ollama serve

    若输出显示 Listening on 0.0.0.0:11434（或自定义端口），则配置成功。

Ollama常用指令

指令功能描述示例
ollama run <模型名>运行指定模型ollama run llama2
ollama list列出已下载的模型ollama list
ollama ps查看当前运行的模型实例ollama ps
ollama pull <模型名>下载模型（不直接运行）ollama pull mistral
ollama rm <模型名>删除指定模型ollama rm llama2
ollama serve启动本地API服务（默认端口11434）ollama serve

基础使用示例

1. 运行Llama 2模型
ollama run llama2
  • 首次运行会自动下载模型文件（约4GB）。
  • 输入 /? 查看交互帮助，按 Ctrl+D 退出。
2. 通过API调用

启动服务后，可通过HTTP请求调用：

curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "Hello"
}'

常见问题处理

1. 命令未识别 ('ollama' is not recognized)
  • 原因: 环境变量未生效。
  • 解决:
    1. 检查环境变量路径是否正确。
    2. 重启命令行工具或系统。
2. 模型下载失败
  • 原因: 网络连接问题。
  • 解决:
    1. 使用代理工具（如配置HTTP_PROXY环境变量）。
    2. 尝试手动下载模型文件。
3. 显存不足 (CUDA out of memory)
  • 解决:
    1. 选择更小模型（如 tinyllama）。
    2. 关闭其他占用GPU资源的程序。

附：推荐模型列表

模型名称大小适用场景
llama24GB通用文本生成
mistral5GB多语言支持
codellama7GB代码生成与补全
tinyllama1.1GB低资源环境

总结

本文档提供了Ollama在Windows系统的完整安装与配置流程，涵盖基础指令和常见问题解决方案。后续将深入探讨模型微调、API集成及性能优化。如有问题，请参考 Ollama官方文档。

本文标签： 保姆模型教程ollama

版权声明：本文标题：大模型本地化部署（一）——Ollama保姆级安装教程 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754782935a2727774.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。