369IT编程
  •  首页
  •  教程
  •  IT编程
  •  国外技术
  •  登录
  1. 标签
  2. Ollama 高阶配置,如何增加上下文窗口大小
  • Ollama 高阶配置,如何增加上下文窗口大小?

    使用Ollama部署大模型的时候,有几个注意事项要注意。Ollama默认的上下文窗口只有2K,多张显卡可能资源分配不均等问题,计算速度不够快。我们先看一下Ollama可配置环境变量:OLLAMA_DEBUG: 显示额外的调试信息(例如:OL
    Ollama 高阶配置,如何增加上下文窗口大小
    admin1天前
    310
CopyRight © 2022 All Rights Reserved
Processed: 0.032, SQL: 9