admin管理员组

文章数量:1130349

总目录

  • 前言
  • 环境
  • 使用Ollama运行大模型
  • 使用Open WebUI访问大模型
    • Web方式访问
    • API方式访问
  • 资源监测
    • CPU/GPU
    • 内存
  • 退出
  • 参考网页

前言

随着对AI技术尤其是大语言模型的了解和开源项目的发展,相信很多人已经逐渐熟悉这门技术。如果你也想尝试一下,不妨试试花10分钟时间在本地来运行一个简单的大语言模型。

这篇文章主要介绍如何使用Ollama来运行大语言模型,以及Open WebUI来提供Web界面。


环境

设备:我的笔记本MacBook Air M1芯片,8G RAM
大模型:Google gemma:2b (笔记本配置低,只能运行低参数的大模型)
运行环境:Ollama
界面:Open WebUI


使用Ollama运行大模型

Ollama支持大部分开源大模型,这些大模型在被量化之后,可以运行在配置较低的环境里。Ollama支持MacOS, Linux以及Windows。

首先你需要在Ollama的主页下载并安装Ollama软件。

在Ollama library可以查看支持的模型列表。比如gemmma:2b的详细信息在这里可以看到。它的具体参数个数为2.51b,模型大小为1.7g。

在命令行窗口里,使用ollama run命令,指定模型作为参数。Ollama将自动拉取大模型并运行:

% ollama run gemma:2b
pulling manifest
pulling c1864a5eb193… 100% ▕██████████████████████████████████

总目录

  • 前言
  • 环境
  • 使用Ollama运行大模型
  • 使用Open WebUI访问大模型
    • Web方式访问
    • API方式访问
  • 资源监测
    • CPU/GPU
    • 内存
  • 退出
  • 参考网页

前言

随着对AI技术尤其是大语言模型的了解和开源项目的发展,相信很多人已经逐渐熟悉这门技术。如果你也想尝试一下,不妨试试花10分钟时间在本地来运行一个简单的大语言模型。

这篇文章主要介绍如何使用Ollama来运行大语言模型,以及Open WebUI来提供Web界面。


环境

设备:我的笔记本MacBook Air M1芯片,8G RAM
大模型:Google gemma:2b (笔记本配置低,只能运行低参数的大模型)
运行环境:Ollama
界面:Open WebUI


使用Ollama运行大模型

Ollama支持大部分开源大模型,这些大模型在被量化之后,可以运行在配置较低的环境里。Ollama支持MacOS, Linux以及Windows。

首先你需要在Ollama的主页下载并安装Ollama软件。

在Ollama library可以查看支持的模型列表。比如gemmma:2b的详细信息在这里可以看到。它的具体参数个数为2.51b,模型大小为1.7g。

在命令行窗口里,使用ollama run命令,指定模型作为参数。Ollama将自动拉取大模型并运行:

% ollama run gemma:2b
pulling manifest
pulling c1864a5eb193… 100% ▕██████████████████████████████████

本文标签: 模型系列AI