admin管理员组文章数量:1130349
总目录
- 前言
- 环境
- 使用Ollama运行大模型
- 使用Open WebUI访问大模型
-
- Web方式访问
- API方式访问
- 资源监测
-
- CPU/GPU
- 内存
- 退出
- 参考网页
前言
随着对AI技术尤其是大语言模型的了解和开源项目的发展,相信很多人已经逐渐熟悉这门技术。如果你也想尝试一下,不妨试试花10分钟时间在本地来运行一个简单的大语言模型。
这篇文章主要介绍如何使用Ollama来运行大语言模型,以及Open WebUI来提供Web界面。
环境
设备:我的笔记本MacBook Air M1芯片,8G RAM
大模型:Google gemma:2b (笔记本配置低,只能运行低参数的大模型)
运行环境:Ollama
界面:Open WebUI
使用Ollama运行大模型
Ollama支持大部分开源大模型,这些大模型在被量化之后,可以运行在配置较低的环境里。Ollama支持MacOS, Linux以及Windows。
首先你需要在Ollama的主页下载并安装Ollama软件。
在Ollama library可以查看支持的模型列表。比如gemmma:2b的详细信息在这里可以看到。它的具体参数个数为2.51b,模型大小为1.7g。
在命令行窗口里,使用ollama run命令,指定模型作为参数。Ollama将自动拉取大模型并运行:
% ollama run gemma:2b
pulling manifest
pulling c1864a5eb193… 100% ▕██████████████████████████████████
总目录
- 前言
- 环境
- 使用Ollama运行大模型
- 使用Open WebUI访问大模型
-
- Web方式访问
- API方式访问
- 资源监测
-
- CPU/GPU
- 内存
- 退出
- 参考网页
前言
随着对AI技术尤其是大语言模型的了解和开源项目的发展,相信很多人已经逐渐熟悉这门技术。如果你也想尝试一下,不妨试试花10分钟时间在本地来运行一个简单的大语言模型。
这篇文章主要介绍如何使用Ollama来运行大语言模型,以及Open WebUI来提供Web界面。
环境
设备:我的笔记本MacBook Air M1芯片,8G RAM
大模型:Google gemma:2b (笔记本配置低,只能运行低参数的大模型)
运行环境:Ollama
界面:Open WebUI
使用Ollama运行大模型
Ollama支持大部分开源大模型,这些大模型在被量化之后,可以运行在配置较低的环境里。Ollama支持MacOS, Linux以及Windows。
首先你需要在Ollama的主页下载并安装Ollama软件。
在Ollama library可以查看支持的模型列表。比如gemmma:2b的详细信息在这里可以看到。它的具体参数个数为2.51b,模型大小为1.7g。
在命令行窗口里,使用ollama run命令,指定模型作为参数。Ollama将自动拉取大模型并运行:
% ollama run gemma:2b
pulling manifest
pulling c1864a5eb193… 100% ▕██████████████████████████████████
版权声明:本文标题:AI系列:10分钟在本地启动大模型 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://it.en369.cn/jiaocheng/1754949591a2745883.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。


发表评论