导语: 近年来,大型语言模型(LLM)发展迅猛,但对于普通用户而言,搭建和使用LLM仍有一定门槛。Ollama应运而生,它是一个轻量级、可扩展的框架,致力于让每个人都能轻松构建和运行本地LLM。
一键安装,轻松上手
Ollama 提供了简单易用的安装方式,无论你是 macOS、Windows 还是 Linux 用户,都能快速开始使用。
macOS:
Windows (预览版):
Linux:
curl -fsSL https://ollama.com/install.sh | sh
您也可以参考手动安装指南进行安装。
Docker:
Ollama 也提供了官方 Docker 镜像 ollama/ollama
,您可以在 Docker Hub 上找到它: https://hub.docker.com/r/ollama/ollama。
海量模型库,总有一款适合你
Ollama 支持 ollama.com/library 上提供的众多模型,以下是一些示例:
模型 | 参数量 | 大小 | 下载 |
---|---|---|---|
Llama 3 | 8B | 4.7GB | ollama run llama3 |
Llama 3 | 70B | 40GB | ollama run llama3:70b |
Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
您可以根据自身需求选择合适的模型,例如,运行 Llama 3 模型,只需执行以下命令:
ollama run llama3
需要注意的是,运行大型模型需要足够的内存,建议至少 8GB 内存运行 7B 模型,16GB 内存运行 13B 模型,32GB 内存运行 33B 模型。
个性化定制,打造专属模型
Ollama 不仅提供了丰富的模型库,还支持用户自定义模型,您可以:
- 从 GGUF 文件导入模型:
- 创建名为
Modelfile
的文件,并在其中使用FROM
指令指定本地 GGUF 模型文件的路径。例如:FROM ./vicuna-33b.Q4_0.gguf
- 使用
ollama create
命令创建模型:ollama create example -f Modelfile
- 运行模型:
ollama run example
- 从 PyTorch 或 Safetensors 导入模型:
- 您可以参考导入模型指南了解更多信息。
- 自定义提示词:
- 您可以通过
Modelfile
文件为模型设置自定义提示词。例如,以下Modelfile
文件将llama3
模型的角色设定为超级玛丽中的马里奥:FROM llama3 # 设置温度参数,值越高越有创造力,值越低越连贯 PARAMETER temperature 1 # 设置系统消息 SYSTEM """ 你将扮演超级玛丽中的马里奥,请以马里奥的身份回答问题。 """
- 创建并运行模型:
ollama create mario -f ./Modelfile ollama run mario >>> 你好 你好!我是你的朋友马里奥。
更多自定义提示词的示例,请参考 examples 目录。
功能强大的命令行工具
Ollama 提供了一套简洁易用的命令行工具,方便用户管理和使用模型。
ollama create
: 从 Modelfile 创建模型。ollama pull
: 下载模型。ollama rm
: 删除模型。ollama cp
: 复制模型。ollama show
: 显示模型信息。ollama list
: 列出本地模型。ollama serve
: 启动 Ollama 服务。
灵活的 REST API
Ollama 还提供了 REST API,方便用户通过编程方式与模型交互。
- 生成文本:
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"为什么天空是蓝色的?"
}'
- 与模型聊天:
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "为什么天空是蓝色的?" }
]
}'
更多 API 详情请参考 API 文档。
丰富的社区集成
Ollama 拥有活跃的社区,开发者们贡献了众多集成工具,涵盖 Web、桌面、终端、数据库、移动端等多个平台,例如:
- Web & 桌面: Open WebUI, Enchanted, Hollama, Lollms-Webui 等等。
- 终端: oterm, Ellama Emacs client, gen.nvim 等等。
- 数据库: MindsDB, chromem-go 等等。
- 移动端: Enchanted, Maid 等等。
总结
Ollama 为用户提供了一个简单易用、功能强大的平台,让每个人都能轻松构建和运行本地大型语言模型。无论您是 LLM 爱好者、开发者还是研究人员,Ollama 都能为您提供强大的支持。