导语： 近年来，大型语言模型（LLM）发展迅猛，但对于普通用户而言，搭建和使用LLM仍有一定门槛。Ollama应运而生，它是一个轻量级、可扩展的框架，致力于让每个人都能轻松构建和运行本地LLM。
一键安装，轻松上手
Ollama 提供了简单易用的安装方式，无论你是 macOS、Windows 还是 Linux 用户，都能快速开始使用。
macOS:
Windows (预览版):
Linux:
curl -fsSL https://ollama.com/install.sh | sh您也可以参考手动安装指南进行安装。
Docker:
Ollama 也提供了官方 Docker 镜像 ollama/ollama，您可以在 Docker Hub 上找到它: https://hub.docker.com/r/ollama/ollama。
海量模型库，总有一款适合你
Ollama 支持 ollama.com/library 上提供的众多模型，以下是一些示例：
| 模型 | 参数量 | 大小 | 下载 |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
| Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
您可以根据自身需求选择合适的模型，例如，运行 Llama 3 模型，只需执行以下命令：
ollama run llama3需要注意的是，运行大型模型需要足够的内存，建议至少 8GB 内存运行 7B 模型，16GB 内存运行 13B 模型，32GB 内存运行 33B 模型。
个性化定制，打造专属模型
Ollama 不仅提供了丰富的模型库，还支持用户自定义模型，您可以：
- 从 GGUF 文件导入模型：
- 创建名为
Modelfile的文件，并在其中使用FROM指令指定本地 GGUF 模型文件的路径。例如：FROM ./vicuna-33b.Q4_0.gguf - 使用
ollama create命令创建模型：ollama create example -f Modelfile - 运行模型：
ollama run example
- 从 PyTorch 或 Safetensors 导入模型：
- 您可以参考导入模型指南了解更多信息。
- 自定义提示词：
- 您可以通过
Modelfile文件为模型设置自定义提示词。例如，以下Modelfile文件将llama3模型的角色设定为超级玛丽中的马里奥：FROM llama3 # 设置温度参数，值越高越有创造力，值越低越连贯 PARAMETER temperature 1 # 设置系统消息 SYSTEM """ 你将扮演超级玛丽中的马里奥，请以马里奥的身份回答问题。 """ - 创建并运行模型：
ollama create mario -f ./Modelfile ollama run mario >>> 你好 你好！我是你的朋友马里奥。更多自定义提示词的示例，请参考 examples 目录。
功能强大的命令行工具
Ollama 提供了一套简洁易用的命令行工具，方便用户管理和使用模型。
ollama create: 从 Modelfile 创建模型。ollama pull: 下载模型。ollama rm: 删除模型。ollama cp: 复制模型。ollama show: 显示模型信息。ollama list: 列出本地模型。ollama serve: 启动 Ollama 服务。
灵活的 REST API
Ollama 还提供了 REST API，方便用户通过编程方式与模型交互。
- 生成文本：
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"为什么天空是蓝色的?"
}'- 与模型聊天：
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "为什么天空是蓝色的?" }
]
}'更多 API 详情请参考 API 文档。
丰富的社区集成
Ollama 拥有活跃的社区，开发者们贡献了众多集成工具，涵盖 Web、桌面、终端、数据库、移动端等多个平台，例如：
- Web & 桌面: Open WebUI, Enchanted, Hollama, Lollms-Webui 等等。
- 终端: oterm, Ellama Emacs client, gen.nvim 等等。
- 数据库: MindsDB, chromem-go 等等。
- 移动端: Enchanted, Maid 等等。
总结
Ollama 为用户提供了一个简单易用、功能强大的平台，让每个人都能轻松构建和运行本地大型语言模型。无论您是 LLM 爱好者、开发者还是研究人员，Ollama 都能为您提供强大的支持。