Ollama：让大型语言模型触手可及

导语： 近年来，大型语言模型（LLM）发展迅猛，但对于普通用户而言，搭建和使用LLM仍有一定门槛。Ollama应运而生，它是一个轻量级、可扩展的框架，致力于让每个人都能轻松构建和运行本地LLM。

一键安装，轻松上手

Ollama 提供了简单易用的安装方式，无论你是 macOS、Windows 还是 Linux 用户，都能快速开始使用。

macOS:

下载

Windows (预览版):

下载

Linux:

curl -fsSL https://ollama.com/install.sh | sh

您也可以参考手动安装指南进行安装。

Docker:

Ollama 也提供了官方 Docker 镜像 ollama/ollama，您可以在 Docker Hub 上找到它: https://hub.docker.com/r/ollama/ollama。

海量模型库，总有一款适合你

Ollama 支持 ollama.com/library 上提供的众多模型，以下是一些示例：

您可以根据自身需求选择合适的模型，例如，运行 Llama 3 模型，只需执行以下命令：

ollama run llama3

需要注意的是，运行大型模型需要足够的内存，建议至少 8GB 内存运行 7B 模型，16GB 内存运行 13B 模型，32GB 内存运行 33B 模型。

个性化定制，打造专属模型

Ollama 不仅提供了丰富的模型库，还支持用户自定义模型，您可以：

1. 从 GGUF 文件导入模型：

• 创建名为 Modelfile 的文件，并在其中使用 FROM 指令指定本地 GGUF 模型文件的路径。例如： FROM ./vicuna-33b.Q4_0.gguf
• 使用 ollama create 命令创建模型： ollama create example -f Modelfile
• 运行模型： ollama run example

1. 从 PyTorch 或 Safetensors 导入模型：

• 您可以参考导入模型指南了解更多信息。

1. 自定义提示词：

• 您可以通过 Modelfile 文件为模型设置自定义提示词。例如，以下 Modelfile 文件将 llama3 模型的角色设定为超级玛丽中的马里奥： FROM llama3 # 设置温度参数，值越高越有创造力，值越低越连贯 PARAMETER temperature 1 # 设置系统消息 SYSTEM """ 你将扮演超级玛丽中的马里奥，请以马里奥的身份回答问题。 """
• 创建并运行模型： ollama create mario -f ./Modelfile ollama run mario >>> 你好 你好！我是你的朋友马里奥。 更多自定义提示词的示例，请参考 examples 目录。

功能强大的命令行工具

Ollama 提供了一套简洁易用的命令行工具，方便用户管理和使用模型。

• ollama create: 从 Modelfile 创建模型。
• ollama pull: 下载模型。
• ollama rm: 删除模型。
• ollama cp: 复制模型。
• ollama show: 显示模型信息。
• ollama list: 列出本地模型。
• ollama serve: 启动 Ollama 服务。

灵活的 REST API

Ollama 还提供了 REST API，方便用户通过编程方式与模型交互。

• 生成文本：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"为什么天空是蓝色的?"
}'

• 与模型聊天：

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的?" }
  ]
}'

更多 API 详情请参考 API 文档。

丰富的社区集成

Ollama 拥有活跃的社区，开发者们贡献了众多集成工具，涵盖 Web、桌面、终端、数据库、移动端等多个平台，例如：

• Web & 桌面: Open WebUI, Enchanted, Hollama, Lollms-Webui 等等。
• 终端: oterm, Ellama Emacs client, gen.nvim 等等。
• 数据库: MindsDB, chromem-go 等等。
• 移动端: Enchanted, Maid 等等。

总结

Ollama 为用户提供了一个简单易用、功能强大的平台，让每个人都能轻松构建和运行本地大型语言模型。无论您是 LLM 爱好者、开发者还是研究人员，Ollama 都能为您提供强大的支持。

参考文献

• https://raw.githubusercontent.com/ollama/ollama/main/README.md