Ollama:让大型语言模型触手可及

导语: 近年来,大型语言模型(LLM)发展迅猛,但对于普通用户而言,搭建和使用LLM仍有一定门槛。Ollama应运而生,它是一个轻量级、可扩展的框架,致力于让每个人都能轻松构建和运行本地LLM。

一键安装,轻松上手

Ollama 提供了简单易用的安装方式,无论你是 macOS、Windows 还是 Linux 用户,都能快速开始使用。

macOS:

下载

Windows (预览版):

下载

Linux:

curl -fsSL https://ollama.com/install.sh | sh

您也可以参考手动安装指南进行安装。

Docker:

Ollama 也提供了官方 Docker 镜像 ollama/ollama,您可以在 Docker Hub 上找到它: https://hub.docker.com/r/ollama/ollama

海量模型库,总有一款适合你

Ollama 支持 ollama.com/library 上提供的众多模型,以下是一些示例:

模型参数量大小下载
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma 29B5.5GBollama run gemma2
Gemma 227B16GBollama run gemma2:27b

您可以根据自身需求选择合适的模型,例如,运行 Llama 3 模型,只需执行以下命令:

ollama run llama3

需要注意的是,运行大型模型需要足够的内存,建议至少 8GB 内存运行 7B 模型,16GB 内存运行 13B 模型,32GB 内存运行 33B 模型。

个性化定制,打造专属模型

Ollama 不仅提供了丰富的模型库,还支持用户自定义模型,您可以:

  1. 从 GGUF 文件导入模型:
  • 创建名为 Modelfile 的文件,并在其中使用 FROM 指令指定本地 GGUF 模型文件的路径。例如: FROM ./vicuna-33b.Q4_0.gguf
  • 使用 ollama create 命令创建模型: ollama create example -f Modelfile
  • 运行模型: ollama run example
  1. 从 PyTorch 或 Safetensors 导入模型:
  1. 自定义提示词:
  • 您可以通过 Modelfile 文件为模型设置自定义提示词。例如,以下 Modelfile 文件将 llama3 模型的角色设定为超级玛丽中的马里奥: FROM llama3 # 设置温度参数,值越高越有创造力,值越低越连贯 PARAMETER temperature 1 # 设置系统消息 SYSTEM """ 你将扮演超级玛丽中的马里奥,请以马里奥的身份回答问题。 """
  • 创建并运行模型: ollama create mario -f ./Modelfile ollama run mario >>> 你好 你好!我是你的朋友马里奥。 更多自定义提示词的示例,请参考 examples 目录。

功能强大的命令行工具

Ollama 提供了一套简洁易用的命令行工具,方便用户管理和使用模型。

  • ollama create: 从 Modelfile 创建模型。
  • ollama pull: 下载模型。
  • ollama rm: 删除模型。
  • ollama cp: 复制模型。
  • ollama show: 显示模型信息。
  • ollama list: 列出本地模型。
  • ollama serve: 启动 Ollama 服务。

灵活的 REST API

Ollama 还提供了 REST API,方便用户通过编程方式与模型交互。

  • 生成文本:
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"为什么天空是蓝色的?"
}'
  • 与模型聊天:
curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的?" }
  ]
}'

更多 API 详情请参考 API 文档

丰富的社区集成

Ollama 拥有活跃的社区,开发者们贡献了众多集成工具,涵盖 Web、桌面、终端、数据库、移动端等多个平台,例如:

  • Web & 桌面: Open WebUI, Enchanted, Hollama, Lollms-Webui 等等。
  • 终端: oterm, Ellama Emacs client, gen.nvim 等等。
  • 数据库: MindsDB, chromem-go 等等。
  • 移动端: Enchanted, Maid 等等。

总结

Ollama 为用户提供了一个简单易用、功能强大的平台,让每个人都能轻松构建和运行本地大型语言模型。无论您是 LLM 爱好者、开发者还是研究人员,Ollama 都能为您提供强大的支持。

参考文献

0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x