UC伯克利开源了 vLLM 这个大语言模型推理和服务引擎。
主要亮点包括:
- 使用新的PagedAttention注意力算法,可以有效管理注意力键值缓存,节省内存开销。
- 性能明显优于HuggingFace Transformers, 吞吐量提升24倍。
- 能够在GPU资源有限的情况下提供LLM服务。
- 能支持各种LLM模型架构,如GPT系列、LLaMA等。
- vLLM已经被用于Chatbot Arena和Vicuna LM模型的服务后端,提升吞吐量30倍。
主要技术亮点在于PagedAttention算法。它通过在非连续内存空间中存储注意力键值,有效管理内存。
使用vLLM可以很容易完成离线推理和在线部署,提供类似OpenAI API的服务。项目对于降低LLM服务的成本和难度具有重要意义,有利于更多机构和团队部署自己的LLM服务。vLLM是一个值得关注的开源项目,解决了LLM服务效率和可伸缩性方面的重大挑战。
[vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs](https://github.com/vllm-project/vllm)