各位看官，近年来，大型语言模型（LLM）如雨后春笋般涌现，令人眼花缭乱。而 LoRA（低秩适应）作为一种高效的 LLM 微调方法，更是备受瞩目。试想一下，如果能将多个 LoRA 模型部署到同一个 GPU 集群中，那该是多么美妙的事情啊！今天，就让我们走近 Punica，一窥它如何巧妙地实现多租户 LoRA 模型服务。
一、 LoRA 模型服务：机遇与挑战并存
俗话说，"好马配好鞍"，强大的 LoRA 模型也需要高效的部署方案才能发挥其最大威力。然而，传统的 LLM 服务系统却难以满足多租户 LoRA 模型服务的特殊需求。
想象一下，如果将每个 LoRA 模型都视为独立的模型进行部署，就如同在一个本就拥挤的舞台上，硬生生地塞进更多演员，结果必然是资源紧张，性能低下。
那么，如何才能打造一个高效的多租户 LoRA 模型服务系统呢？ Punica 的设计者们总结了三条宝贵的设计准则：
(G1) "寸土寸金"： GPU 资源宝贵，必须充分利用，将多租户 LoRA 工作负载整合到尽可能少的 GPU 上。
(G2) "众人拾柴火焰高"： 批处理是提高性能和 GPU 利用率的有效手段，但如何对不同 LoRA 模型进行批处理，却是一个难题。
(G3) "擒贼先擒王"： 解码阶段是模型服务的性能瓶颈，因此优化重点应放在解码阶段。
二、 Punica：多租户 LoRA 模型服务的"妙计"
Punica 就像一个技艺高超的"魔术师"，它巧妙地将多个 LoRA 模型"变"到同一个 GPU 集群中，并保证每个模型都能流畅运行。
1. SGMV：批处理不同 LoRA 模型的"魔法棒"
Punica 的核心创新在于其独特的 CUDA 内核设计——SGMV（分段收集矩阵向量乘法）。SGMV 就像一根神奇的"魔法棒"，能够将不同 LoRA 模型的 GPU 操作批处理起来，从而实现高效的并行计算。
具体来说，SGMV 将来自不同 LoRA 模型的输入特征向量拼接成一个大的特征矩阵，并根据 LoRA 模型对矩阵进行分段。然后，SGMV 利用 GPU 的并行计算能力，对每个分段进行矩阵向量乘法运算，并将结果累加到对应的输出向量中。
通过这种方式，Punica 只需要在 GPU 内存中存储一份预训练模型的副本，就能同时为多个 LoRA 模型提供服务，极大地提高了 GPU 的内存和计算效率。
2. Punica 的调度策略：让 LoRA 模型"各就各位"
除了 SGMV，Punica 还采用了一系列先进的系统优化技术，包括：
- 按需加载模型： Punica 只在需要时才将 LoRA 模型的权重加载到 GPU 内存中，从而缩短模型加载时间。
- 请求迁移： 当 GPU 内存不足时，Punica 会将部分请求迁移到其他 GPU 上，以保证服务的稳定性。
- 可分离的 KvCache 布局： Punica 采用可分离的 KvCache 布局，避免了传统布局中存在的内存碎片问题，提高了 KvCache 的利用率。
三、 Punica 性能评估：以实力说话
Punica 的设计者们对系统进行了全面的性能评估，结果表明 Punica 在多租户 LoRA 模型服务方面表现出色。
在使用 NVIDIA A100 GPU 集群进行的测试中，Punica 的吞吐量比现有的 LLM 服务系统高出 12 倍，而每个 token 的延迟仅增加了 2 毫秒。
四、 Punica 的未来：充满无限可能
Punica 的出现为多租户 LoRA 模型服务提供了一种高效可行的解决方案。未来，Punica 还将继续发展，支持更多类型的模型和硬件平台，为 LLM 的广泛应用铺平道路。
参考文献
- Hu, Edward J., et al. "Lora: Low-rank adaptation of large language models." arXiv preprint arXiv:2106.09685 (2021).
- Touvron, Hugo, et al. "Llama 2: Open foundation and fine-tuned chat models." arXiv preprint arXiv:2307.09288 (2023).
- Dao, Tri, et al. "Flashattention: Fast and memory-efficient exact attention with io-awareness." Advances in Neural Information Processing Systems 35 (2022): 16345-16358.
- Kwon, Youngjoon, et al. "vllm: Easy, performant, and scalable serving with pagedattention." arXiv preprint arXiv:2309.01335 (2023).
- Shoeybi, Mohammad, et al. "Megatron-lm: Training multi-billion parameter language models using model parallelism." arXiv preprint arXiv:1909.08053 (2019).