PowerInfer：单个消费级GPU的高效推理引擎

PowerInfer 提供了适用于个人计算机配备单个消费级GPU的高速大型语言模型（LLM）推理引擎。PowerInfer的关键创新在于利用LLM推理中固有的高局部性，其特点是神经元激活呈幂律分布。

利用这一见解，PowerInfer采用了GPU-CPU混合推理引擎，其中热激活的神经元预先加载到GPU上以实现快速访问，而冷激活的神经元则在CPU上计算，显著减少了GPU内存需求和CPU-GPU数据传输。此外，它集成了自适应预测器和神经元感知的稀疏运算符，优化了神经元激活和计算稀疏性的效率。

评估表明，PowerInfer在单个NVIDIA RTX 4090 GPU上实现了13.20个标记/秒的平均标记生成速率，峰值达到29.08个标记/秒，仅比顶级服务器级A100 GPU低18％。这种性能明显优于llama.cpp，性能提高了高达11.69倍，同时保持了模型的准确性。

特点

• 局部性设计： 利用稀疏激活和“热”/“冷”神经元概念进行高效的LLM推理，确保更高的速度和更低的资源需求。
• 混合CPU/GPU利用： 无缝整合CPU和GPU的内存/计算能力，实现均衡的工作负载和更快的处理速度。
• 易集成： 兼容流行的ReLU稀疏模型。
• 本地部署便利： 专为在消费级硬件上本地部署进行了深度优化，实现了低延迟的LLM推理和在单个GPU上的服务。

入门指南

• 安装： 指南以安装和设置PowerInfer。
• 模型权重： 有关使用模型权重和PowerInfer GGUF等特殊格式的信息。
• 构建： 在Linux或macOS上使用CMake构建PowerInfer的说明。

推理

• 提供了详细的说明，用于在CPU和CPU-GPU混合推理中运行PowerInfer，包括限制GPU的VRAM使用情况。

量化

• 针对INT4（Q4_0）模型的优化量化支持，包括量化PowerInfer GGUF模型的说明。

论文和引用

PowerInfer的更多技术细节可以在他们的论文中找到。如果您发现PowerInfer对您的项目和研究有用或相关，欢迎引用他们的论文。

致谢

PowerInfer感谢llama.cpp等多个实体的支持和启发，THUNLP对ReLU稀疏模型的支持，以及Deja Vu对他们工作的启发。这种高速的大型语言模型服务解决方案为在配备消费级GPU的个人计算机上进行高效的LLM推理和部署提供了一种有前景的方法。