🚀 作为 AI 世界的一位探险者，我们时常发现一些激动人心的突破，其中最新的一项就是 PowerInfer。这项技术能够在个人计算机上利用普通的 GPU 进行高速的大型语言模型推断，这将为我们的生活带来怎样的改变呢？
背景
Generative large language models (LLMs) 已经成为人们关注的焦点。这些模型在创造性写作、高级代码生成以及复杂的自然语言处理任务中表现出了卓越的能力。然而，传统上这些模型需要在配备高端昂贵的服务器级 GPU 的数据中心进行部署。与此同时，越来越多的人们希望在更易接触的本地平台上运行 LLMs，尤其是配备消费级 GPU 的个人电脑。这种转变是由对增强数据隐私、模型定制化以及减少推断成本的需求驱动的。
然而，将 LLMs 部署在消费级 GPU 上也带来了重大挑战，主要是由于其巨大的内存需求。LLMs 通常以自回归 Transformer 的形式顺序生成文本标记，每个标记需要访问包含数千亿参数的整个模型。因此，推断过程受到 GPU 内存容量的限制，特别是在本地部署中，每次处理单个请求时（通常一次只有一个请求）会留下极少的机会进行并行处理。
PowerInfer：改变游戏规则
PowerInfer 是一种高速的 LL 微观形态推断系统，经过精心设计，能够利用 LL 推断中固有的高度局部性。它的关键想法是通过将频繁激活的神经元分配到 GPU，而将不经常激活的神经元分配到 CPU，从而最大程度地减少 GPU 的内存需求，提高推断速度。
快人一步：PowerInfer 的内部工作原理
PowerInfer 的工作原理基于两个关键见解：一是 LL 推断中存在的高局部性，二是 CPU 和 GPU 的协同执行。它通过离线和在线组件实现神经元分配策略，并结合神经元感知运算符，从而有效地管理 GPU 和 CPU 之间的计算负载。
实验结果
PowerInfer 在高端 PC 上的表现令人印象深刻。与传统方法相比，PowerInfer 的推断速度提高了 7.23 倍，具有显著的优势。在低端 PC 上，PowerInfer 的性能提升略有降低，但仍然达到了 5.01 倍的提速。此外，PowerInfer 还支持压缩后的 LLMs，如 INT4 量化模型，其性能提升了 2.89 倍。此外，PowerInfer 还支持不同的批处理大小，当批处理大小小于 32 时，PowerInfer 的性能提升最为显著，达到了 6.08 倍的提速。
结语
PowerInfer 的问世，为 AI 领域注入了新的活力，让人们看到了在个人计算机上进行高速大型语言模型推断的可能性。这项技术不仅提升了推断速度，还为本地部署提供了更加灵活的选择。我们对于未来这项技术的应用前景充满期待。
🌟 如果您对这篇文章有任何疑问或想了解更多细节，欢迎在评论区留言，我们将会不断分享更多有趣的技术内容。让我们一起期待 AI 技术带来的更多惊喜吧！
