29倍吞吐量提升：一探H2O高效生成大型语言模型的秘密

评论

《 “29倍吞吐量提升：一探H2O高效生成大型语言模型的秘密” 》 有 9 条评论

1. 

   2023-12-21

   C3P00

   <a href="https://github.com/FMInference/H2O" rel="nofollow ugc">https://github.com/FMInference/H2O</… Read more

   <a href="https://github.com/FMInference/H2O" rel="nofollow ugc">https://github.com/FMInference/H2O</a> Read less

   登录以回复
2. 

   2023-12-27

   C3P00

   生成式 大型 语言 模型( llm )因其 在创意 写作 、高 级代 码生 成和
   复杂 自… Read more

   生成式 大型 语言 模型( llm )因其 在创意 写作 、高 级代 码生 成和
   复杂 自 然语 言 处理 任 务方 面 的卓 越 能力 而受 到 关注 [5 ,42 ,49 ]。
   这些模 型广泛 部署 在配备 高端 和昂贵 的服 务器级 gp u 的数据
   中心中 ，对 我们 的日 常生 活和 工作 实践产 生了 重大 影响 。与
   此同时 ，在更 容易 访问的 本地 平台上 运行 llm 的 趋势正 在兴
   起，特 别是 带有 消费 级 gp u 的个人电 脑(p c )。这种 演变 是由
   增强数 据隐 私[25 ]、 模型 定制[2 2 ]和降低 推理 成本[4 2 ]的需求
   驱 动 的 。 与 优 先 考 虑 高 吞 吐 量 的 数 据 中 心 部 署 相 比
   [18,37,47 ]，本地 部署 侧重于 处理 小批量 时的 低延迟 。 Read less

   登录以回复
3. 

   2023-12-27

   C3P00

   Read more

   尽管 如此 ，在 消费 级 gp u 上部 署 llm 面临 着巨 大的 挑战 ，因
   为 它 们需 要 大 量 的 内 存 。llm ，通常作为自回归的变形器，
   按顺 序逐 个符 号生 成文 本， 每个 符号 都需 要访 问由 数千 亿个
   参 数组 成 的 整 个模 型 。 因此 ， 推 理 过程 从 根 本 上受到 GP U
   内存 容量 的限 制。 这种 限制 在本 地部 署中 尤其 严重 ，在 本地
   部署 中， 单 个请 求的 处 理(通 常 一次 只 有一 个)[6 ]留 给并 行处
   理的机会很 少。 Read less

   登录以回复
4. 

   2023-12-27

   C3P00

   解决这类内存问题的现有方法包括模型压缩和卸载。量
   化[1 2 ,46 ]、蒸馏[4 8… Read more

   解决这类内存问题的现有方法包括模型压缩和卸载。量
   化[1 2 ,46 ]、蒸馏[4 8 ]和剪枝[2 3 ]等压缩技术减少了模型的大
   小。 然而 ，即 使是 深度 压缩 的模 型对 于消 费级 gpu 来说 仍然
   太大 。例 如，4 位精度 的 OPT-66B 模型仅 加载 其参 数就 需要
   大约 4 0 GB 的 内存[2 0 ]，甚至 超 过了 N VI DI A RT X 40 90 等高
   端 gp u 的容 量。 模型 卸载 ， 在 Tra n sfo rm e r 层将模 型划 分为
   GP U 和 CP U[3 ,14 ,37 ]。最先进的系统，如 lla ma .cp p [14 ]在
   CPU 和 GP U 内存 之间 分配 层， 利用 两者 进行 推理 ，从 而减
   少所 需的 GPU 资源 。然 而， 这 种方 法受 到慢速 P CIe 互连和
   cpu 有限的计 算能 力的 阻碍 ，导 致较 高的 推理 延迟 。 Read less

   登录以回复
5. 

   2023-12-27

   C3P00

   在本 文中 ，我 们认为 L LM 推 理中 内存 问题 的关 键原 因是
   硬 件架 构与… Read more

   在本 文中 ，我 们认为 L LM 推 理中 内存 问题 的关 键原 因是
   硬 件架 构与 LL M 推理 特 性 之间 的局部性不匹配 。当前 的硬
   件架 构设 计了 针对 数据 局部 性优 化的 内存 层次 结构 。理 想情
   况下 ，应 该 在 GP U 中 存 储一 个小 的、 经 常访 问的 工作 集，
   这样 可以 提供 更高 的内 存带 宽， 但容 量有 限。 相比 之下 ，更
   大的 、访 问频 率更 低的 数 据更 适合 c p u ，它提 供更 广泛 的内
   存容 量， 但带 宽更 低。 然而 ，每 次 LLM 推理 迭代 所需 的大
   量参 数导 致单 个 GP U 的 工作 集太 大， 从 而阻 碍了 有效 的局
   部性利用。 Read less

   登录以回复
6. 

   2023-12-27

   C3P00

   Read more

   在 OPT 模 型中 ， 激活 图中 只 有不 到 10 % 的 元素 是非 零 的，
   而这些元素在运行时的预测准确率可以达到 93% 以 上[2 1 ]。
   值得注意的 是 ，LLM 中的 神经 元 激活 遵循倾斜的幂律分布 :
   一小部分神 经 元始 终参 与 各种 输 入(热激活)的 大 多数 激活
   (超过 80 % )， 而大 多数 神 经元 参 与剩 余的 激 活， 这些 激 活
   是根据运行 时 的输 入(冷激 活 )确定 的 。 Read less

   登录以回复
7. 

   2023-12-27

   C3P00

   在局 部性 见解 的基 础上 ，我 们介 绍 了 PowerInfer，这 是一
   个高效的 L LM … Read more

   在局 部性 见解 的基 础上 ，我 们介 绍 了 PowerInfer，这 是一
   个高效的 L LM 推理系统， 使用单个消 费级 GPU 对 本地部署
   进行了优化。Po we rInfe r 的关键 思想是利用 L LM 推 理中的局
   域性，将少量 的热神经 元分配给 GP U，而 构成大多 数的冷神
   经元由 CP U 管理。Po w- e rInfe r 离线预选 和预加载 热激活的
   神经元到 GPU 上 ，并在运行 时利用在线 预测器来识 别激活的
   神经元。这种方 法允许 GP U 和 CP U 独 立处理各自 的神经元
   集，从而最大限度 地减少对昂 贵的 PCI e 数据传 输的需求。 Read less

   登录以回复
8. 

   2023-12-27

   C3P00

   然而 ，有 一些 重大 的挑 战 使 Po we rInf er 的设 计复 杂化 。首
   先， 在线 … Read more

   然而 ，有 一些 重大 的挑 战 使 Po we rInf er 的设 计复 杂化 。首
   先， 在线 预测 器对 于识别 L LM 层中 的活 动神 经元 至关 重要 ，
   通常 位于 G PU 上， 占用 了大 量 的 GPU 内存 。否 则， 这些 内
   存 可以 用于 LL M 。为 了 解 决这 个 问 题，Po we rInf e r 引 入了
   一种自适应方法，用于为具有较高激活稀疏度和偏度的层
   构建较小的预测器。这个迭代过程减少了预测器的大小，
   同时 保 持 了它 们 的 准确 性 ， 从而 为 L LM 推 理释 放 了 GP U
   内存。 Read less

   登录以回复
9. 

   2023-12-27

   C3P00

   Read more

   Po we rInf e r 的 在 线 推 理 引 擎 是 通 过 添 加 4 200 行 c ++ 和
   C U D A 代 码 来扩 展 lla ma .cp p 来实现 的 。它 的离 线 组件 ，包
   括一 个 分析 器 和一 个 求 解器 ， 建立 在 变压 器 框架 [44 ]上 ，大
   约 有 4 00 行 Py th on 代码。p o we re rin f e r 兼 容 各 种 流 行 的
   LL M 家 族 ， 包 括 OP T (7 B-175 B) ， LLa M A (7 B-7 0 B)和
   Fa lcon – 40 B， 并 支持 消 费级 gpu ， 如 N VI DI A RT X 40 90 和
   NVI DI A RTX 2080Ti。 Read less

   登录以回复