分类： AI

QServe 是一个基于 W4A8KV4 量化 (4 位权重，8 位激活和 4 位 KV 缓存) 的高效且准确的 LLM 服务系统，可在 GPU 上运行。与领先的行业解决方案 TensorRT-LLM 相比，QServe 在 L40S 和 A100 GPU 上服务 Llama-3-8B 时实现了 1.2 倍至 1.4 倍的更高吞吐量，在服务 Qwen1.5-72B 时实现了 2.4 倍至 3.5 倍的更高吞吐量。QServe 还允许用户在价格便宜 3 倍的 L40S GPU 上实现 A100 级别的吞吐量。

主要特点

• QoQ 量化算法: W4A8KV4 量化，通过渐进式量化和 SmoothAttention 技术减少反量化开销并保持准确性。
• 系统优化: 计算感知的权重重排序，高效的反量化策略以及利用寄存器级并行性，进一步提高性能。
• PyTorch 支持: 完全基于 PyTorch 的运行时和用户界面，兼顾效率和灵活性。
• 高效内核: 针对 W4A8/W8A8 GEMM 和 KV4/KV8 注意力的高效融合 CUDA 内核。
• 其他功能: 支持飞行中批处理和分页注意力。

优势

• 更高的吞吐量: 与 TensorRT-LLM 相比，在各种 LLM 模型上实现了显著的性能提升。
• 更低的成本: 允许在更便宜的 GPU 上实现 A100 级别的吞吐量，有效降低 LLM 服务成本。
• 易于使用: 提供 PyTorch 接口和示例，方便用户使用和评估。

应用场景

• 云端 LLM 服务: 高效地部署大型语言模型，提供快速响应的文本生成、问答等服务。
• 边缘 LLM 推理: 在资源受限的边缘设备上运行 LLM，实现低延迟的本地推理。
• 研究和开发: 探索 LLM 量化和系统优化的最新技术，推动 LLM 应用的发展。

如何使用

1. 安装: 克隆 QServe 代码库并按照说明进行安装。
2. 模型库: 下载预量化的 QServe 模型，或使用 LMQuant 库对自己的模型进行量化。
3. 运行示例: 参考提供的示例代码进行速度基准测试或端到端内容生成。

未来方向

• 更广泛的模型支持: 支持更多类型的 LLM 模型和架构。
• 更精细的量化: 探索更细粒度的量化方法，进一步提高效率和准确性。
• 硬件加速器集成: 与专用硬件加速器集成，实现更高的性能和能效比。

QServe 为高效且经济的 LLM 服务提供了一个强大的解决方案，推动 LLM 技术的更广泛应用。

导语：

科技巨头微软正在研发参数达5000亿的全新AI（人工智能）大模型，将正面叫板谷歌和OpenAI。

微软的AI大模型MAI-1：

微软正在研发一款名为MAI-1的最新AI大模型，其规模远超出微软此前推出的一些开源模型，在性能上或能与谷歌的Gemini 1.5、Anthropic的Claude 3和OpenAI的GPT-4等知名大模型相匹敌。微软或将在5月21日开始举办的Build开发者大会上演示这款新模型。

MAI-1的开发由前谷歌AI领导人、曾担任AI初创公司Inflection首席执行官的穆斯塔法·苏莱曼（Mustafa Suleyman）领导。就在今年3月，刚刚领投完Infection的最新一轮融资，微软便从Infection挖走了包括苏莱曼在内的两位联合创始人以及部分员工。有知情人士透露，微软为此向Infection支付了超过6.5亿美元。

尽管MAI-1可能借鉴了Inflection旗下模型的部分技术，有微软员工表示，MAI-1是一款全新的大语言模型，拥有约5000亿个参数，远超微软此前训练的任何开源模型。不到一个月前，微软刚推出了一款名为Phi-3的小型AI模型，其中Phi-3 mini被优化至可部署在手机上，拥有38亿参数，经过3.3万亿token的训练，微软称其性能与GPT-3.5等模型相当。

相比之下，MAI-1的规模要大得多，也需要更多的算力投入和训练数据。为了训练该模型，微软已经配置了大量包含英伟达GPU的服务器集群，并从各类来源收集训练数据，包括由OpenAI的GPT-4生成的文本和公共互联网数据。这或将使MAI-1与OpenAI的GPT-4处于相似的水平，据传后者拥有超过1万亿个参数。

微软的AI战略：

Phi系列模型和MAI-1的研发体现出微软或在AI领域采取了双重策略，一边为移动设备开发小型本地模型，一边开发由云端支持的更大规模的模型。不过，即使在微软内部，MAI-1的确切用途也尚未得到确认。

更重要的是，MAI-1体现出微软并不希望在AI领域完全依附于合作伙伴OpenAI的技术。来自OpenAI的技术正在驱动微软的各类生成式AI功能，包括集成在Windows中的聊天机器人。此前，有来自微软AI平台团队的员工抱怨称，公司的AI战略过于关注与OpenAI的合作关系，使得微软对AI原创研究的预算减少。

6日当天，微软首席技术官凯文·斯科特（Kevin Scott）在领英上发帖，间接回应了关于MAI-1的报道。他表示，OpenAI使用微软构建的超级计算机来训练AI模型，而微软的研究部门和产品团队也在构建AI模型：“AI模型几乎出现在我们的每一项产品、服务和运营流程中，制作和运营它们的团队有时需要做一些自定义工作，无论是从头开始训练一个模型，还是微调别人构建的模型。未来将会有更多这样的情况，其中一些模型的名字包括图灵（Turing）和MAI。”

微软的算力投入：

为了实现在AI方面的突破，微软也在大力囤积算力资源。4月初，有报道称微软计划到今年年底前囤积180万块AI芯片，意味着公司希望在2024年内将所持有的GPU数量增加两倍。据知情人士透露，从2024财年到2027财年（到2027年6月30日结束），微软预计将在GPU和数据中心上花费约1000亿美元。

微软与OpenAI的合作关系：

微软与OpenAI有着密切的合作关系。OpenAI使用微软构建的超级计算机来训练AI模型，而微软的研究部门和产品团队也在构建AI模型。微软的AI战略过于关注与OpenAI的合作关系，使得微软对AI原创研究的预算减少。

微软的AI未来：

微软正在大力囤积算力资源，以实现在AI方面的突破。微软计划到今年年底前囤积180万块AI芯片，意味着公司希望在2024年内将所持有的GPU数量增加两倍。从2024财年到2027财年（到2027年6月30日结束），微软预计将在GPU和数据中心上花费约1000亿美元。

在人工智能的世界里，LLaMA Factory 正成为一个令人激动的社区，它不仅提供了一个平台，让开发者能够微调和优化大型语言模型（LLMs），还不断推动着多模态学习的进步。如果你是刚入门的新手，或者是寻求提升模型性能的资深开发者，LLaMA Factory 都能为你提供所需的资源和工具。

官方交流群：你的问题解答站

加入 LLaMA Factory 的官方交流群，你将能与其他开发者一起讨论问题、分享经验。如果遇到技术难题，不要急于在群里提问。首先，认真阅读项目的 README 文件，它通常包含了你所需要的大部分答案。此外，利用 Git Issue 的搜索功能，很可能你的问题已经被他人提出并解答过了。

最新动态：多模态模型 LLaVA-1.5 的集成

LLaMA Factory 刚刚完成了一个重要的更新，它集成了多模态模型 LLaVA-1.5，这标志着项目在微调和推理方面迈出了新的一步。而且，团队承诺将不断加入新的模型，这意味着未来会有更多令人期待的功能和改进。

学习资源：从零开始的全面教程

如果你是第一次接触模型微调，LLaMA Factory 团队为你准备了一个全面的教程，涵盖了从环境搭建到模型训练评估的每一个步骤。这个教程是你入门的绝佳资源，务必详细阅读：

https://zhuanlan.zhihu.com/p/695287607

实战教程：利用 Colab 免费算力

LLaMA Factory 还提供了一个实战教程，教你如何利用 Google Colab 提供的免费 T4 GPU 算力进行 Llama3 模型的微调。教程链接可以在 GitHub 的 README 文件顶部找到。

社区微调版模型：Llama3-8B-Chinese-Chat v2

社区微调版 Llama3-8B-Chinese-Chat 已经更新到 v2 版本。这个版本通过使用 10 万偏好数据进行训练，显著提升了模型在角色扮演、工具调用和数学能力方面的表现。你可以通过以下链接在线体验这个模型：

https://huggingface.co/spaces/llamafactory/Llama3-8B-Chinese-Chat

开源精神：感谢贡献者

LLaMA Factory 的成功离不开开源社区的贡献。感谢每一位关注和支持 LLaMA Factory 的人。你可以访问其开源仓库，了解更多项目细节：

https://github.com/hiyouga/LLaMA-Factory

此外，LLaMA Factory 的研究成果也已经发表，你可以通过以下链接阅读相关的研究论文：

https://arxiv.org/abs/2403.13372

LLaMA Factory 不仅仅是一个工具集，它是一个充满活力的社区，一个不断进化的学习平台，一个推动 AI 技术进步的创新实验室。无论你是开发者、研究者还是爱好者，LLaMA Factory 都欢迎你的加入，一起探索 AI 的无限可能。

想象一下，你训练了一个图像识别模型，它能够准确识别猫、狗、鸟等常见动物。但是，当遇到从未见过的动物，比如鸭嘴兽时，模型却束手无策。这就是零样本学习 (Zero-Shot Learning, ZSL) 所要解决的问题：如何让机器学习模型识别从未见过的类别？

零样本学习的核心思想

零样本学习的核心思想是利用“额外信息”来弥补训练数据中缺失的类别。这些额外信息通常是对所有类别（包括已知类别和未知类别）的描述，例如属性、词语、文本描述或图像特征。

语义空间与特征空间

零样本学习涉及两个重要的空间：

• 特征空间： 样本的原始信息所在的空间，例如图像的像素值。
• 语义空间： 类别描述信息所在的空间，例如动物的属性（毛色、体型等）。

零样本学习方法分类

零样本学习方法主要分为两大类：

• 基于分类器的方法： 直接学习一个用于未知类别分类的模型。
  • 映射方法： 利用映射函数将语义空间和特征空间联系起来，学习每个类别的分类器参数。
  • 关系方法： 利用类别之间的关系来构建模型，例如通过加权平均已知类别的分类器来得到未知类别的分类器。
  • 组合方法： 将每个类别看作由一系列属性组成，并对每个属性训练一个二分类器，然后根据属性分类器的结果来判断样本所属类别。
• 基于实例的方法： 为未知类别构造样本，然后用这些样本去训练分类器。
  • 拟合方法： 将样本和类别描述信息映射到同一个空间，然后利用 KNN 等方法进行分类。
  • 借助实例方法： 借用与未知类别相似的已知类别的样本作为训练数据。
  • 合成方法： 利用生成模型来生成未知类别的样本。

零样本学习的挑战与未来方向

零样本学习仍然面临一些挑战，例如：

• 领域漂移： 当训练数据和测试数据差异较大时，模型的性能会下降。
• 枢纽度问题： 一些类别描述信息可能成为“枢纽”，导致分类错误。
• 缺乏理论基础： 现有的方法大多是启发式的，缺乏严格的理论证明。

未来研究方向包括：

• 利用更多样本特性： 例如物体的多模态数据、时间序列信息等。
• 异构零样本学习： 探索训练数据和测试数据来自不同领域的情况。
• 主动学习： 通过主动学习挑选训练数据，减轻标注压力。
• 更好的语义信息： 探索更有效的语义信息表示方法。
• 更实际的问题设置： 研究广义零样本学习和针对特定任务的零样本学习方法。
• 理论研究： 建立零样本学习的理论基础，解释现有方法的有效性。
• 与其他学习方法结合： 例如与小样本学习、主动学习等方法结合。

结语

零样本学习是一项充满挑战但又极具潜力的技术，它能够帮助我们探索未知领域的奥秘，拓展机器学习的应用范围。相信在未来，零样本学习将会取得更大的突破，为人工智能的发展做出更大的贡献。