欢迎来到我的博客！今天我将为大家介绍一个令人兴奋的开源项目 – Anima。该项目是一个 QLoRA 的 33B 中文大语言模型，同时支持 DPO 对齐训练，并提供了 100K 上下文窗口的开源模型。最近，他们还推出了 AirLLM，这是一个令人印象深刻的库，可以在只有 4GB 内存的单个 GPU 上推理出 70B 的 LLM。让我们一起来深入了解这个项目吧！
🔄 更新内容
- [2023/11/17] 开源：AirLLM，使用单个 4GB GPU 进行 70B LLM 推理。
- [2023/09/06] 开源 100K 上下文窗口的基于 Llama2 的 LLM。
- [2023/06/29] 开源基于 DPO+QLORA 的对齐训练。
- [2023/06/12] 开源第一个 33B 中文大语言模型。
🔍 Anima 简介
Anima 是第一个基于 QLoRA 的开源中文 33B 大语言模型。它支持 DPO 对齐训练，同时还提供了 100K 上下文窗口的开源模型 Anima100K，基于 Llama2，可用于商业用途。最近，他们还推出了 AirLLM，这是一个令人兴奋的新功能，可以在只有 4GB 内存的单个 GPU 上进行 70B LLM 的推理。
💨 AirLLM：单卡推理 70B 大模型
AirLLM 是 Anima 团队最新推出的功能之一。它通过优化推理内存的使用，使得只需单个 4GB 内存的 GPU 就能运行 70B 大语言模型的推理。与其他可能会降低模型性能的量化、蒸馏、剪枝等模型压缩技术不同，AirLLM 无需这些步骤，仍能保持卓越的性能。
📚 100K 上下文长度 LLM
Anima 团队还开源了一个新的 Anima 模型，该模型支持 100K 上下文窗口长度！该模型基于 LLama2，可用于商业用途。经过精心策划的长文本问答训练数据，以及大量的内存优化，使得 LLama2 模型能够适应 100K 的输入长度。
通过将整个知识库或一本书直接放入 Prompt 中，您不再需要进行繁琐的向量化和文本分割。Anima 团队在这个模型中应用了最新的技术，如 XEntropy、Paged 8bit Adamw、LORA、Flashattention2，并对长输入进行了定制的训练和推理代码修改，使得单个 GPU 就能支持 100K 的输入长度。
🔗 相关链接
🤝 参与贡献
如果您对 Anima 项目感兴趣并希望参与贡献，您可以在 GitHub 上提交问题和请求，与团队进行讨论，并向项目做出贡献。Anima 团队非常欢迎您的参与！
这就是对 Anima 项目的介绍！我希望这个开源项目能够给我们带来更多的惊喜和创新。如果您对这个项目感兴趣，不妨亲自探索一下 GitHub 链接：GitHub – lyogavin/Anima。祝您在学习和使用 Anima 时取得成功！如果您有任何问题或想法，请随时与 Anima 团队联系。
🌟 关于 Anima 团队
Anima 团队是一群对人工智能技术充满热情的专业人士。他们致力于开发创新的语言模型，并将其开源，以促进自然语言处理领域的发展。通过 Anima 项目，他们希望为中文语言处理提供先进的工具和资源。
如果您对自然语言处理、大语言模型或人工智能领域有兴趣，不妨关注 Anima 团队的官方博客、微信公众号和 Discord 社区，以获取更多相关内容和交流机会。
感谢您阅读我的博客，希望您对 Anima 项目有了更深入的了解。如果您对这篇文章有任何反馈或建议，请随时与我分享。谢谢！🙏