借一步网

在上周的文章 《Transformer 升级之路：12 、无限外推的 ReRoPE？》 中，我们介绍了 ReRoPE 和 Le ... 阅读更多

语言模型 （LLM） 在自然语言处理中的应用越来越广泛，而通过增大 Tokenizer 的词表来提高压缩率，从而缩短串 ... 阅读更多

近年来，Transformer 架构在自然语言处理领域取得了显著的成果，而 Attention 机制则是其核心所在。 ... 阅读更多

引言 前几天，笔者看了几篇介绍 SSM（State Space Model） 的文章，才发现原来自己从未认真了解过 ... 阅读更多

在当前大规模语言模型 （LLM） 的参数高效微调方法中，LoRA（Low-Rank Adaptation） 无疑是一 ... 阅读更多

引言 今天我们分享的是一篇名为 《Score Identity Distillation: Exponentia ... 阅读更多

引言 《Fast Transformer Decoding: One Write-Head is All Yo ... 阅读更多