AI

嘿，朋友们！今天我们要聊的可是AI界的两位“大明星”——朴素贝叶斯（Naive Bayes）和注意力机制（At … 阅读更多

在上周的文章《Transformer升级之路：12、无限外推的ReRoPE？》中，我们介绍了ReRoPE和Le … 阅读更多

语言模型（LLM）在自然语言处理中的应用越来越广泛，而通过增大Tokenizer的词表来提高压缩率，从而缩短串 … 阅读更多

近年来，Transformer架构在自然语言处理领域取得了显著的成果，而Attention机制则是其核心所在。 … 阅读更多

引言 前几天，笔者看了几篇介绍SSM（State Space Model）的文章，才发现原来自己从未认真了解过 … 阅读更多

在当前大规模语言模型（LLM）的参数高效微调方法中，LoRA（Low-Rank Adaptation）无疑是一 … 阅读更多

引言 今天我们分享的是一篇名为《Score Identity Distillation: Exponentia … 阅读更多

引言 《Fast Transformer Decoding: One Write-Head is All Yo … 阅读更多