增大 Tokenizer 词表:LLM 续写任务的新挑战与解决方案
语言模型 (LLM) 在自然语言处理中的应用越来越广泛,而通过增大 Tokenizer 的词表来提高压缩率,从而缩短串 ... 阅读更多
跳至内容
语言模型 (LLM) 在自然语言处理中的应用越来越广泛,而通过增大 Tokenizer 的词表来提高压缩率,从而缩短串 ... 阅读更多
近年来,Transformer 架构在自然语言处理领域取得了显著的成果,而 Attention 机制则是其核心所在。 ... 阅读更多
引言 今天我们分享的是一篇名为 《Score Identity Distillation: Exponentia ... 阅读更多
引言 《Fast Transformer Decoding: One Write-Head is All Yo ... 阅读更多