AGI
闪存式大模型:用非结构化稀疏性实现高效低成本的大型生成模型推理
随着模型参数规模的快速增长,部署大型生成模型变得越来越具有挑战性,因为它们通常需要大量的GPU内存和计算资源。 … 阅读更多
大型语言模型的“闪存”:如何在内存有限的设备上高效运行?
大型语言模型(LLM)已经成为自然语言处理领域的宠儿,它们在各种任务中展现出卓越的性能。然而,巨大的计算量和内 … 阅读更多
语言模型能学什么?从学习概率正则语言的角度看
大型语言模型(LLM)究竟能学到什么?这个问题看似简单,却暗藏玄机。从本质上来说,语言模型是定义在字符串上的概 … 阅读更多
探索语言模型的易学性:从概率有限状态语言的学习视角
引言 大型语言模型究竟能学到什么?这是一个不断被研究的问题。语言模型(LM)本质上是分布在字符串上的概率分布。 … 阅读更多