理解大语言模型的温度、top_k等超参数
AI大语言模型的温度、top_k等超参数是用来控制模型生成文本的多样性和准确性的重要参数。下面是对这些参数的详 … 阅读更多
🌏
让你的 Windows 11 飞起来：ReadyBoost 助力加速
你是否觉得你的 Windows 11 运行速度有点慢？你是否想要让你的电脑更快地启动，更流畅地运行？别担心，今 … 阅读更多
闪存式大模型：用非结构化稀疏性实现高效低成本的大型生成模型推理
随着模型参数规模的快速增长，部署大型生成模型变得越来越具有挑战性，因为它们通常需要大量的GPU内存和计算资源。 … 阅读更多
大型语言模型的“闪存”：如何在内存有限的设备上高效运行？
大型语言模型（LLM）已经成为自然语言处理领域的宠儿，它们在各种任务中展现出卓越的性能。然而，巨大的计算量和内 … 阅读更多