激活函数 SiLU 和 Swish 的区别
SiLU(Sigmoid Linear Unit)和Swish是两种常用的激活函数,它们在神经网络中起到引入非 … 阅读更多
SiLu(Sigmoid Linear Unit)激活函数
SiLu(Sigmoid Linear Unit)激活函数,也被称为Swish激活函数,是一种自适应激活函数, … 阅读更多
轻松驾驭大型语言模型:H2O重点词(Heavy-Hitter)神器的秘密
《H2O. Heavy-Hitter Oracle for Efficient Generative Infe … 阅读更多
揭开AI世界的神秘面纱:PowerInfer 文献解析
🚀 作为AI世界的一位探险者,我们时常发现一些激动人心的突破,其中最新的一项就是PowerInfer。这项技术 … 阅读更多
PowerInfer:单个消费级GPU的高效推理引擎
PowerInfer 提供了适用于个人计算机配备单个消费级GPU的高速大型语言模型(LLM)推理引擎。Powe … 阅读更多
图生文BLIP-2:图生文大语言图像预训练引导
大家好!今天我要和大家分享一个名为BLIP-2的最新模型,它在网络上引起了轰动。这个模型不仅具备基本的R … 阅读更多
无需任何训练,加速扩散模型的DeepCache开源!
今天我要为大家讲解一个最近在图像生成领域持续热门的话题 – 扩散模型及其加速方法。内容安排如下: … 阅读更多
Mixtral-8x7B 背后的 MoE 技术
Mixtral-8x7B 背后的 MoE 技术 目录 正文 什么是专家混合(MoE)? 模型的规模对于提升其质 … 阅读更多