让人工智能向无穷无尽的流畅表达迈进 — 探索“注意力吸收器”

在我们日常的对话中,有没有想过让人工智能(AI)也能如人类一样自由流畅地进行长时间的交流?今天,我们将一同探索一种新的技术——“注意力吸收器”,它可能会引领我们走向这个目标。

为何我们需要“注意力吸收器”?

大规模语言模型(LLMs)近年来引领了聊天机器人和虚拟助手的技术进步,但是,它们也存在一些限制。这些限制主要体现在两个方面:视频随机存取内存(VRAM)的使用和流畅度的丧失。

当我们使用LLMs进行长时间的对话时,模型的VRAM使用会呈线性增长,这可能会导致设备的内存限制。另一方面,当输入的内容过长,模型的表达流畅度会明显下降,表现为生成无意义的字符,或者重复的词汇。为了解决这些问题,我们研究了一种名为“注意力吸收器”的方法。

窗口注意力:一种尝试解决方法

为了解决VRAM使用问题,我们可以尝试限制输入到LLM的令牌数量,这种方法被称为窗口注意力。

在实验中,我们将窗口大小设置为1024个令牌。结果显示,虽然这种方法可以保持内存的稳定使用,但是一旦超过窗口大小,模型的表达能力就会显著下降。

注意力吸收器:新的解决思路

2023年,Xiao等人发现,当应用窗口注意力时,模型在窗口中的第一个令牌被移除后,模型的流畅度立即下降。他们注意到,即使是语义上不重要的令牌,也会占据大量的注意力分数。他们将这些令牌称为“注意力吸收器”。

基于这个发现,他们提出了一种改进的窗口注意力方法,即在窗口中始终保留初始的四个令牌,也就是“注意力吸收器”。这种方法有效地解决了窗口注意力中的一个关键问题:当第一个令牌从窗口中移除时,模型无法将注意力分数转移到该令牌上,从而导致模型失去流畅度。

结论:注意力吸收器的威力

我们使用注意力吸收器进行了实验,结果显示,使用注意力吸收器的LLMs同时具备了稳定的空间复杂度和流畅的表达能力。这表明,使用注意力吸收器,我们的模型可以保持流畅的表达,直到我们的数据耗尽。

注意力吸收器让我们的AI更接近无穷无尽的流畅表达。尽管这仍然是一个新的领域,但我们希望这种方法能够推动AI技术的前进,为我们的日常生活带来更多的便利。

在未来,我们期待看到更多的研究者和开发者参与到这个领域中来,共同推动AI技术的发展,让我们的AI可以更好地理解我们,更好地服务我们。

0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x