借一步网
作者：
在
当科技与语言交相辉映，当文本与语音在大语言模型中共舞，我们便迎来了一个全新的时代。本文带您走进SPIRE的世界——一个从纯文本LLM（大语言模型）进化而来的多模态奇迹，通过引入离散语音单元（DSU），使得模型不仅精通翻译，更能准确识别和转换语音。下面，让我们用轻松幽默的笔触来细诉这一激动人心的旅程，探索这座由TOWER到SPIRE的高塔构筑，如何在语音与文本间架起一座坚实的桥梁。
曾几何时，文本世界是一座巍峨的塔楼——TOWER。它以惊人的性能和卓越的翻译能力征服了多个语言、多个任务。然而，随着图像、语音等多模态数据的不断涌入，大语言模型（LLM）的潜力被进一步激发，学者们迫切希望在这座塔楼之上加建新的“尖顶”，赋予模型多模态处理能力。SPIRE正是在这样的构想下诞生的。
大语言模型因其卓越的语言理解和生成能力而大受青睐，无论是Achiam等人（2023）还是Touvron等人（2023）都曾展示其跨语言、跨任务的奇妙能力。与此同时，多模态大模型陆续崛起：从能够处理图像、视频到语音、音频，每一种模态都为模型增添了一分魔力。SPIRE构思的魅力在于，如何在不破坏TOWER既有的翻译天赋前提下，把额外的语音处理能力融入其中，实现语音识别（ASR）和语音翻译（ST）的双重跨越。
当我们面对自然语言的海洋时，语音数据无疑是一座神秘的宝库。传统上，大多数语音处理系统依赖于自动语音识别（ASR）模块，将音频先转换为文本，再馈入文本LLM进行处理。然而，正如一位经验丰富的魔法师会利用法杖释放更纯粹的魔力，我们的目标是直接将语音变成模型可以理解的“语言”，而不再需要中间的ASR处理环节。
SPIRE的关键秘诀在于借鉴了离散化方法，使得连续的语音信号首先经过特征提取，再借助类似于K-means聚类的魔法，将其转化为一系列离散语音单元（DSUs）。这种方法的妙处在于，可以将语音看作是另一种“语言”，与文本信息平等对待，从而直接采用与文本处理类似的训练策略，实现高效的多模态融合。
在具体实现上，研究人员利用了庞大的HuBERT-large模型（Hsu等人，2021）的第22层特征，通过K-means聚类（聚类数设置为K=5000K=5000K=5000）产生离散语音表示。这一步骤将原本高维连续的语音特征转化为离散的“词汇”——每个聚类中心都代表了一种语音单元，如同语言中的单词一样，等待着被模型“阅读”和“理解”。这种离散表示不仅使得训练过程更加简单高效，还能帮助LLM在处理语音输入时保持与处理文本时一致的高效性。
在构建SPIRE时，研究团队选择了现成的多语言模型TOWER作为基石。TOWER本身是在Llama-2的基础上精心训练而来，通过两个阶段的训练——继续预训练（CPT）和指令微调（IT）——展现出其强大的翻译能力。SPIRE的架构设计正是围绕如何将语音数据顺利融入这一训练流程而展开。
在CPT阶段，SPIRE采用了一种混合数据策略，即将来自于文本和语音的数据混合在一起进行训练。研究人员在继续预训练过程中，将原有的TOWER训练数据与新加入的语音-文本对（ASR数据和部分翻译数据）进行混合。为了适应离散化后的语音数据，团队扩展了TOWER的词汇表，引入了额外的5000个类型，对应于从K-means聚类中产生的离散语音单元。新加入的词向量初始化策略非常巧妙，利用多变量高斯分布，其均值被设为原始词向量的平均值，而协方差则从原始词向量的经验协方差中获取，并简单地缩放一个微小因子（1×10−51×10^{-5}1×10−5），从而使新旧词向量能够和谐共存。
在这个阶段中，训练主要使用MegatronLLM代码库，在8块A100-80GB GPU上运行了6天。混合数据中，语音部分占据了大约5B tokens（其中4.4B来自于离散语音单元，而0.6B则为对应的文本转录），而文本部分则贡献了1B tokens。这样的数据混搭不仅保证了语音任务的充足训练，也使得模型在继续预训练中不会遗忘其原有的文本性能。
继CPT后，下一步便是指令微调——IT。这个阶段的目标在于通过特定的任务指令，进一步调优模型，以便让它能在实际语音转录（ASR）、翻译（MT）以及语音翻译（ST）任务中表现出色。在IT阶段，数据组合更是精心设计，既有通用的文本任务数据（如TOWERBLOCKS集合中的高质量平行语料），也有专门为ASR和ST精心标注和整理的语音数据。如Table 1中所展示的那样，模型在面对不同任务时，能够通过预定义的指令格式（例如“Speech: <extra_id_i>···<extra_id_j>”，“English: {TRANSCRIPT}”等）迅速找到正确的处理入口。
为了进一步保证语音翻译（ST）的高质量，研究团队不仅仅依赖于真实的语音数据，还引入了大量的伪标注数据。对于CommonVoice、SPGI Speech与GigaSpeech等数据集，首先利用TOWERINSTRUCT-13B模型进行自动翻译，然后利用COMET-QE工具对结果进行过滤，从而确保只有高质量的伪标注样本参与训练。这样既扩充了数据量，又保证了训练数据的一致性和高质量。
IT阶段使用了Axolotl框架，在4块H100-80GB GPU上训练2.7天，学习率设为7×10−67×10^{-6}7×10−6并采用余弦调度器等策略，确保训练过程中模型的稳定收敛。在这一过程中，模型不仅在ASR和MT任务上取得了显著提升，更在语音翻译上展示了令人期待的潜力。
任何一座巍峨高塔的建立，都离不开坚实的数据基石。SPIRE在数据方面做了大量的工作，总共使用了约42.5K小时的语音数据，并从多个著名数据集进行采样——CoVoST-2、VoxPopuli、Multilingual Librispeech以及其他公开数据集。为了确保数据的多样性和质量，研究者们对语音数据进行了预处理和归一化，诸如对音频文本做小写处理、标准化标点、更换特定标记等细致工作。
离散化处理方面，他们使用了235K个音频文件（相当于720小时左右）来训练K-means模型，确保所产生的5000个离散语音单元能够覆盖丰富多样的语音特征。对于文本数据，则主要依赖于mC4—a种多语言网络爬取语料库，确保各语言之间的数据分布均衡。正是这种精心需求的多模态数据准备，决定了SPIRE模型能在不同任务上均展现出高质量的表现。
为了验证SPIRE的多模态魔法是否切实有效，研究团队设计了统一而详实的评测实验，重点涵盖ASR（语音识别）、MT（机器翻译）以及ST（语音翻译）三个任务。不同任务下，团队均选用了多个严苛的测试数据集：例如LibriSpeech（包括test-clean和test-other）、FLEURS和VoxPopuli用于ASR评测，而机器翻译方面则采用了FLORES-200和WMT23数据集，确保评测的全面性与公正性。
在ASR任务上，SPIRE不仅与著名的Whisper模型和SeamlessM4T模型收得一较高下，更在零-shot条件下展现出超群表现。例如，在LS test-clean数据集上，SPIREFULL版的模型取得了约4.2的WER（词错误率），这一成绩在处理复杂语音输入时堪称可圈可点。特别在对比传统基于CTC解码器的HuBERT-large+CTC模型时，SPIREFULL凭借精妙的离散化处理和精细的指令微调，能够在多个测试集上降误差率，正如一个魔法师能在危急关头出奇制胜。
值得一提的是，模型在预训练和微调阶段相辅相成，正是这种“双剑合璧”的策略让SPIREFULL在面对多种录音风格（从干净的录音到背景吵杂的情境）时都能维持较低的错误率，展示了其强大的鲁棒性。
在MT测试中，SPIRE不仅保持了TOWER原有的翻译优异性，还在部分任务上实现了小幅超越。无论在FLORES-200还是在WMT23数据集上，SPIRE均能准确捕捉原文本的语义，并生成流畅自然的译文。实验数据表明，SPIREFULL与TOWERFULL等变体相比，能在诸如COMET-22和spBLEU等评测指标上取得相似甚至更高的分数。这说明加入语音处理能力并未削弱模型在纯文本任务上的能力，反而通过多模态训练提升了整体语言理解和生成的多样性。
语音翻译任务无疑是多模态任务中的“重头戏”。在这一任务中，SPIRE根据直接的ST和自级联ST两种推理策略进行评估。直接ST任务中，模型需要一次性将语音直接转换为目标语言；而自级联ST任务则首先经过ASR生成英文转录，再调用MT模块进行二次翻译。这两种方法在实际应用中各有优劣，但SPIREFULL均能取得令人惊叹的平衡：在直译任务上虽未完全超越SeamlessM4T. ��但在自级联任务中展示了更高的稳定性和鲁棒性，成功抵抗了ASR错误传播带来的不利影响。
实验结果表明，对ST任务而言，单靠ASR和MT中的任一优势并不足以保证优秀表现；唯有两者兼备，才能实现在语音翻译中的总体突破。而SPIREFULL正是凭借在CPT和IT阶段都充分利用了ASR、MT以及大量伪标注ST数据，从而确保了其在复杂多变的ST任务中依然能够运筹帷幄，从容应对。
在延续TOWER模型的优秀传统上，SPIRE的另一个亮点在于其对比试验设计与数据处理细节。具体来说：
此外，通过对比实验，团队还探讨了不同训练阶段对模型最终性能的影响。在对比分析中，不难发现，仅有IT阶段的模型（即TOWERFULL）在ASR任务上明显逊色，而同时进行CPT阶段训练的SPIREFULL在ASR任务上表现明显优于只用IT微调的版本。较小的性能落差，则说明引入额外的文本任务（TOWERBLOCKS数据）并未对模型语音处理能力产生负面冲击，反而在某些场景下进一步巩固了模型对语言的整体理解。
经过层层打磨与反复试验，SPIRE作为首个成功融入语音模态而不牺牲文本处理能力的多模态LLM，向世界展示了一种全新的思路：即便是最传统的文本语言模型，也能通过巧妙的训练策略和数据融合，变身为能够同时处理语音与文本的超级模型。无论是在ASR任务上的低误差率，还是在MT和ST任务中的流畅表现，SPIRE都一次次证明了这一点。
尽管SPIRE表现惊艳，但现有的评测任务主要局限于语音识别与翻译任务，大量文本理解和生成任务仍待进一步验证。未来，研究者们计划利用LM-harness等工具，在MMLU、Arc、Belebele、HellaSwag等多个文本任务上对SPIRE进行更全面的测试，以期使其成为一款全能型的多模态语言模型。此外，团队也期待探索如何将语音生成任务集成到模型中，将离散化语音不仅用作输入，也能作为未来多模态交流的新维度。
展望未来，我们或将迎来一个多模态深度融合的新时代——那时，无论是文字、语音，还是图像与视频，都能在一个统一的智能系统中实现高效协同，为我们的生活和工作带来颠覆性的变革。正如塔楼上的尖顶在暮色中熠熠生辉，SPIRE的诞生也为大语言模型开辟了一条通往未来的光明大道。
没有任何一项创新是毫无不足的，SPIRE同样面临着一些局限性与待解决的问题。首先，当前模型仅支持输入中的语音和文本处理，但输出始终局限于文本，这意味着在未来的应用中，实现语音生成或多模态交互仍是一个未竟的挑战。其次，目前的评测主要集中在ASR、MT和ST任务上，关于语音与文本整体融合下的其他任务，还缺乏进一步的全面评估。为此，未来研究将采用更多综合性测试，如MMLU的文本理解、Commonsense Reasoning的推理能力及阅读理解任务等，对模型整体性能进行全方位的打磨。
此外，虽然离散化策略在简化训练参数方面取得了显著成效，但高质量的离散单元生成依赖于预训练语音模型的稳定性和数据集的充足性。如何在数据稀缺语言或低资源环境中同样实现高效离散化，仍需后续研究深入探索。与此同时，离散化后的序列长度有时也会比普通文本更长，在上下文处理上可能存在额外挑战，这也是未来技术优化的重要方向之一。
SPIRE的成功离不开来自全球科研团队的不懈努力和多项跨国合作的支持。从巴黎萨克雷大学，到里斯本高等工程学院，再到英国、意大利及韩国的多家知名机构，每一个合作伙伴都为这场跨越语音与文本的奇幻之旅贡献了智慧与汗水。尤其值得一提的是，得益于欧盟“地平线”计划、英国研究创新资金以及其他多项国际资助计划，SPIRE得以在开放获取的数据基础上不断迭代更新，为学术界和工业界献上一份真实、透明、可再现的成果。
在未来，研究团队还计划将SPIRE推广到更多语言，借助多语种HuBERT（mHuBERT-147）替换现有的英语组件，从而使SPIRE具备更广泛的跨语言能力。此外，还寄望在语音生成和多模态对话系统中，利用离散语音单元开辟全新应用领域，为语音技术的第四次浪潮注入更多活力。
最后，我们为所有曾经为此项目付出智慧与努力的学者与工程师致以最诚挚的谢意，共同见证这场从塔楼到尖顶的蜕变之旅。
在不断变化的多模态世界中，SPIRE无疑为大语言模型的未来铺展开一条崭新而充满无限可能的道路。正如尖顶之上眺望的遥远地平线，每一项技术突破都昭示着未来的无限广阔。让我们共同期待，那一天，语音与文本、科技与艺术，都会化作我们理解世界的全新力量。
要发表评论，您必须先登录。
步子哥の博客
当科技与语言交相辉映，当文本与语音在大语言模型中共舞，我们便迎来了一个全新的时代。本文带您走进SPIRE的世界——一个从纯文本LLM（大语言模型）进化而来的多模态奇迹，通过引入离散语音单元（DSU），使得模型不仅精通翻译，更能准确识别和转换语音。下面，让我们用轻松幽默的笔触来细诉这一激动人心的旅程，探索这座由TOWER到SPIRE的高塔构筑，如何在语音与文本间架起一座坚实的桥梁。
曾几何时，文本世界是一座巍峨的塔楼——TOWER。它以惊人的性能和卓越的翻译能力征服了多个语言、多个任务。然而，随着图像、语音等多模态数据的不断涌入，大语言模型（LLM）的潜力被进一步激发，学者们迫切希望在这座塔楼之上加建新的“尖顶”，赋予模型多模态处理能力。SPIRE正是在这样的构想下诞生的。
大语言模型因其卓越的语言理解和生成能力而大受青睐，无论是Achiam等人（2023）还是Touvron等人（2023）都曾展示其跨语言、跨任务的奇妙能力。与此同时，多模态大模型陆续崛起：从能够处理图像、视频到语音、音频，每一种模态都为模型增添了一分魔力。SPIRE构思的魅力在于，如何在不破坏TOWER既有的翻译天赋前提下，把额外的语音处理能力融入其中，实现语音识别（ASR）和语音翻译（ST）的双重跨越。
当我们面对自然语言的海洋时，语音数据无疑是一座神秘的宝库。传统上，大多数语音处理系统依赖于自动语音识别（ASR）模块，将音频先转换为文本，再馈入文本LLM进行处理。然而，正如一位经验丰富的魔法师会利用法杖释放更纯粹的魔力，我们的目标是直接将语音变成模型可以理解的“语言”，而不再需要中间的ASR处理环节。
SPIRE的关键秘诀在于借鉴了离散化方法，使得连续的语音信号首先经过特征提取，再借助类似于K-means聚类的魔法，将其转化为一系列离散语音单元（DSUs）。这种方法的妙处在于，可以将语音看作是另一种“语言”，与文本信息平等对待，从而直接采用与文本处理类似的训练策略，实现高效的多模态融合。
在具体实现上，研究人员利用了庞大的HuBERT-large模型（Hsu等人，2021）的第22层特征，通过K-means聚类（聚类数设置为K=5000K=5000K=5000）产生离散语音表示。这一步骤将原本高维连续的语音特征转化为离散的“词汇”——每个聚类中心都代表了一种语音单元，如同语言中的单词一样，等待着被模型“阅读”和“理解”。这种离散表示不仅使得训练过程更加简单高效，还能帮助LLM在处理语音输入时保持与处理文本时一致的高效性。
在构建SPIRE时，研究团队选择了现成的多语言模型TOWER作为基石。TOWER本身是在Llama-2的基础上精心训练而来，通过两个阶段的训练——继续预训练（CPT）和指令微调（IT）——展现出其强大的翻译能力。SPIRE的架构设计正是围绕如何将语音数据顺利融入这一训练流程而展开。
1. 继续预训练（CPT）阶段
在CPT阶段，SPIRE采用了一种混合数据策略，即将来自于文本和语音的数据混合在一起进行训练。研究人员在继续预训练过程中，将原有的TOWER训练数据与新加入的语音-文本对（ASR数据和部分翻译数据）进行混合。为了适应离散化后的语音数据，团队扩展了TOWER的词汇表，引入了额外的5000个类型，对应于从K-means聚类中产生的离散语音单元。新加入的词向量初始化策略非常巧妙，利用多变量高斯分布，其均值被设为原始词向量的平均值，而协方差则从原始词向量的经验协方差中获取，并简单地缩放一个微小因子（1×10−51×10^{-5}1×10−5），从而使新旧词向量能够和谐共存。
在这个阶段中，训练主要使用MegatronLLM代码库，在8块A100-80GB GPU上运行了6天。混合数据中，语音部分占据了大约5B tokens（其中4.4B来自于离散语音单元，而0.6B则为对应的文本转录），而文本部分则贡献了1B tokens。这样的数据混搭不仅保证了语音任务的充足训练，也使得模型在继续预训练中不会遗忘其原有的文本性能。
2. 指令微调（IT）阶段
继CPT后，下一步便是指令微调——IT。这个阶段的目标在于通过特定的任务指令，进一步调优模型，以便让它能在实际语音转录（ASR）、翻译（MT）以及语音翻译（ST）任务中表现出色。在IT阶段，数据组合更是精心设计，既有通用的文本任务数据（如TOWERBLOCKS集合中的高质量平行语料），也有专门为ASR和ST精心标注和整理的语音数据。如Table 1中所展示的那样，模型在面对不同任务时，能够通过预定义的指令格式（例如“Speech: <extra_id_i>···<extra_id_j>”，“English: {TRANSCRIPT}”等）迅速找到正确的处理入口。
为了进一步保证语音翻译（ST）的高质量，研究团队不仅仅依赖于真实的语音数据，还引入了大量的伪标注数据。对于CommonVoice、SPGI Speech与GigaSpeech等数据集，首先利用TOWERINSTRUCT-13B模型进行自动翻译，然后利用COMET-QE工具对结果进行过滤，从而确保只有高质量的伪标注样本参与训练。这样既扩充了数据量，又保证了训练数据的一致性和高质量。
IT阶段使用了Axolotl框架，在4块H100-80GB GPU上训练2.7天，学习率设为7×10−67×10^{-6}7×10−6并采用余弦调度器等策略，确保训练过程中模型的稳定收敛。在这一过程中，模型不仅在ASR和MT任务上取得了显著提升，更在语音翻译上展示了令人期待的潜力。
任何一座巍峨高塔的建立，都离不开坚实的数据基石。SPIRE在数据方面做了大量的工作，总共使用了约42.5K小时的语音数据，并从多个著名数据集进行采样——CoVoST-2、VoxPopuli、Multilingual Librispeech以及其他公开数据集。为了确保数据的多样性和质量，研究者们对语音数据进行了预处理和归一化，诸如对音频文本做小写处理、标准化标点、更换特定标记等细致工作。
离散化处理方面，他们使用了235K个音频文件（相当于720小时左右）来训练K-means模型，确保所产生的5000个离散语音单元能够覆盖丰富多样的语音特征。对于文本数据，则主要依赖于mC4—a种多语言网络爬取语料库，确保各语言之间的数据分布均衡。正是这种精心需求的多模态数据准备，决定了SPIRE模型能在不同任务上均展现出高质量的表现。
为了验证SPIRE的多模态魔法是否切实有效，研究团队设计了统一而详实的评测实验，重点涵盖ASR（语音识别）、MT（机器翻译）以及ST（语音翻译）三个任务。不同任务下，团队均选用了多个严苛的测试数据集：例如LibriSpeech（包括test-clean和test-other）、FLEURS和VoxPopuli用于ASR评测，而机器翻译方面则采用了FLORES-200和WMT23数据集，确保评测的全面性与公正性。
语音识别（ASR）的突破
在ASR任务上，SPIRE不仅与著名的Whisper模型和SeamlessM4T模型收得一较高下，更在零-shot条件下展现出超群表现。例如，在LS test-clean数据集上，SPIREFULL版的模型取得了约4.2的WER（词错误率），这一成绩在处理复杂语音输入时堪称可圈可点。特别在对比传统基于CTC解码器的HuBERT-large+CTC模型时，SPIREFULL凭借精妙的离散化处理和精细的指令微调，能够在多个测试集上降误差率，正如一个魔法师能在危急关头出奇制胜。
值得一提的是，模型在预训练和微调阶段相辅相成，正是这种“双剑合璧”的策略让SPIREFULL在面对多种录音风格（从干净的录音到背景吵杂的情境）时都能维持较低的错误率，展示了其强大的鲁棒性。
机器翻译（MT）的稳如磐石
在MT测试中，SPIRE不仅保持了TOWER原有的翻译优异性，还在部分任务上实现了小幅超越。无论在FLORES-200还是在WMT23数据集上，SPIRE均能准确捕捉原文本的语义，并生成流畅自然的译文。实验数据表明，SPIREFULL与TOWERFULL等变体相比，能在诸如COMET-22和spBLEU等评测指标上取得相似甚至更高的分数。这说明加入语音处理能力并未削弱模型在纯文本任务上的能力，反而通过多模态训练提升了整体语言理解和生成的多样性。
语音翻译（ST）的新维度
语音翻译任务无疑是多模态任务中的“重头戏”。在这一任务中，SPIRE根据直接的ST和自级联ST两种推理策略进行评估。直接ST任务中，模型需要一次性将语音直接转换为目标语言；而自级联ST任务则首先经过ASR生成英文转录，再调用MT模块进行二次翻译。这两种方法在实际应用中各有优劣，但SPIREFULL均能取得令人惊叹的平衡：在直译任务上虽未完全超越SeamlessM4T. ��但在自级联任务中展示了更高的稳定性和鲁棒性，成功抵抗了ASR错误传播带来的不利影响。
实验结果表明，对ST任务而言，单靠ASR和MT中的任一优势并不足以保证优秀表现；唯有两者兼备，才能实现在语音翻译中的总体突破。而SPIREFULL正是凭借在CPT和IT阶段都充分利用了ASR、MT以及大量伪标注ST数据，从而确保了其在复杂多变的ST任务中依然能够运筹帷幄，从容应对。
在延续TOWER模型的优秀传统上，SPIRE的另一个亮点在于其对比试验设计与数据处理细节。具体来说：
此外，通过对比实验，团队还探讨了不同训练阶段对模型最终性能的影响。在对比分析中，不难发现，仅有IT阶段的模型（即TOWERFULL）在ASR任务上明显逊色，而同时进行CPT阶段训练的SPIREFULL在ASR任务上表现明显优于只用IT微调的版本。较小的性能落差，则说明引入额外的文本任务（TOWERBLOCKS数据）并未对模型语音处理能力产生负面冲击，反而在某些场景下进一步巩固了模型对语言的整体理解。
经过层层打磨与反复试验，SPIRE作为首个成功融入语音模态而不牺牲文本处理能力的多模态LLM，向世界展示了一种全新的思路：即便是最传统的文本语言模型，也能通过巧妙的训练策略和数据融合，变身为能够同时处理语音与文本的超级模型。无论是在ASR任务上的低误差率，还是在MT和ST任务中的流畅表现，SPIRE都一次次证明了这一点。
尽管SPIRE表现惊艳，但现有的评测任务主要局限于语音识别与翻译任务，大量文本理解和生成任务仍待进一步验证。未来，研究者们计划利用LM-harness等工具，在MMLU、Arc、Belebele、HellaSwag等多个文本任务上对SPIRE进行更全面的测试，以期使其成为一款全能型的多模态语言模型。此外，团队也期待探索如何将语音生成任务集成到模型中，将离散化语音不仅用作输入，也能作为未来多模态交流的新维度。
展望未来，我们或将迎来一个多模态深度融合的新时代——那时，无论是文字、语音，还是图像与视频，都能在一个统一的智能系统中实现高效协同，为我们的生活和工作带来颠覆性的变革。正如塔楼上的尖顶在暮色中熠熠生辉，SPIRE的诞生也为大语言模型开辟了一条通往未来的光明大道。
没有任何一项创新是毫无不足的，SPIRE同样面临着一些局限性与待解决的问题。首先，当前模型仅支持输入中的语音和文本处理，但输出始终局限于文本，这意味着在未来的应用中，实现语音生成或多模态交互仍是一个未竟的挑战。其次，目前的评测主要集中在ASR、MT和ST任务上，关于语音与文本整体融合下的其他任务，还缺乏进一步的全面评估。为此，未来研究将采用更多综合性测试，如MMLU的文本理解、Commonsense Reasoning的推理能力及阅读理解任务等，对模型整体性能进行全方位的打磨。
此外，虽然离散化策略在简化训练参数方面取得了显著成效，但高质量的离散单元生成依赖于预训练语音模型的稳定性和数据集的充足性。如何在数据稀缺语言或低资源环境中同样实现高效离散化，仍需后续研究深入探索。与此同时，离散化后的序列长度有时也会比普通文本更长，在上下文处理上可能存在额外挑战，这也是未来技术优化的重要方向之一。
SPIRE的成功离不开来自全球科研团队的不懈努力和多项跨国合作的支持。从巴黎萨克雷大学，到里斯本高等工程学院，再到英国、意大利及韩国的多家知名机构，每一个合作伙伴都为这场跨越语音与文本的奇幻之旅贡献了智慧与汗水。尤其值得一提的是，得益于欧盟“地平线”计划、英国研究创新资金以及其他多项国际资助计划，SPIRE得以在开放获取的数据基础上不断迭代更新，为学术界和工业界献上一份真实、透明、可再现的成果。
在未来，研究团队还计划将SPIRE推广到更多语言，借助多语种HuBERT（mHuBERT-147）替换现有的英语组件，从而使SPIRE具备更广泛的跨语言能力。此外，还寄望在语音生成和多模态对话系统中，利用离散语音单元开辟全新应用领域，为语音技术的第四次浪潮注入更多活力。
最后，我们为所有曾经为此项目付出智慧与努力的学者与工程师致以最诚挚的谢意，共同见证这场从塔楼到尖顶的蜕变之旅。
在不断变化的多模态世界中，SPIRE无疑为大语言模型的未来铺展开一条崭新而充满无限可能的道路。正如尖顶之上眺望的遥远地平线，每一项技术突破都昭示着未来的无限广阔。让我们共同期待，那一天，语音与文本、科技与艺术，都会化作我们理解世界的全新力量。