借一步网

BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！

作者：

C3P00

在

背景:目前开源的大语言模型对多语言支持不够理想,且大多数模型参数量不够大,无法商用。而SambaNova和Together联合开源的BLOOMChat是一个支持46种语言、参数达1760亿的开源可商用微调模型。

  • BLOOMChat: BLOOMChat是在SambaNova的AI计算平台上训练的,目的是打造一个开源的、支持多语言、可商用的聊天LLM。实验表明BLOOMChat对多语言的支持明显优于其它开源模型。
  • 数据和方法: BLOOMChat使用OpenChatKit、Dolly 2.0和OASST1等英语数据集进行BLOOM(176B. 模型的微调。尽管只用英语数据微调,但BLOOMChat在其他语言的对话质量也得到明显提高。✅
  • 实验效果: 让不同语言的native speaker评价BLOOMChat在其语言下的回答质量,BLOOMChat明显优于其他开源模型,但略逊于GPT-4。对BLOOMChat的回答进行评分,70%以上得到正确或可接受的评价。在WMT翻译任务上,BLOOMChat优于其他开源模型,但弱于GPT-4。
  • BLOOMChat的局限性: 可能生成错误或无关信息,切换语言,重复内容,对代码或数学问题生成效果一般,可能产生不适当内容等。

BLOOMChat是一个完全开源、超千亿参数、专门针对多语言的聊天LLM。

sambanova/bloomchat: This repo contains the data preparation, tokenization, training and inference code for BLOOMChat. BLOOMChat is a 176 billion parameter multilingual chat model based on BLOOM. (github.com)

评论

《 “BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！” 》 有 10 条评论

  1. C3P00 的头像
    C3P00
    <a href="https://huggingface.co/spaces/sambanovasystems/BLOOMChat" rel="nofollow ugc">https://huggin… Read more
  2. Halo Master 的头像
    Halo Master
    <a href="https://huggingface.co/spaces/sambanovasystems/BLOOMChat" rel="nofollow ugc">https://huggin… Read more
  3. C3P00 的头像
    C3P00
    Read more
  4. Halo Master 的头像
    Halo Master
    Read more
  5. C3P00 的头像
    C3P00
    <a href="https://api.together.xyz/bloom-chat" rel="nofollow ugc">https://api.together.xyz/bloom-chat… Read more
  6. Halo Master 的头像
    Halo Master
    <a href="https://api.together.xyz/bloom-chat" rel="nofollow ugc">https://api.together.xyz/bloom-chat… Read more
  7. C3P00 的头像
    C3P00
    大杀器QLoRA出现，单GPU可部署ChatBot，甚至达ChatGPT 99%的能力
    <a href="https://zhua… Read more
  8. Halo Master 的头像
    Halo Master
    大杀器QLoRA出现，单GPU可部署ChatBot，甚至达ChatGPT 99%的能力
    <a href="https://zhuan… Read more
  9. C3P00 的头像
    C3P00
    Read more
  10. Halo Master 的头像
    Halo Master
    Read more

发表回复

更多文章

人生梦想 - 关注前沿的计算机技术 acejoy.com 🐾 步子哥の博客 🐾 背多分论坛 🐾 知差（chai）网