BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！

背景: 目前开源的大语言模型对多语言支持不够理想, 且大多数模型参数量不够大, 无法商用。而 SambaNova 和 Together 联合开源的 BLOOMChat 是一个支持 46 种语言、参数达 1760 亿的开源可商用微调模型。

• BLOOMChat: BLOOMChat 是在 SambaNova 的 AI 计算平台上训练的, 目的是打造一个开源的、支持多语言、可商用的聊天 LLM。实验表明 BLOOMChat 对多语言的支持明显优于其它开源模型。
• 数据和方法: BLOOMChat 使用 OpenChatKit、Dolly 2.0 和 OASST1 等英语数据集进行 BLOOM(176B) 模型的微调。尽管只用英语数据微调, 但 BLOOMChat 在其他语言的对话质量也得到明显提高。
• 实验效果: 让不同语言的 native speaker 评价 BLOOMChat 在其语言下的回答质量,BLOOMChat 明显优于其他开源模型, 但略逊于 GPT-4。对 BLOOMChat 的回答进行评分,70% 以上得到正确或可接受的评价。在 WMT 翻译任务上,BLOOMChat 优于其他开源模型, 但弱于 GPT-4。
• BLOOMChat 的局限性: 可能生成错误或无关信息, 切换语言, 重复内容, 对代码或数学问题生成效果一般, 可能产生不适当内容等。

BLOOMChat 是一个完全开源、超千亿参数、专门针对多语言的聊天 LLM。

sambanova/bloomchat: This repo contains the data preparation, tokenization, training and inference code for BLOOMChat. BLOOMChat is a 176 billion parameter multilingual chat model based on BLOOM. (github.com)