YAYI2 模型

YAYI2 模型是一款开源大语言模型。它采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练[1]。YAYI2-30B 是 YAYI2 模型的一个版本,它是基于 Transformer 架构的大语言模型,参数规模为 30B。该模型通过百万级指令进行微调,并借助人类反馈强化学习方法,以更好地使模型与人类价值观对齐[2]

以下是 YAYI2-30B 模型的一些细节:

  • n_layers: 64
  • n_heads: 64
  • hidden_size: 7168
  • vocab_size: 81920
  • sequence length: 4096[2]

要使用 YAYI2-30B 模型,您需要满足以下要求:

  • Python 3.8 及以上版本
  • PyTorch 2.0.1 及以上版本
  • 建议使用 CUDA 11.7 及以上版本
  • 运行 BF16 或 FP16 模型需要至少 80GB 显存(例如 1xA100)[2]

您可以使用 Hugging Face 的 Transformers 库来快速开始使用 YAYI2-30B 模型。下面是一个快速开始的示例代码:

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("wenge-research/yayi2-30b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("wenge-research/yayi2-30b", device_map="auto", trust_remote_code=True)

inputs = tokenizer('The winter in Beijing is', return_tensors='pt')
inputs = inputs.to('cuda')

pred = model.generate(
    **inputs, 
    max_new_tokens=256, 
    eos_token_id=tokenizer.eos_token_id, 
    do_sample=True,
    repetition_penalty=1.2,
    temperature=0.4, 
    top_k=100, 
    top_p=0.8
)

print(tokenizer.decode(pred.cpu(), skip_special_tokens=True))

YAYI2-30B 模型在多个基准数据集上进行了评测,包括语言理解、学科知识、数学推理、逻辑推理和代码生成等方面的表现。与其他规模相近的开源模型相比,YAYI2-30B 模型展现出了显著的性能提升[2]

评测结果如下(部分数据集):

  • 知识理解:80.9
  • 数学:80.5
  • 逻辑推理:62.0
  • 代码生成:45.8[2]

请注意,使用 YAYI2-30B 模型和数据需要遵循雅意 YAYI2 模型社区许可协议。如果您希望将 YAYI2-30B 模型用于商业用途,请参考雅意 YAYI2 模型商用许可协议[2]


Learn more:

  1. GitHub - wenge-research/YAYI2: YAYI 2 是中科闻歌研发的新一代开源大语言模型,采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。(Repo for YaYi 2 Chinese LLMs)
  2. wenge-research/yayi2-30b · Hugging Face
  3. YAYI2-30B(YAYI2-30B)详细信息 | 名称、简介、使用方法,开源情况,商用授权信息 | 数据学习 (DataLearner)
0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x