DeepSeek-V2 是一个强大、经济高效的混合专家语言模型。它具有2360亿个总参数，每个标记激活的参数为210亿。相比于DeepSeek 670亿，DeepSeek-V2 在性能上更强大，同时节省了42.5%的训练成本，将KV缓存减少了93.3%，并将最大生成吞吐量提升了5.76倍[1]。

DeepSeek-V2的配置方法如下：

下载模型：DeepSeek-V2 可以从 HuggingFace 的官方网站下载[1]。
安装依赖：在配置 DeepSeek-V2 之前，确保已经安装了以下依赖项：

Python 3.6 或更高版本
PyTorch 1.7.0 或更高版本
Transformers 4.0.0 或更高版本

导入模型：在 Python 代码中导入 DeepSeek-V2 模型，可以使用以下代码：

   from transformers import GPT2LMHeadModel, GPT2Tokenizer

   model_name = "deepseek-ai/DeepSeek-V2"
   tokenizer = GPT2Tokenizer.from_pretrained(model_name)
   model = GPT2LMHeadModel.from_pretrained(model_name)

使用模型：使用导入的模型进行文本生成或其他自然语言处理任务。以下是一个简单的示例：

   input_text = "你好，DeepSeek-V2！"
   input_ids = tokenizer.encode(input_text, return_tensors="pt")
   output = model.generate(input_ids, max_length=50)
   generated_text = tokenizer.decode(output, skip_special_tokens=True)
   print(generated_text)

这些是配置 DeepSeek-V2 的基本步骤。根据具体的应用场景和需求，你可能需要进一步调整模型的参数和设置。

Learn more:

配置和使用 DeepSeek-V2：强大、经济高效的混合专家语言模型

DeepSeek-V2 是一款强大且经济高效的混合专家（Mixture-of-Experts, MoE）语言模型。相比于之前的 DeepSeek 67B. ��DeepSeek-V2 不仅性能更强，还显著降低了训练成本和资源消耗。本文将介绍如何配置和使用 DeepSeek-V2 模型。✅

模型简介

DeepSeek-V2 拥有 2360 亿个总参数，其中每个标记激活 210 亿个参数。与 DeepSeek 67B 相比，DeepSeek-V2 在多个方面表现出色：

性能提升：模型性能显著提升。
成本节约：节省了 42.5% 的训练成本。
资源优化：KV 缓存减少了 93.3%。
吞吐量提升：最大生成吞吐量提升了 5.76 倍。

详细信息可以参考 DeepSeek-V2 的 GitHub 页面。

模型下载

DeepSeek-V2 可以从 HuggingFace 的官方网站下载。以下是下载链接：

DeepSeek-V2

环境依赖

在配置 DeepSeek-V2 之前，确保你的环境中已经安装了以下依赖项：

Python 3.6 或更高版本
PyTorch 1.7.0 或更高版本
Transformers 4.0.0 或更高版本

导入和使用模型

导入模型

在 Python 代码中导入 DeepSeek-V2 模型，可以使用以下代码：

from transformers import GPT2LMHeadModel, GPT2Tokenizer

model_name = "deepseek-ai/DeepSeek-V2"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

使用模型进行文本生成

使用导入的模型进行文本生成或其他自然语言处理任务。以下是一个简单的示例：

input_text = "你好，DeepSeek-V2！"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

详细配置和优化

使用 Huggingface 的 Transformers 进行推理

你可以直接使用 Huggingface 的 Transformers 库来进行模型推理。以下是一个示例代码：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
max_memory = {i: "75GB" for i in range(8)}
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

使用 vLLM 进行推理（推荐）

为了更高效地执行模型推理，可以使用 vLLM 解决方案。以下是示例代码：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 8
model_name = "deepseek-ai/DeepSeek-V2-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "Translate the following content into Chinese directly: DeepSeek-V2 adopts innovative architectures to guarantee economical training and efficient inference."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

许可证和引用

许可证

这个代码库使用 MIT 许可证。DeepSeek-V2 Base/Chat 模型的使用遵循模型许可证。DeepSeek-V2 系列（包括 Base 和 Chat）支持商业用途。

引用

如果你在研究中使用了 DeepSeek-V2，请引用以下文献：

@misc{deepseekv2,
      title={DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model},
      author={DeepSeek-AI},
      year={2024},
      eprint={2405.04434},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

联系方式

如果你有任何问题，请在 GitHub 提出 issue 或联系 service@deepseek.com。

更多信息请参考以下链接：