全新推出：Linly-Talker数字化人物对话系统

177次阅读

准备好体验颠覆性的人机交互方式了吗？不用再等了！Linly-Talker 正式登场，将彻底改变我们与人工智能系统的互动方式。🤖💬

Linly-Talker 是一款智能 AI 系统，它将大型语言模型（LLMs）与视觉模型相结合，创造了一种独特的对话体验。通过集成 Whisper、Linly、微软语音服务和 SadTalker 说话头部生成系统等多种技术，Linly-Talker 汇集了最佳的特点。🌍🔍

让我们深入了解 Linly-Talker 的功能和特点：

Linly-Talker 的组成部分

1️⃣ ASR（自动语音识别）- Whisper：Linly-Talker 利用 OpenAI 的 Whisper 进行准确的语音识别。这确保系统能够有效地理解和解释您的语音命令。

2️⃣ TTS（文本转语音）- Edge TTS：为了提供自然而人性化的对话体验，Linly-Talker 使用微软语音服务进行高质量的文本到语音合成。这意味着 AI 助手能够以清晰逼真的声音回应您。

3️⃣ THG（说话头部生成）- SadTalker：Linly-Talker 更进一步，引入了 SadTalker 技术，这是 CVPR 2023 的前沿技术。它可以生成与 AI 助手回应相匹配的逼真说话头部动画。

4️⃣ LLM（大型语言模型）- Linly：Linly 是由深圳大学 CVI 开发的核心语言模型，它利用大规模语言模型的强大能力，理解和生成人类般的回应。Linly 模型在大量数据上进行了预训练，并可以进行特定任务的微调。

设置 Linly-Talker

要开始使用 Linly-Talker，请按照以下设置说明进行操作：

1️⃣ 创建一个新的 conda 环境：

conda create -n linly python=3.8
conda activate linly

2️⃣ 安装所需的依赖项：

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113 
conda install ffmpeg
pip install -r requirements_app.txt

3️⃣ 下载所需的模型：

对于 ASR（Whisper），请参考 Whisper GitHub 存储库获取使用说明。
对于 TTS（Edge TTS），请查看 Edge TTS GitHub 存储库获取使用详细信息。
对于 THG（SadTalker），使用提供的脚本下载 SadTalker 模型：

bash scripts/download_models.sh

4️⃣ 获取 Linly 语言模型：

选项 1：克隆 Linly 存储库及其模型，可以从 Hugging Face 模型中心获取：

git lfs install
git clone https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf

选项 2：使用 Linly API 进行问题回答：

import requests

url = "http://url:port"  
headers = {"Content-Type": "application/json"}

data = {"question": "北京有哪些有趣的地方？"}

response = requests.post(url, headers=headers, json=data)