全新推出:Linly-Talker数字化人物对话系统

准备好体验颠覆性的人机交互方式了吗?不用再等了!Linly-Talker正式登场,将彻底改变我们与人工智能系统的互动方式。🤖💬

Linly-Talker是一款智能AI系统,它将大型语言模型(LLMs)与视觉模型相结合,创造了一种独特的对话体验。通过集成Whisper、Linly、微软语音服务和SadTalker说话头部生成系统等多种技术,Linly-Talker汇集了最佳的特点。🌍🔍

让我们深入了解Linly-Talker的功能和特点:

Linly-Talker的组成部分

1️⃣ ASR(自动语音识别)- Whisper:Linly-Talker利用OpenAI的Whisper进行准确的语音识别。这确保系统能够有效地理解和解释您的语音命令。

2️⃣ TTS(文本转语音)- Edge TTS:为了提供自然而人性化的对话体验,Linly-Talker使用微软语音服务进行高质量的文本到语音合成。这意味着AI助手能够以清晰逼真的声音回应您。

3️⃣ THG(说话头部生成)- SadTalker:Linly-Talker更进一步,引入了SadTalker技术,这是CVPR 2023的前沿技术。它可以生成与AI助手回应相匹配的逼真说话头部动画。

4️⃣ LLM(大型语言模型)- Linly:Linly是由深圳大学CVI开发的核心语言模型,它利用大规模语言模型的强大能力,理解和生成人类般的回应。Linly模型在大量数据上进行了预训练,并可以进行特定任务的微调。

设置Linly-Talker

要开始使用Linly-Talker,请按照以下设置说明进行操作:

1️⃣ 创建一个新的conda环境:

conda create -n linly python=3.8
conda activate linly

2️⃣ 安装所需的依赖项:

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113 
conda install ffmpeg
pip install -r requirements_app.txt

3️⃣ 下载所需的模型:

  • 对于ASR(Whisper),请参考Whisper GitHub存储库获取使用说明。
  • 对于TTS(Edge TTS),请查看Edge TTS GitHub存储库获取使用详细信息。
  • 对于THG(SadTalker),使用提供的脚本下载SadTalker模型:
bash scripts/download_models.sh

4️⃣ 获取Linly语言模型:

  • 选项1:克隆Linly存储库及其模型,可以从Hugging Face模型中心获取:
git lfs install
git clone https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf
  • 选项2:使用Linly API进行问题回答:
import requests

url = "http://url:port"  
headers = {
  "Content-Type": "application/json" 
}

data = {
  "question": "北京有哪些有趣的地方?"
}

response = requests.post(url, headers=headers, json=data)

与Linly-Talker对话

一旦您设置好Linly-Talker,就可以开始与AI助手进行有趣的对话了。系统允许您提供图像作为提示来刺激对话。您可以自由对话或根据自己的喜好生成内容。

参考资料和进一步探索

如需深入了解Linly-Talker的能力和微调选项,请参阅Linly-Talker GitHub存储库中提供的文档和资源:GitHub - Kedreamix/Linly-Talker

🌟 热度历史:Linly-Talker已获得34个星标和3个Fork,展现了其受欢迎程度和发展潜力。

现在轮到您来探索Linly-Talker的可能性,见证人机交互的未来了!🚀🤩

0 0 投票数
Article Rating
订阅评论
提醒
0 评论
最旧
最新 最多投票
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x