GitHub 热门项目：csm

GitHub 项目：csm 仓库地址：https://github.com/SesameAILabs/csm 星级：14714 | 作者：芝麻人工智能实验室 项目描述：会话语音生成模型 =================================================== 自述文件内容： #CSM **2025/05/20** - CSM 在 [Hugging Face Transformers](https://huggingface.co/docs/transformers/main/en/model_doc/csm) 中原生可用 🤗 自版本 `4.52.1` 起，更多信息可用 [在我们的模型存储库中](https://huggingface.co/sesame/csm-1b) **2025/03/13** - 我们正在发布 1B CSM 变体。检查点[托管在 Hugging Face 上](https://huggingface.co/sesame/csm_1b)。 --- CSM（会话语音模型）是来自 [Sesame](https://www.sesame.com) 的语音生成模型，可根据文本和音频输入生成 RVQ 音频代码。该模型架构采用 [Llama](https://www.llama.com/) 主干和一个较小的音频解码器，可生成 [Mimi](https://huggingface.co/kyutai/mimi) 音频代码。 CSM 的微调变体为我们的[博客文章](https://www.sesame.com/research/crossing_the_uncanny_valley_of_voice)中所示的[交互式语音演示](https://www.sesame.com/voicedemo)提供支持。 托管的 [Hugging Face 空间](https://huggingface.co/spaces/sesame/csm-1b) 也可用于测试音频生成。 ## 要求 * 兼容 CUDA 的 GPU * 该代码已在 CUDA 12.4 和 12.6 上测试，但也可能适用于其他版本 * 同样，推荐使用Python 3.10，但较新的版本可能也可以 * 对于某些音频操作，可能需要`ffmpeg` * 访问以下拥抱脸模型： * [Llama-3.2-1B](https://huggingface.co/meta-llama/Llama-3.2-1B) * [CSM-1B](https://huggingface.co/sesame/csm-1b) ### 设置 ````bash git 克隆 git@github.com:SesameAILabs/csm.git 光盘CSM python3.10 -m venv .venv 源 .venv/bin/activate pip install -r 要求.txt # 禁用 Mimi 中的延迟编译 导出 NO_TORCH_COMPILE=1 # 您将需要访问 CSM-1B 和 Llama-3.2-1B Huggingface-cli 登录 ```` ### Windows 设置 “triton”软件包无法安装在 Windows 中。而是使用“pip install tr​​iton-windows”。 ## 快速入门 该脚本将生成 2 个角色之间的对话，并为每个角色使用提示。 ````bash python run_csm.py ```` ## 用法 如果您想使用 CSM 编写自己的应用程序，以下示例显示了基本用法。 #### 生成一个句子 这将使用随机说话者身份，因为没有提供提示或上下文。 ````蟒蛇 从生成器导入 load_csm_1b 导入火炬音频 进口火炬 如果 torch.backends.mps.is_available(): 设备=“mps” elif torch.cuda.is_available(): 设备=“cuda” 其他： 设备=“CPU” 生成器 = load_csm_1b(设备=设备) 音频 = 生成器.生成( text="来自芝麻的你好。", 扬声器=0， 上下文=[], 最大音频长度_ms=10_000, ） torchaudio.save("audio.wav",audio.unsqueeze(0).cpu(),generator.sample_rate) ```` #### 根据上下文生成 当提供上下文时，CSM 听起来效果最好。您可以使用“Segment”为每个说话者的话语提示或为模型提供上下文。 注意：以下示例仅供参考，音频文件不存在。它旨在作为使用 CSM 上下文的示例。 ````p