GitHub 热门项目：audio2photoreal

GitHub 项目：audio2photoreal 仓库地址：https://github.com/facebookresearch/audio2photoreal 星级：2851 | 作者：facebookresearch 项目描述：由音频驱动的逼真编解码器头像的代码和数据集 =================================================== 自述文件内容： # 从音频到照片真实的体现：在对话中综合人类 该存储库包含 [“从音频到照片真实体现：在对话中综合人类”](https://evonneng.github.io/projects/audio2photoreal/index.html) 的 pytorch 实现 :hatching_chick: **在[此处](https://colab.research.google.com/drive/1A6EwKM3PeX7dcKV66zxQWuP-v_dKlX_0?usp=sharing)尝试我们的演示**或继续按照以下步骤在本地运行代码！ 感谢大家通过贡献/评论/问题的支持！ https://github.com/facebookresearch/audio2photoreal/assets/17986358/5cba4079-275e-48b6-aecc-f84f3108c810 该代码库提供： - 火车代码 - 测试代码 - 预训练的运动模型 - 访问数据集 如果您使用数据集或代码，请引用我们的[论文](https://arxiv.org/abs/2401.01885) ```` @inproceedings{ng2024audio2photoreal， title={从音频到照片真实的体现：在对话中综合人类}， 作者={Ng、Evonne 和 Romero、Javier 和 Bagautdinov、Timur 和 Bai、Shaojie 和 Darrell、Trevor 和 Kanazawa、Angjoo 和 Richard、Alexander}， booktitle={IEEE 计算机视觉和模式识别会议}, 年={2024} } ```` ### 存储库内容 - [**快速入门：**](#quickstart) 简单的渐变演示，可让您录制音频并渲染视频 - [**Installation:**](#installation) 环境搭建与安装（更多渲染管线详情请参考【Codec Avatar Body】(https://github.com/facebookresearch/ca_body)) - [**下载数据和模型：**](#download-data-and-models) 下载注释和预训练模型 - [Dataset desc.](#dataset): 数据集注释的描述 - [可视化数据集](#visualize-ground-truth)：用于可视化地面实况注释的脚本 - [模型描述](#pretrained-models)：预训练模型的描述 - [**运行预训练模型：**](#running-the-pretrained-models) 如何生成结果文件并使用渲染管道可视化结果。 - [人脸生成](#face- Generation)：生成人脸结果文件的命令 - [Body Generation](#body- Generation)：生成主体结果文件的命令 - [可视化](#可视化)：如何调用渲染API。有关完整详细信息，请参阅[此存储库](https://github.com/facebookresearch/ca_body)。 - [**从头开始训练（3 个模型）：**](#training-from-scratch) 脚本，用于从头开始运行面部、引导姿势和身体模型的训练管道。 - [人脸扩散模型](#1-face-diffusion-model) - [身体扩散](#2-身体扩散-模型) - [身体 vq vae](#3-body-vq-vae) - [身体引导变压器](#4-body-guide-transformer) 我们对代码进行了注释，您可以使用 :point_down: 图标将其直接复制并粘贴到终端中。 # 快速入门 通过此演示，您可以录制音频剪辑并选择要生成的样本数量。 确保你有 CUDA 11.7 和 gcc/++ 9.0 f