GitHub 热门项目：EasyAnimate

GitHub 项目：EasyAnimate 仓库地址：https://github.com/aigc-apps/EasyAnimate 星级：2270 | 作者：aigc-apps 项目描述：📺 基于 Transformer Diffusion 的高分辨率长视频生成端到端解决方案 =================================================== 自述文件内容： # 📷 EasyAnimate |用于生成高分辨率和长视频的端到端解决方案 😊 EasyAnimate 是一个用于生成高分辨率和长视频的端到端解决方案。我们可以训练基于 Transformer 的扩散生成器、训练 VAE 来处理长视频以及预处理元数据。 😊 我们使用 DIT 和 Transformer 作为视频和图像生成的扩散器。 😊 欢迎！ [](https://arxiv.org/abs/2405.18991) [](https://easyanimate.github.io/) [](https://modelscope.cn/studios/PAI/EasyAnimate/summary) [](https://huggingface.co/spaces/alibaba-pai/EasyAnimate) [](https://discord.gg/UzkpB4Bn) 英语 | [简体中文](./README_zh-CN.md) | [日本语](./README_ja-JP.md) # 目录 - [目录](#table-of-contents) - [简介](#简介) - [快速启动](#quick-start) - [视频结果](#video-result) - [如何使用](#how-to-use) - [模型动物园](#model-zoo) - [待办事项列表](#todo-list) - [联系我们](#contact-us) - [参考](#参考) - [许可证](#license) # 简介 EasyAnimate 是一个基于 Transformer 架构的管道，旨在生成 AI 图像和视频，以及训练 Diffusion Transformer 的基线模型和 Lora 模型。我们支持从预先训练的 EasyAnimate 模型进行直接预测，允许生成各种分辨率的视频，长度约为 6 秒，帧率为 8fps（EasyAnimateV5，1 至 49 帧）。此外，用户可以训练自己的基线和 Lora 模型以进行特定的风格转换。 我们将支持不同平台的快速上拉，参考【快速入门】(#quick-start)。 **新功能：** - 扩散器现在支持 EasyAnimate-V5.1。更多实现细节请参考[PR](https://github.com/huggingface/diffusers/pull/10626)。相关权重可以从[EasyAnimate-V5.1-diffusers](https://huggingface.co/collections/alibaba-pai/easyanimate-v51-diffusers-67c81d1d19b236e056675cce)下载。使用说明请参考【使用方法】(https://huggingface.co/alibaba-pai/EasyAnimateV5.1-7b-zh-diffusers#a%E3%80%81text-to-video)。 [ 2025.03.06 ] - **更新至版本v5.1**，使用Qwen2 VL作为文本编码器，使用Flow作为采样方法。支持中英文双语预测。除了Canny、Pose等常见控制外，还支持轨迹控制、摄像机控制。 [2025.01.21] - 使用奖励反向传播来训练 Lora 并优化视频，使其更好地符合人类偏好，详细信息请参见[此处](scripts/README_TRAIN_REWARD.md)。 EasyAnimateV5-7b 现已发布。 [2024.11.27] - **更新至v5**，支持视频生成