AI 新工具

AI新工具(20240615) 阿里新发布的UniAnimate现高效人像动画生成;在ComfyUI中使用Stable 3模型;音频版的gpt2o;将 PDF 文档转换为音频播客





✨ 1: UniAnimate

阿里新发布的UniAnimate通过统一的视频扩散模型,实现高效人像动画生成,支持长视频生成

UniAnimate 是一种专注于一致性人像动画生成的统一视频扩散模型。该模型通过映射参考图像、姿势指导和噪声视频到一个共同特征空间,实现了高效且一致的长时视频生成。UniAnimate 的主要特点包括:

共同特征空间映射:利用统一的视频扩散模型,将参考图像、姿势指导和噪声视频映射到一个共同特征空间,减少了优化难度并确保了时间上的一致性。 统一噪声输入:支持随机噪声和基于第一帧的噪声输入,增强了长时间视频生成的能力。 高效的时间建模架构:使用基于状态空间模型的时间建模架构,替代原来计算消耗较大的时间 Transformer。

地址:https://github.com/ali-vilab/UniAnimate

✨ 2: ComfyUI Stable Diffusion 3 API

ComfyUI Stable Diffusion 3 API让你通过接口在ComfyUI中使用Stable 3模型。

ComfyUI Stable Diffusion 3 API 是将 Stable Diffusion 3 引入 ComfyUI 的工具。利用 API,用户可以通过 ComfyUI 访问和使用 Stable Diffusion 3 的模型生成图像。目前提供两种模型选择:SD3 和 SD3 Turbo,且不同模型在积分消耗上有所不同。该 API 提供了多种比例和模式以满足不同的生成需求。

地址:https://github.com/ZHO-ZHO-ZHO/ComfyUI-StableDiffusion3-API

✨ 3: Building GPT2o

构建生成音频的GPT2模型的方法和过程

从头开始构建一个能生成音频的GPT-2模型的过程。受到Andrej’s “Let’s Reproduce GPT-2” 的启发,作者希望创建一个类似于OpenAI的GPT-4o或AudioPaLM的自动回归生成音频的模型,而且最好在普通消费者硬件上训练。

音频标记化: 使用SNAC(一个分层结构的音频离散标记化模型),将音频转换为离散标记。这种方法效果很好,几乎无法分辨原音频和重建音频之间的差别。作者利用SNAC模型和教程,创建了一个能将音频转换为离散标记的标记化工具,以供语言模型训练。

数据集: 作者错过了LIAON的预标记化数据集,因此使用了来自Librivox的公共领域录音《福尔摩斯历险记》。这些音频总时长约12小时,相当于约150万个SNAC标记,并将其上传至Hugging Face。

训练与推理: 训练代码与Andrej的原始代码几乎无异,只做了一些小的修改,如数据处理脚本、上下文长度、批次大小和词汇表大小等。尽管作者在分布式数据并行(DDP)版本中遇到问题,但在Colab上可以在一两个小时内得到一个能生成音频的模型。不过模型过拟合,大多数时间生成的音频是乱码。本文仅展示了概念验证,作者相信更多数据和计算资源能提升模型性能。

代码:https://github.com/nivibilla/build-nanogpt/tree/audio 模型:https://huggingface.co/eastwind/gpt2-audio-tiny-sherlock-5k-overfit 数据:https://huggingface.co/datasets/eastwind/tiny-sherlock-audio

地址:https://medium.com/@nivibilla/building-gpt2o-part-1-audio-65b66e193784

✨ 4: midGPT

midGPT是一个基于Jax和Equinox的可实验性LLM预训练仓库,支持大型模型跨多设备训练。

MidGPT 是一个用于 LLM(大型语言模型)预训练实验的简单且可扩展的代码库,基于 Jax 和 Equinox 构建。该代码库能够在 TPUs 或 GPUs 上训练具有数十亿参数的 GPT风格的解码器-仅 Transformers 模型。

MidGPT 受 NanoGPT 启发,但支持多设备和多主机的 FSDP(全栈数据并行),从而可以训练更大的模型。它还包括了一些最近的 Transformer 改进:旋转嵌入(rotary embeddings)、RMSNorm、QK-Layernorm 和独立权重衰减,能够在更大规模的训练中提高性能或稳定性。

地址:https://github.com/AllanYangZhou/midGPT

✨ 5: PDF to Podcast

PDF 转播客工具将 PDF 文档转换为音频播客,可以生成对话结构的 MP3 文件。

PDF to Podcast 项目是一款工具,可以将任何PDF文档转换成播客节目!通过使用OpenAI的文字转语音模型和Google Gemini,该工具处理PDF内容,生成适合音频播客的自然对话,并将其输出为MP3文件。

地址:https://github.com/knowsuchagency/pdf-to-podcast



更多AI工具,参考国内AiBard123Github-AiBard123 公众号:每日AI新工具

可关注我们的公众号:每天AI新工具

广告:私人定制视频文本提取,字幕翻译制作等,欢迎联系QQ:1752338621