AI 文摘

文本生成超逼真歌曲,谷歌推出音乐模型Lyria


  • By AiBard123
  • November 29, 2023 - 2 min read



作者: AIGC开放社区 来源: AIGC开放社区

专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

谷歌旗下的DeepMind与视频平台YT合作,发布了目前最先进的音乐模型——Lyria。

为了突破传统音乐模型的生硬机器感,谷歌汇集了多个部门并与Charlie Puth、T-Pain、Troye Sivan等9位知名音乐人共同研发了Lyria。

Lyria可生成爵士、重金属、摇滚、电子、流行等多种类型音乐。由于专业音乐人的加入,使得Lyria在歌词、旋律、节奏、模拟人声等方面非常卓越达到以假乱真的效果。

例如,生成的Charlie Puth音乐和本人演唱的几乎无差别。

AI生成的Charlie Puth歌曲

生成的T-Pain歌曲

Lyria简单介绍

通常,一首歌曲包含大量数据,需要考虑节拍、音符、和声、乐器搭配等多种元素。

在生成长序列声音时,AI模型难以在短语、节和延伸段落间保持音乐的连续性。所以,AI生成音乐的难度远远超过纯背景音乐。

谷歌研究人员采用了一种全新的方法来开发Lyria,在生成高质量、逼真音乐的同时,还能让用户对风格和个性化进行更详细的控制。

目前,谷歌在YT平台通过Lyria模型开展了一项名为“Dream Track”的实验,目的是帮助音乐人加速音乐制作,为其粉丝带来一种全新的音乐风格。

在该实验中,部分创作者可以使用Dream Trac生成包括Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Sia、T-Pain等艺术家,带有AI生成声音和音乐风格的独特原声歌曲。

使用Dream Track方法非常简单,用户只需要输入一段文本,然后选择一名音乐人风格,就能生成一个30秒的短音乐,同时可以生成歌词、伴奏等。

使用界面

此外,Lyria模型还有一项非常强大的功能,可以将音频、音乐转直接换成另外一种风格,例如,把一首流行歌曲转换成管弦乐谱;将MIDI 键盘和弦,转换为声乐合唱团的声音。

转换示例

对AI音乐添加水印

为了提升AI的安全,避免用户通过Lyria生成的音乐乱用,谷歌将自研的SynthID水印直接内置在其中。

Lyria生成的所有歌曲都带有数字水印,人的耳朵听不见也不会影响音乐的效果。主要通过音频波转换为二维可视化来实现。


水印示例

即便数字水印遭受了添加噪声、音质压缩、音频调速等破坏性操作,仍然可以检测到歌曲中的水印。

谷歌表示,Lyria可以彻底改变音乐的创作模式,可以帮助制作人简化繁琐、重复的流程,同时能激发他们的灵感,可以创造更多丰富、有节奏的好音乐。

未来,将继续与音乐人、公司合作,增强Lyria的功能和使用范围。

本文素材来源谷歌官网,如有侵权请联系删除*

END

《遇见未来 发现AI视觉艺术》故事接龙AI短片大赛

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具