AI 文摘

AI音乐爆发的前夜,一口气推荐4个产品





作者: 小麦AIGC 来源: 小麦AIGC

前段时间Suno V3模型的更新让AI音乐创作进入了大家的视线。

这两天AI音乐领域非常热闹,至少出现了3个新的AI音乐创作工具,AI音乐创作即将迎来爆发。

Suno

Suno是最早推出完整的AI音乐创作的平台,上手非常简单,直接输入提示词(描述你想要一首什么样的歌曲)就可以完成创建。

给我个人的感觉是Suno特别像Midjourney ,不需要你有很强的创作能力就可以做出不错的音乐或歌曲,而且更善于创作出具有趣味和想象力的作品****。

下面这首是Suno官网最受欢迎的音乐,整首歌只有一句歌词:cat,很有趣。

每天可以免费生成10首歌,在这里体验:

https://suno.com/

Udio

Udio从昨天开始爆火,现在完全免费,每个用户每月可以生成1200首歌曲,太壕了以至于服务器被间歇性搞崩。

产品名字起的很有意思,Audio和Studio两个单词相同部分,音频工作室。

跟Suno类似,可以写一句歌曲描述,然后Create自动生成,也可以自定义歌词(custom),或直接生成纯乐器音乐(Instrumental)。

体验上比较好的一点是会自动推荐音乐风格的标签 ,尤其对于非音乐专业人士,世界上除了pop、rock、jazz之外,还有folk(民谣)、country(乡村)等常见风格,及synthwave(合成器波)等各种电子风格。

试听了首页的热门歌曲,不得不说人声效果的生成很逼真 ,根本听不出是机器合成的,相比较而言Suno仔细听还是可以听出一些机器音。

找了两首歌来进行对比,第一首男声,美国乡村民谣:《哇,我不知道》

第二首女声,爱尔兰传统风格《走吧,我的爱》

Udio更像是DALL-E,以生成效果逼真为特点。****

但实际上手自己生成,却比较难有非常好的效果,尤其是中文歌曲。如果让Udio自动生成,很多时候听起来像中文,但其实一个词都对不上,这可能跟模型的训练数据有关。

所以其实Udio上限很高,但是上手难度也是有的,可以在这里体验:

https://www.udio.com/

Sonauto

接着介绍一个尚未引起大量关注的AI音乐工具Sonauto,网页非常朴素,但是开放了各种配置项,可以选择艺术家、描述音乐风格、填充歌词,调控各种参数,看起来就很工程师风格。

开发团队介绍了Sonauto不同于其他音乐生成工具的技术架构。

其他音乐工具(Suno等)是将音乐转化为tokens,然后在这些tokens上训练LLM来生成音乐。而Sonauto则是采用了扩散模型的架构,提取音乐的潜在表示,在潜空间上训练Diffusion Transformer(DiT)来生成音乐。

是的,采用的是跟Sora一样的DiT架构 ,不仅可以生成很好的音频效果,而且更容易控制生成过程,给未来按照人的具体需要来编辑音乐提供了可能性。

跟图像生成类似,Sonauto也可以上传参考音乐,根据参考音乐的风格来生成。

比如听一下目前最受欢迎的歌曲,模仿的Katy Perry,还是很像的。

Sonauto像是图像生成领域的Stable Diffusion。

并不是说它开源,而是因为它是基于扩散的,所以生成过程是可以介入的,图像领域的ControlNet(控制网络)也可以有类似的应用。这就使得想象力大增,不仅可以基于文本生成,还可以通过各种手段干预生成的过程,就比如用多首歌混出一首歌,相信不久之后我们就可以看到更多玩法出现。

不过Sonauto刚刚发布,有一定的上手难度,要生成比较好的效果还是需要花一些功夫的。现在用的人比较少,完全免费,在这里体验:

https://sonauto.ai/

天工AI SkyMusic

很惊喜的是,国内厂商也有跟进,昆仑万维旗下的天工AI推出了SkyMusic,应该是国内最早做AI音乐的团队了。

有趣的是,SkyMusic也是部分基于Diffusion Transformer架构的,好像世界线在往这个方向收束。

试听了一下效果也不错,尤其是中国风和华语流行 ,想必是将国内互联网音乐作为数据采集的重点。

可惜的是目前只有手机端可以使用,暂不支持网页,可以在手机应用商店下载天工AI使用。

写在最后

AI音乐模型和产品的集中发布,将会带来AI音乐的井喷式创作。

我突然觉得,现在好像正处于短视频和直播流行的前夜。

曾经,视频也只是影视制作公司等专业团队才能拍摄和发布,抖音和快手们降低了视频创作和传播的门槛,只要有手机就可以拍摄,算法推荐让每个人的拍摄都有机会被看到,从而迎来了全民短视频的热潮。

现在Suno等这些AI音乐产品降低了音乐创作的门槛,音乐不再是仅限于音乐制作和唱片公司的专门行业,而将成为大众娱乐,每个人都可以创作和发布音乐作品,且都有机会被听到。

跟短视频一样,也会有参差不齐的作品出现,各式各样的音乐都有机会被大众喜爱和追逐。

制作精良的、好玩的,以及各种奇葩的……

所以,保护好你的耳朵。****

参考资料:

https://news.ycombinator.com/item?id=39992817

https://musiccontrolnet.github.io/web/

如果喜欢上面的内容,请关注小麦AIGC;关注并回复“加群”,跟小麦AIGC的读者朋友们一起交流。

点个在看,你最好看

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具