AI音乐爆发的前夜,一口气推荐4个产品
作者: 小麦AIGC 来源: 小麦AIGC
前段时间Suno V3模型的更新让AI音乐创作进入了大家的视线。
这两天AI音乐领域非常热闹,至少出现了3个新的AI音乐创作工具,AI音乐创作即将迎来爆发。
Suno
Suno是最早推出完整的AI音乐创作的平台,上手非常简单,直接输入提示词(描述你想要一首什么样的歌曲)就可以完成创建。
给我个人的感觉是Suno特别像Midjourney ,不需要你有很强的创作能力就可以做出不错的音乐或歌曲,而且更善于创作出具有趣味和想象力的作品****。
下面这首是Suno官网最受欢迎的音乐,整首歌只有一句歌词:cat,很有趣。
每天可以免费生成10首歌,在这里体验:
Udio
Udio从昨天开始爆火,现在完全免费,每个用户每月可以生成1200首歌曲,太壕了以至于服务器被间歇性搞崩。
产品名字起的很有意思,Audio和Studio两个单词相同部分,音频工作室。
跟Suno类似,可以写一句歌曲描述,然后Create自动生成,也可以自定义歌词(custom),或直接生成纯乐器音乐(Instrumental)。
体验上比较好的一点是会自动推荐音乐风格的标签 ,尤其对于非音乐专业人士,世界上除了pop、rock、jazz之外,还有folk(民谣)、country(乡村)等常见风格,及synthwave(合成器波)等各种电子风格。
试听了首页的热门歌曲,不得不说人声效果的生成很逼真 ,根本听不出是机器合成的,相比较而言Suno仔细听还是可以听出一些机器音。
找了两首歌来进行对比,第一首男声,美国乡村民谣:《哇,我不知道》
第二首女声,爱尔兰传统风格《走吧,我的爱》
Udio更像是DALL-E,以生成效果逼真为特点。****
但实际上手自己生成,却比较难有非常好的效果,尤其是中文歌曲。如果让Udio自动生成,很多时候听起来像中文,但其实一个词都对不上,这可能跟模型的训练数据有关。
所以其实Udio上限很高,但是上手难度也是有的,可以在这里体验:
Sonauto
接着介绍一个尚未引起大量关注的AI音乐工具Sonauto,网页非常朴素,但是开放了各种配置项,可以选择艺术家、描述音乐风格、填充歌词,调控各种参数,看起来就很工程师风格。
开发团队介绍了Sonauto不同于其他音乐生成工具的技术架构。
其他音乐工具(Suno等)是将音乐转化为tokens,然后在这些tokens上训练LLM来生成音乐。而Sonauto则是采用了扩散模型的架构,提取音乐的潜在表示,在潜空间上训练Diffusion Transformer(DiT)来生成音乐。
是的,采用的是跟Sora一样的DiT架构 ,不仅可以生成很好的音频效果,而且更容易控制生成过程,给未来按照人的具体需要来编辑音乐提供了可能性。
跟图像生成类似,Sonauto也可以上传参考音乐,根据参考音乐的风格来生成。
比如听一下目前最受欢迎的歌曲,模仿的Katy Perry,还是很像的。
Sonauto像是图像生成领域的Stable Diffusion。
并不是说它开源,而是因为它是基于扩散的,所以生成过程是可以介入的,图像领域的ControlNet(控制网络)也可以有类似的应用。这就使得想象力大增,不仅可以基于文本生成,还可以通过各种手段干预生成的过程,就比如用多首歌混出一首歌,相信不久之后我们就可以看到更多玩法出现。
不过Sonauto刚刚发布,有一定的上手难度,要生成比较好的效果还是需要花一些功夫的。现在用的人比较少,完全免费,在这里体验:
天工AI SkyMusic
很惊喜的是,国内厂商也有跟进,昆仑万维旗下的天工AI推出了SkyMusic,应该是国内最早做AI音乐的团队了。
有趣的是,SkyMusic也是部分基于Diffusion Transformer架构的,好像世界线在往这个方向收束。
试听了一下效果也不错,尤其是中国风和华语流行 ,想必是将国内互联网音乐作为数据采集的重点。
可惜的是目前只有手机端可以使用,暂不支持网页,可以在手机应用商店下载天工AI使用。
写在最后
AI音乐模型和产品的集中发布,将会带来AI音乐的井喷式创作。
我突然觉得,现在好像正处于短视频和直播流行的前夜。
曾经,视频也只是影视制作公司等专业团队才能拍摄和发布,抖音和快手们降低了视频创作和传播的门槛,只要有手机就可以拍摄,算法推荐让每个人的拍摄都有机会被看到,从而迎来了全民短视频的热潮。
现在Suno等这些AI音乐产品降低了音乐创作的门槛,音乐不再是仅限于音乐制作和唱片公司的专门行业,而将成为大众娱乐,每个人都可以创作和发布音乐作品,且都有机会被听到。
跟短视频一样,也会有参差不齐的作品出现,各式各样的音乐都有机会被大众喜爱和追逐。
制作精良的、好玩的,以及各种奇葩的……
所以,保护好你的耳朵。****
参考资料:
https://news.ycombinator.com/item?id=39992817
https://musiccontrolnet.github.io/web/
如果喜欢上面的内容,请关注小麦AIGC;关注并回复“加群”,跟小麦AIGC的读者朋友们一起交流。
点个在看,你最好看
更多AI工具,参考Github-AiBard123,国内AiBard123