Riffusion 是一个基于 AI 的音乐生成工具,允许用户通过文本输入来创建音乐。它使用了一种独特的可视化方法,通过频谱图分析音乐,而不是直接处理音频文件。用户只需输入描述性的文本提示,Riffusion 就会生成相应的音乐片段。
这个工具的核心技术包括短时傅里叶变换(STFT),它将音频分解为不同幅度和相位的正弦波组合。Riffusion 通过频谱图生成音频,并使用 Griffin-Lim 算法来重建音频剪辑。这种方法允许用户实时生成并观看音乐频谱图的三维表示。
Riffusion 不仅能生成短音乐片段,还能基于一个图像的微小变化创建更长的音乐段落。这个工具对音乐创作者特别友好,因为它使得实验和生成新音乐片段变得非常容易,用户可以快速生成新音乐,并且可以随时切换提示以生成不同的音乐内容。