社区分享了不少文本生成图像的AIGC（AI生成内容）应用的突破，图像类的生成已经是“红海”了。
我们需要寻找“蓝海”，近期出现了其他内容的突破吗？
Mixlab
小杜
社区五月份介绍了 Pollinations.ai ，平台集成了文本、图像、音频、视频等多种模态的模型，近期平台功能也进行了迭代升级，但在模型内容质量上还是参差不齐。
最近热度最高的开源模型是 Stable Diffusion，其极为优秀的开源生态也催生了许多模型的整合创新。Stable Diffusion + Mubert 就实现了高质量的图像到音乐的生成。尤其是图片转音乐，不是那种抽象电子风，而是真正具备了应用级配乐的水准！（请看下文）
speech-to-image
img-to-music
小杜
speech-to-image demo 使用预先训练的 OpenAI whisper-small 与 Stable Diffusion 从音频样本生成图像。img-to-music 则是发送图像到剪辑询问器 CLIP Interrogator 生成文本提示，然后通过 Mubert 识别文本输出音乐，实现输入图像到生成音乐的过程。
带我们看看测试效果？
Mixlab
小杜
speech-to-image ，我测试了三类声音到图像的生成
# 人声哼唱（小编的瞎哼）
# 流行音乐 （Golden Hour 前奏+一丢丢人声）
# 环境自然音（小编嘈杂的居住环境）
......
小杜
出乎意料的惊喜！对于我们人类，与为文字配插画相比，为音乐配
图似乎是件更为困难的事。音乐的抽象特征与AI生成的特质意外的契合。
AI给第一个哼唱生成了一幅略显俏皮的圣诞老人形象，似乎有点在嘲讽我哼唱得五音不全hh。第二个流行歌曲，AI应该是识别出了歌曲的关键词 “Love” ，虽说没太拼对，但有种为爱情冲昏了头脑的感觉。第三个环境音嘈杂而没有感情色彩，AI也生成了一幅比较契合的黑白色调的拼贴画。
反过来，图像生成音乐是啥效果？
Mixlab
小杜
那可更惊喜了！我找的音频素材可没AI生成的惊艳～同样也测试了三类图片生成的音乐-
# 音频生成的图像
# Stable Diffusion 文本生成的图像
# 艺术画作
#01 音频生成的图像
#02 文本生成的图像
#03 名画千里江山图局部
小杜
真是一个比一个惊喜！第一张图是测试 Golden Hour 音频转图像生成的图，反过来生成了有点迷幻电子风的音乐。第二张是用SD生成的概念汽车场景，AI较为精准地 “理解了” 画面内容，生成了科幻枪战的配乐。第三个则是震惊到我了，AI尽然为我挑选的千里江山图生成了有乐章结构的中国风音乐！
Stable Diffusion 的开源生态已经不局限于图像了。在文本-音乐生成模型 Mubert 实现图像-音乐的工作流中，文本是在哪一步生成的呢？
Mixlab
小杜
img-to-music 使用了 CLIP Interrogator 来生成图像的文字，再通过 Mubert 实现文本转音乐。
小杜
img-to-music 作者 @fffiloni 也展示了他产出的一些输出探索，非常奇妙～
小杜
以 img-to-music 为线索，我找出了 Stable Diffusion 较完善的扩展应用模型集成，大家感兴趣也可以自主尝试基于SD模型的应用扩展创新哦～
speech-to-image demo：
huggingface.co/spaces/fffiloni/speech-to-image
Image to Music demo：
huggingface.co/spaces/fffiloni/img-to-music
CLIP Interrogator：
huggingface.co/spaces/pharma/CLIP-Interrogator
Mubert demo：
Mubert 项目地址：
github.com/MubertAI/Mubert-Text-to-Music
github.com/huggingface/diffusers/tree/main/examples/community#speech-to-image
小杜
更多有关AIGC最新突破的知识信息，欢迎查阅社群知识库哦～
【双11优惠】元宇宙知识库只需139元
下一期我们再卷卷视频？来点动态内容，AIGC 啥都玩一遍hhh
Mixlab
opus
欢迎留言讨论，参与 AIGC 话题的共创共建～
本文来自微信公众号“无界社区mixlab”作者：杜韦柯er（ID：mix-lab）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。
