现在热门的不仅是多模态的文本图像生成，前阵子，OpenAI 发布了一个自动语音识别系统 Whispe 。在处理口音、背景噪声以及技术术语方面，Whisper 几乎达到了人类的水准。

那么将 Whisper 与 Stable Diffusion 结合，可以直接完成语音生成图像的任务。用户可以语音输入一个短句，Whisper 会自动将语音转化为文本，接着，Stable Diffusion 会根据文本生成图像。

步骤

第一步：录制音频或上传音频文件

图片来源：huggingface

第二步：检查语言输出，必要时进行更正

图片来源：huggingface

第三步：等待1~10秒，直到有稳定的扩散结果

图片来源：huggingface

简单概况一下，Whisper 是一个通用的语音识别模型，它是在各种音频的大型数据集上进行训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。

Stable Diffusion 是一个通过文本生成图像的模型。

将它们们结合起来，你就可以通过语音来直接生成图像。

本文来自微信公众号“无界社区mixlab”（ID：mix-lab）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。

TAGS: Whisper图像语音