Stability发布图片扩散新功能—Stable Diffusion Reimagine！真正的以图生图！

这几天的热点挺多，今天介绍的是前天Stability AI 在官网宣布推出 Stable Diffusion Reimagine！从名字上就可以看出，这是和Stable Diffusion文本扩散对应的图像扩散新模型，真正意义上的以图生图。

你应该注意到了，这个体验地址正是前不久Stability AI刚刚收购的产品ClipDrop网站！新功能已经和ClipDrop原有功能融合在一起，生成的新图像可以继续使用ClipDrop已有的图像处理功能，例如去背景、修复、放大等等。

一、以图生图

Stable Diffusion Reimagine 是一种新的 Clipdrop 工具，它允许用户无限制地生成单个图像的多个变体。无需复杂的提示语：用户只需将图像上传，通过算法即可创建任意数量的变体。

在下面的示例中，左上角的图像是输入该工具的原始文件，而其他图像是受原始文件启发的“重新构想”的作品。

Clipdrop 还具有Upscale功能，允许用户上传小图像并生成至少两倍细节的图像。

二、用法和限制

Stable Diffusion Reimagine 不会创造由原始图像驱动的图像，取而代之的是，Stable Diffusion Reimagine 创造了受原作启发的新图像。

这项技术有已知的局限性：它可以根据某些图像激发惊人的结果，而对其他图像也可能产生平庸的结果。

目前在模型中安装了一个过滤器来阻止不适当的请求，但过滤器有时会误判或误报。

该模型有时也可能产生异常结果或表现出有偏见的行为。希望收集用户反馈，以帮助改进该系统和减轻这些偏见的工作。

三、技术

Stable Diffusion Reimagine 基于 stability.ai 创建的新算法。经典的文本到图像稳定扩散模型被训练为以文本输入为条件。此版本则用图像编码器替换了原始文本编码器。图像不是基于文本输入生成图像，而是从图像生成图像。在编码器通过算法后，添加一些噪声以产生变化。

这种方法会生成具有不同细节和构图的外观相似的图像。与图像到图像算法不同，源图像首先被完全编码。这意味着生成器不使用来自原始图像的单个像素。

Stable Diffusion Reimagine 的模型将很快在 StabilityAI 的 GitHub 上开源。

我上传了一张用Midjourney绘制的原图，下面是Reimagine生成的新图。

可以看到新生成的画面与原图具有接近的色调，构图，人物形象，但和传统的Img2Img完全不同，从构图上就可以看出，人物位置完全不同，构图也不是简单的复制，而是参考原来的图像完全重新创作的。图片扩散相当于省去了文本提示语，完全交给了AI从图片中提取全部信息，并分析生成新的内容，下面再看一些更多的效果，最下一排小图第一张是原图，后三张是扩散新生成的图片。