/Stable Diffusion新功能：新版Depth2img深度图像有什么用处？
最新文章2023-03-24

Stable Diffusion新功能：新版Depth2img深度图像有什么用处？

在前面的文章《Stable Diffusion官方发布最新2.0版本》中，我们介绍过SD2新增了一个功能是Depth2Image图像扩散模型。


这个新的深度模型称为Depth2img，扩展了V1之前的img2img图像到图像功能，Depth2img可以推断输入图像的深度，然后使用文本和深度信息生成新图像。它和原有的Img2Img可以互为补充，可以实现更多的创意和图像效果。使用Blender等软件从事动画创作、游戏创作、3D创作的朋友应该熟悉深度图的一些应用，今天简单测试一下使用Depth2img生成图像，与以往的Img2Img有何异同。
最近各个Stable Diffusion的开源程序都陆续增加了深度模型，今天文章中用到的Colab地址：
https://colab.research.google.com/github/qunash/stable-diffusion-2-gui/blob/main/stable_diffusion_2_0.ipynb
首先我们打开Colab，在右侧有五个Stable Diffusion V2推出的五个新模型，最后一个就是Depth to Image。这里需要注意的是，深度模型相比与普通的Img2Img模型有较大的计算量，因此更耗GPU，对于免费的Colab用户，尽量选择较小的尺寸、渲染步数，否则容易出现GPU超标无法绘制完成的提示，建议开始选择768x768，Step 25即可，后续有需要可以慢慢加大Step再测试分配给你的GPU是否支持。
示例一：人物
首先我们导入一张人物图，先选择Img2Img看一下绘制的效果。


可以看到老人的整体外观、姿势、面部朝向都发生了改变，背景的纵深消失，但构图仍保持大致不变。下面我们切换到Depth2Img模型，使用默认设置。

下面是使用Depth2Img后的效果。


可以看到人物整体轮廓、面部朝向、发型位置的色调、身体姿势都与原始图片保持了相同的属性。下面再看更多的示例，可以看到在各个图像中，Depth2Img在保持人物的整体姿势上都有很好的效果。

下面这个示例我们再改变画面的风格，从真实人物改编成动漫风格，同样保持了图像的空间感和人物姿势的统一。

示例二：动物


示例三：跑车



示例四：建筑设计
我们再来看一个建筑效果图，首先导入一张初始图。

这是一张森林中的建筑图，下面我们分别使用Img2Img和Depth2Img重新生成一下，看一下有哪些异同。

先用Img2Img生成后，我们会发现，绘制完的图像不仅色调改变成红色了，建筑外观其实也改变了，特别注意原图右侧的墙体转折。下面看一下Depth2Img的效果。


上面我们使用Depth2Img功能绘制了两张图，可以看到右侧的建筑转折依旧保持和原始图一致，建筑空间形体并未发生改变。
示例五：室内空间效果

第一张是初始图，后面三张使用Depth2Img重新绘制，在保持空间关系不变的情况下，可以重新设计室内布局、风格。

第一张为原始室内图，后三张为使用深度图改变提示语的效果，室内的整体风格都发生了改变，但空间关系仍可以保持不变。结合前面的一篇文章《Ai取代室内设计师？背后的技术是什么样的？》再看看，这个新的功能应该可以对室内效果图的生成带来更多的改变。

从上面的使用体验来看，Depth2Img有些像Inpainting和Img2Img的结合体，既能从初始图像开始扩散生成大部分内容，同时又能根据深度图，对局部图像使用Inpainting进行了改变重绘。有兴趣的朋友可以体验一下Depth2Img这个新的模型功能。

推荐阅读以下AI绘画内容：

对公众号最好的支持就是

转发、点赞、关注、打赏

本文来自微信公众号“今说新语”作者：穿行者2049（ID：Bitgenius）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。

TAGS:

相关文章