/轻松上手！Runway GEN-1详细使用教程，让你成为AI视频大师！
AI创作2023-09-09

轻松上手！Runway GEN-1详细使用教程，让你成为AI视频大师！

本周是人工智能技术迅速发展的一周，GPT-4、Midjourney5、GEN-1分别代表了文本生成、图像生成和视频生成三个AIGC领域。前几天，我收到了GEN-1试用通知，但一直忙于Midjourney的新版体验，直到今天才体验了这个传说中的AI视频神器。

GEN-1是Runway公司推出的一款新型视频模型，能够改变视频或电影的视觉风格。去年，Runway公司曾合作开发了Stable Diffusion，现在又发布了名为Gen-1的人工智能模型。通过应用文本提示或参考图像中指定的风格，Gen-1可以将现有视频转换为新视频。

然而，对于普通用户来说，体验效果需要降低期望值，可以将其视为去年Disco Diffusion刚推出时的效果。尽管从官方发布的一些演示视频来看，技术无疑非常棒，也能够实现非常精彩的效果，但是目前面向测试用户的服务存在许多限制，导致完成的视频还比较粗糙，例如视频时长只有3秒，分辨率和流畅性都很低。不过，用户可以体验一下他们产品未来的一个实现理念和流程。

从上面我制作的演示视频中可以看到，GEN目前能实现的几个主要功能：
1、将文本提示的风格转移到视频的每一帧。
2、通过输入图像改变视频每一帧的风格。
3、隔离视频中的主题，并使用简单的文本提示对背景进行修改。
4、保持视频背景的不变，直接修改视频的主体。
下面是一些使用GEN-1的详细说明：
一、如何使用
目前这款产品在内测期，你需要到以下网址申请排队：
https://forms.gle/k3fqL3shgjMEcZQUA

本周，前期申请的部分用户将收到使用权限，但申请通过后并不会收到邮件通知，需要自己查看Discord的官方频道，如果能看到下面的频道，就表示通过了测试申请，可以开始使用。

二、使用方法
目前不支持直接从文本提示语生成视频，必须提供一个初始视频，然后可以叠加文字提示语或叠加图片提示，生成新的视频。
使用方法和Midjourney类似，有权限的用户可以进入左侧以generate开头的任意一个频道开始体验。
1、文本+视频
在输入框点击+号上传一个视频，然后在输入框输入@GEN-1 文本提示语  --参数，回车开始生成。
Prompt：Hayao Miyazaki's film
2、图片+视频
在输入框点击+号上传一个视频+一张图片。然后输入@GEN-1 --参数，回车开始生成。
开始生成后，会自动进入一个子进程，后续你可以一直在这个子进程中操作，避免了类似Midjourney大厅里人多消息混杂的情况。
3、视频时长：在测试期间，Gen-1 的输出限制为 95 帧，或大约 3 秒。
4、生成时间：平均而言，生成大约需要 2-3 分钟才能完成，但在使用率高的时候，可能需要更长的时间。
三、参数说明
以下这些参数可以添加到文本提示的末尾，或者紧跟在图像提示的 @Gen-1 之后。例如：@Gen-1 --upscale
--depth_blur_level (default 2) (必须是整数值)
确定输出与输入视频结构的接近程度。0，尽可能接近，而 7 几乎忽略输入视频。建议你探索 0 到 5 之间的值。
--cfg_temporal_scale (默认 1)
可用于控制时间一致性。低于 1 的值会降低一致性，高于 1 的值会增加一致性。建议使用 1.0 和 1.25 之间的值，因为运行时间会增加，并且在较低和较高的值下会发生颜色偏移。
--cfg_scale（默认 8.5）
增强考虑文本或图像提示的程度。较低的数字将导致更具创造性的解释，而较高的数字将对提示更严格。建议值介于 7.5 和 12.5 之间。
--seed（随机）
默认情况下随机生成数字，但是如果遇到喜欢的种子值，可以使用 --seed ###### 重新输入该值
--upscale（默认关闭）
将显着提升视频结果，同时略微增加运行时间。
--compare（默认关闭）
将从你的原始输入视频擦除到生成的结果以比较输入与输出
--interpolate (默认关闭)
会将帧插值添加到最终输出，因此插值将有助于使丢帧播放更流畅一些。
--only_foreground_depth（默认关闭）
将影响生成的前景主题，并用生成的内容替换背景
--green_screen (默认关闭)
将隔离并影响主体并将背景替换为绿色
--mask_mode_foreground（默认关闭）
只会影响前景主体而不会影响背景
--mask_mode_background（默认关闭）
只会影响背景而不会影响前景主体
--subsampling（默认 2）
就是如何控制掉帧。值为 1 将按顺序生成帧，值为 2 将每隔一帧跳过一次，值为 5 将每隔 5 帧跳过一次。这是一种以丢帧为代价控制较长剪辑的输出生成的方法。
--denoising_steps（默认 50）
用于对最终 Gen-1 输出进行降噪的步数。高于 50 的值将产生最小的影响。
四、操作建议
1、关于初始视频
刚开始操作，什么参数也不需要改，先找一个短视频，最好动作变化较大。因为你要在3秒中体现出变化，慢吞吞的视频体验不出来，可以是人物跳舞的视频，或者人物近景大头自拍视频。如果是拍摄的风景，也是动态变化比较大的，例如飞奔的火车、汽车等等。

2、提示语

目前看提示语简短些就好，各种关键词对最终效果影响不大，重要的是风格要独特，例如城市夜景、燃烧、爆炸、夕阳等关键词就容易出效果，什么高清、细节等等就算了，这么低的分辨率也体现不出来。

3、图片
图片影响程度要远远高于文字，尽量选用一些风格鲜明的图片，例如下面选梵高风格的图片生成的效果。
4、推荐参数：
前面的基本参数都搞明白了的话，你可能会非常沮丧，效果很粗糙。但现在你可以添加一些其他参数，改变一下生成的结果，注意所有参数都会降低生成速度，所以是建议你熟悉了基本操作以后再增加以下参数。
--upscale true 这个参数相当于增加分辨率
--interpolate true 这个参数是增加视频插值，有助于提高流畅度。

--mask_mode_foreground true 只会影响前景主体而不会影响背景，效果看下面的视频，这个提示语是乐高小人跳舞，所以面部很差劲。

--mask_mode_background true 只会影响背景而不会影响前景主体，效果见下。

--subsampling 5 增加跳帧次数，相当于增加了视频长度，可以在视频生成后再在视频编辑软件中增加插帧。

最终推荐所有视频把以下三个参数都打开，效果会更好一些。
--upscale true --interpolate true --subsampling 5 
5、创意
即便在这样严苛的条件下，还是有网友创作出了非常好的作品，所以好的创意很重要。

本文来自微信公众号“今说新语”作者：穿行者2049（ID：Bitgenius）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。

TAGS:

相关文章