Gen-2 | Runway
Gen-2 一个能够将文本、图片或小视频片段转化为全新视频的多模态 AI 系统。

Gen-2 是 Runway 研究团队开发的一款创新的多模态人工智能系统,专注于生成新的视频内容。Gen-2 代表了 Runway 在创意人工智能领域的又一重要进步,它能够利用文本、图像或视频片段生成全新的视频内容。
Runway Research 的使命是构建多模态人工智能系统,引领人类创造力进入新时代。Gen-2 作为其产品之一,允许用户仅通过文本提示就能创造任何风格的视频,这意味着如果你能想象它,你就能生成它。Gen-2 的使用步骤非常简单,用户只需输入一个文本提示,调整设置,然后生成视频。Runway 强调,他们的研究核心是不断创新,确保作为 Runway 用户,你始终处于创意人工智能的前沿。
什么是 Runway AI?
Runway 展示了一系列创意 AI 工具,使视频编辑能够充分利用其功能。它包含各种显著的功能,例如背景去除、擦除和替换视频元素。
这些改变游戏规则的工具使初学者能够在几秒钟内使用高级视频编辑技术。

Gen-2 如何使用
通过 Gen-2 升级,Runway 将视频编辑提升到一个全新的水平。Gen-2 可以根据文本描述创建视频,这一创新有潜力改变视频和电影行业。虽然目前还不够逼真,但人工智能的进步预示着未来将会出现高质量、逼真的视频,使所有人都能在任何预算下获得创造性的视觉体验。
让我们一起来看看它是如何工作的!
使用 Gen-2 非常简单。只需按照以下步骤操作:

- 单击“在 Runway 中尝试 Gen-2”。这将进入可以注册或登录的页面。
- 可以使用电子邮件、Google 或 Apple 帐户登录。登录后,将看到不同的价格计划。
- 单击“免费试用”进入 Runway 仪表板。
- 选择“文字转视频”或者“图像转视频”

- 单击消息字段左侧的“+”图标上传图片以制作视频。

- 最后,点击“生成”,根据上传的图片生成视频。

使用 Gen-2 从图像制作视频的示例
现在让我们看一下使用 Gen-2 从图像制作的视频的一些示例。这里的所有例子都是根据图像制作的,没有任何额外的提示。






Gen 2 - 三种模式
Gen 2 允许用户通过三种有用的模式从头开始创建视频:
- 文字转视频
在此模式下,只需提供描述所需剪辑的文本提示即可。

- 图像转视频
在此模式下,生成的视频与输入图像非常相似。
📌 目前在此模式下预览已停用,输入图像用作唯一预览。

- 图片加文字(具有意象风格影响的文字转视频)
在此模式下,文本提示主要影响最终输出,而 Gen 2 在生成过程中会考虑输入图像的风格。
📌 使用文本可以更好地控制视频创建,但输出不会像纯图像模式下那样与图像非常相似。

Gen-2 风格预设
当前风格预设包括:
Abandoned 废弃
Actor Casting 演员选角
Advertising 广告
Anime 动漫
Architectural 建筑
Cartoon 卡通
Cinematic 电影
Claymation 黏土动画
Digital Art 数字艺术
Duotone Artistic Photo 双色调艺术照片
Forestpunk 森林朋克
Graphic Novel 漫画
Impressionist Painting 印象派绘画
Isometric 3D 等距 3D
Low Poly 3D 低多边形 3D
Macro Photography 微距摄影
Marker Drawing 马克笔画
Pixel Art 像素艺术
Retro Photography 复古摄影
Sci-Art 科幻艺术
Stickers 贴纸
Storyboard 故事板
3D Cartoon 3D 卡通
3D Render 3D 渲染
35mm
80s Vaporwave 80 年代蒸汽波
以下的提示修饰词通常会产生良好的结果:
- masterpiece 杰作
- classic 经典的
- cinematic 电影般的
如需更多动作和运动:
- cinematic action 电影动作
- flying 飞行
- speeding 超速行驶
- running 跑步
相机特定术语:
- camera angles (full shot, close up ) 拍摄角度(全景、特写)
- lens types (macro lens, wide angle ) 镜头类型(微距镜头、广角)
- camera movements (slow pan, zoom ) 相机移动(慢摇、变焦)
通常来说,就像对待一个小孩一样解释摄影机的移动方式;例如,使用“随着时间放大”而不是“推拉镜头”或者“逐渐增长”。
如果您不确定如何开始编写提示,请尝试以下结构:
[base prompt] in the style of [style], [aesthetic] [基本提示]风格[风格]、[审美]
Gen-2 的运动画笔
Runway 的 Gen-2 平台也推出了其创新的运动画笔 Motion Brush 功能。
运动画笔是一个独特的界面,允许您通过简单的笔触在整个生成过程中引导特定动作。
只需绘制您想添加动作的区域或主题,选择一个方向和相应的数值。然后生成。
这一版本与以往不同,简化了视频创作流程,用户无需进行复杂的文字输入和深度编辑,就能轻松制作出高质量的视频。其独有的**“Motion Brush”**功能更是一大亮点,使用户能够通过简单的手势控制视频中的元素动态,无论是自然界的水流、云彩、火焰和烟雾,还是视频中的角色,都能随手势即刻改变,为视频创作带来了前所未有的灵活性和创意空间。
下面我们简单体验一下。
了解如何使用运动画笔在视频中更好地控制运动。
-
运动画笔与 Gen-2 中的图像提示词配合使用
-
将图像加载到 Gen-2 后,单击运动画笔按钮以开始
-
在要控制的图像区域上涂抹
-
如果要增大画笔尺寸,请使用左上角的滑块
-
如果不小心涂抹了太大区域,请使用橡皮擦工具或撤消/重做箭头
-
一旦你有一个基本蒙版,向下移动到水平、垂直和邻近滑块
-
你可以将它们想象成一个 X、Y 和 Z 网格 - X = 水平移动,向左或向右 - Y = 垂直移动,向上或向下
- Z = 邻近,更近或更远
-
每个滑块都由一个带有 -10 到 +10 范围的小数点值控制
-
你可以手动输入数值,向左或向右拖动文本字段或使用滑块
-
如果你需要重置所有内容,请单击“清除”按钮将所有内容重置为 0
-
调整蒙版后,单击“保存”

导演模四个参数分别是:左右方向移动,上下方向移动,向前向后移动,噪音环境。
还有一个随手测试,让人物主题前进,背景后移。
导演模式更新
除了添加动态画笔外,导演模式的高级摄像机控制也已更新,以允许更精细的控制级别。
现在,你可以使用分数来调整摄像机移动,以实现更多或更少的移动,从而更精确地调整摄像机移动。将导演模式摄像机移动与动态画笔结合使用,以实现对生成视频无与伦比的控制。

扩展至 18s
Gen-2 现在有一个扩展 4 秒按钮,总共 18 秒。

定价计划
Runway Gen 2 提供三种价格计划。用户从 125 个免费积分开始,可以根据自己的喜好进行升级。

预告片:GENESIS 创世纪 (Midjourney + Runway)
27 日晚,在推特上引起轰动的《GENESIS 创世纪》电影预告片由人工智能制作,令人印象深刻。这部预告片是德国大众汽车公司 Elli 工作的高级产品设计师 Nicolas Neubert 创作的,宣传了一部类似于《终结者》的反乌托邦科幻史诗。虽然只有预告片而没有完整电影,但它并非笑话或模仿,而是独树一帜。奇怪的是,尽管是由人类制造出来的,但却不像。
这里说的是“用人工智能创造”而不是“由人工智能创造”,因为从这个故事中可以清楚地看出,这是一个新的工具箱,可以为像诺伯特这样的创意人士提供制作商业史诗的手段,有一天可能会与好莱坞相媲美,但关键要素是:概念、故事、剪辑、音乐,仍然是一个人完成的。

- 目前已获得了 146 万观看,快 6000 个喜欢
- 共计花费 7 小时
- Midjourney 生成 316 条提示,Midjourney 放大 128 张图像
- Runway 中生成 310 个视频
- 生成了 1 个带有文本的视频
- 预告片中使用了 44 个视频
- 总费用:Runway 95 美元,Midjourney 30 美元(125 美元)
作者无私的写下了自己做这个短片的所有心得,以下是全文翻译
🧪 “GENESIS”的制作过程(MJ+Runway)
(剧透:这将是一篇很长的文章。但是,它涵盖了我创建预告片的整个过程!)
正如所承诺的,这里有一篇详细的文章,详细介绍了我的流程、我如何使用这些工具、工具堆栈的一些详细信息以及如何开始。
在我们进入这个过程之前——反乌托邦主题的想法来自我上周分享的一系列三部电影。
我已经有了很好的即时基础,并决定以此为基础编写一个故事!

【配乐】
配乐: 从音乐开始是多么重要,我怎么强调都不为过。它极大地影响了观众对视觉效果的感知,并激发了另一种让我们沉浸在内容中的感觉。
因此,这是一个很好的起点,因为它设定了预告片本身的基调。
另一个关键点是编辑工作。我喜欢将视觉效果与音乐进行节拍匹配。在项目期间改变音乐可能会非常耗时。
因此,在开始构建视频序列之前,请尝试获取最终配乐。
从过程上来说,我接下来要做的就是一遍又一遍地听这首歌,在脑海中想象不同的场景。
我真的一边和我的狗散步,一边反复听着这首歌。
这个练习可以帮助我组织我想要在预告片中讲述的想法和故事情节。
一旦我确定了配乐,我就把它拉到视频编辑器中。
我使用 CapCut,因为它对所有人免费。
如果您喜欢其他软件,也可以在 Adobe Premier 或 Final Cut Pro 中执行此操作。
【打造世界和故事】
如果你问我,构建世界和讲故事是作为一名创意人员应该学习的首要技能。
借助允许每个人生成高质量内容的技术,那些知道如何将各个片段拼接在一起的人将会创造奇迹。
对于预告片的故事情节,我想一步步增强紧张感。我为预告片定义了 3 个阶段:
1、设置场景
2、引入威胁
3、CTA 中的高潮

第一步,我开始起草预告片的第一个文案。第一稿已经包括“分享一切,承担后果,然后呼吁人类采取行动”。
定义了整体基调和声音后,我开始围绕这些主题生成场景。
我滚动了大量的环境、军事科技、战斗主题的人类和科幻剪辑,然后我可以从中收集一个故事。
为了增加一些深度,我添加了三个带有发光护身符的孩子的镜头,暗示了故事的更深层次。
【在 MJ 生成一致的图像】
让我们深入了解提示!在这种情况下,我已经从之前的帖子中获得了稳定的提示基础。我对其进行了优化,创建了一个模板,我可以在预告片的每个镜头中重复使用该模板。
___________ , star wars warfare, in the style of detailed crowd scenes, earthy naturalism, teal and yellow, frostpunk, interior scenes, cinestill 50d --ar 21:9 —style raw
___________ ,星球大战战争,风格为详细的人群场景、朴实的自然主义、青色和黄色、霜朋克、室内场景、cinestill 50d --ar 21:9 —style raw
对于每个场景,我都会用我想要的场景来填补空白,确保其他标记最大限度地保持主题、颜色和照明一致的可能性。
同样有帮助的是利用“强变化”功能。这使得创建不同的场景变得容易,同时保留了之前版本的调色板。
然后,女战士的场景可以转变为普通公民、网络黑客或战斗场景,而无需生成新的提示。

【Runway 中的动画图像】
令人惊讶的是,这个过程是“最简单的”。至于设置,我总是尝试激活“Upscaled”。但值得注意的是,升级模式经常会遇到面部问题。所以对于人物镜头,我通常使用标准质量。 我根本没有使用文字提示与图像提示相结合的方式。我拖放图像并重新生成它,直到得到我喜欢的结果。
【CapCut 中的后期编辑】
在《Midjourney》和《Runway》生成输出的同时,我首先放置我知道将发挥重要作用的关键场景。就《创世纪》而言,我知道外景镜头将成为开场。 然后我开始计划文本。当我根据音乐定位文本时,时间轴中没有任何剪辑,这是可能的。
我在不到一个小时的时间内就按照时间线编写了内容并进行了定位。这对生成图像有很大帮助,因为您有一个额外的固定点来考虑仍然缺少哪些场景。 从那时起,它就像一个益智游戏。生成剪辑 -> 将它们拉入 CapCut -> 将它们放置在时间轴上,然后慢慢拼凑故事。
我对 2-3 个剪辑包进行颜色匹配,使它们看起来像一个更大的电影场景。 CapCut 唯一真正的技巧是考虑对剪辑进行节拍同步。当音乐中有“BWAAA”时,我总是尝试连接剪辑内的动作和/或排列以下剪辑。总的来说,这会让你的整个序列感觉更加身临其境。
虽然 CapCut 具有可以帮助您完成此操作的功能,但我更喜欢手动执行此操作,因为我可以完全控制。有时我也想故意跳过一个节拍,因为场景需要播放更长的时间。
【添加运动】
我遇到的第一个问题可能是“你的剪辑中是如何加入如此多的动作的?”。 当然,《Runwayml》中存在人工智能随机性的变量,但我使用了两个技巧来增加动作。
思考人工智能如何将图像解释。 据我所知,Runway 会拍摄一张照片,然后根据其模型计算哪些部分应该进行动画处理。 我对这个想法进行了逆向工程,并尝试在 MJ 输出【暗示运动】的图像。这意味着尝试在镜头中加入运动模糊或捕捉移动的头部或人物的静止图像。
当您分析《Runwayml》视频时,您会发现,在整个 4 秒的剪辑中,场景经常发生很大的变化。 这非常方便,因为在预告片场景中,我只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为【0.5 - 2 秒】。我将剪辑的速度提高了 1.5 倍 - 3 倍。
因为,作为观看者,您只能看到剪辑很短的时间,因此您会在场景中感知到更多的运动,因为它本质上是快进该部分。 因此,机器人现在不再转向摄像头 4 秒,而是在看到您的那一刻突然捕捉到。
【工具堆栈+分析】
对于那些感兴趣的人,这里有一些关于工具堆栈、工作量和定价的数字和信息。
预告片花费了我:
〜7小时
MJ 生成 316 条提示
MJ 放大 128 张图像
Runway 中生成的 310 个视频
生成了 1 个带有文本的视频
预告片中使用了 44 个视频
这些数字对这些工具的定价有直接影响。 让我解释: 创造力需要探索的空间。 这些都是新工具,我们仍处于学习它们如何工作的阶段。没有什么比在探索过程中达到积分上限更糟糕的了。MJ 的快速时间很昂贵,而 Runway 上的积分则更加昂贵。
我建议以无限计划开始这样的项目。最昂贵计划中的 Runway 积分可以在 15 分钟内耗尽(!!!)。 所以对于 Runway,是的 - 我正在使用 95 美元/月的计划,这给了我无限的世代。这意味着我可以随心所欲地尝试和实验,而不必担心刷信用卡。
对于MJ,您有三种选择来获得无限。我使用 30 美元/分钟,同时还有 60 美元/分钟和 120 美元/分钟的计划, 有隐身模式和更快的工作时间。我 90% 的图像都是在放松模式下生成的,并保证您不需要那些更昂贵的计划。
我使用的其他工具是用于音乐的 Pixabay(免费使用)和用于编辑视频的 CapCut(免费使用)。 如果您不愿意,您不必在音乐和编辑上花一分钱!
总而言之,我的“Video Techstack”目前的费用为 125 美元/分钟,据我所知这是很多钱。 作为创作者,我决定为“无限的创作自由”付出代价。 这几乎涵盖了一切!它仍然是一个非常新的工具; 这是我在 Runway 完成的第一个项目。我将继续探索该工具并在 𝕏 上分享我的所有见解!
最后的想法
在人工智能和机器学习快速发展的世界中,Runway 的 Gen-2 作为游戏规则的改变者脱颖而出。它不仅仅是一个工具,更是通向无限创意可能性的大门,将静态图像变成动态视频。虽然它仍在开发中,但迄今为止我们所看到的有希望的结果表明了光明的未来。无论您是专业的内容创作者还是喜欢尝试新媒体形式的人,Gen-2 都是值得探索的工具。随着我们不断突破技术和创造力的界限,谁知道我们接下来能够创造出哪些令人难以置信的创意呢?