元峰AI笔记 · AI绘画与视频

主要功能介绍

<title还在傻傻的等 Sora?快来看看 LTX Studio 的 AI 自动剪辑</title

还在傻傻的等 Sora?快来看看 LTX Studio 的 AI 自动剪辑

大家好,我是元峰,18 颗 AI 之心持有者。小林战队核心成员之一,最近在拉新过程中发现,因为近期 Sora 的爆火,使得很多伙伴对 AI 视频比较感兴趣,而且我自己因为做数字人视频比较多,所以对这一块关注比较多。

这不今天发现了一个宝藏神器,就是心心念念的 AI 视频剪辑工具终于要亮相了。

Lightricks 推出了 LTX Studio,一个由 AI 驱动的电影制作工作室。

先看下预告片养养眼。

看了预告片,这个工具可以使创意人员能够自动生成脚本、可编辑的故事板和进行视频剪辑。仅需一键,即可创建包含特效、音乐和旁白的最终剪辑。

主要功能介绍


🔥 从构想到实现,全能一站式平台

LTX Studio 正在引领 AI 与视频制作融合的新潮流,让一个简单的想法能够转变成为一个连贯的、由 AI 生成的视频。LTX Studio 使个人能够分享他们的愿景,通过新的讲故事方法来放大他们的创造力。

🎯 利用专业 AI 精确指导每个场景,包括具体的摄像机角度。

🎬 无论是一个初步的想法还是一份完整的剧本,都能转化成为一部精细的视频作品。

👥 生成角色,并在不同画面中保持其身份和风格的一致性。

🎥 只需一键,就能完成包含特效、音乐和旁白的视频的最终剪辑。

使用生成式 AI 可以做到

👁 深度画面控制

🌈 借助尖端的 3D 创造技术,创造新视角,让你对每个场景拥有完全的控制权。

💫 风格化与渲染

🎨 精确描述你想要的视频风格和感觉,并利用先进的语言模型,瞬间在所有画面中实现这一效果。

🌐 强大的一体化平台

🔧 在一个去除了制作前后障碍的多模态平台上,从头至尾完成你的项目。

目前还没有开放使用,需要先添加白名单等候:https://ltx.studio/

图片展示了LTX Studio平台的宣传画面,背景为深色。画面中有四张不同场景的照片,分别是观众欢呼的场景、拳击手的特写、拳击手在擂台上的画面以及拳击手在擂台上的背影。画面中央有“LTX Studio”及“Storytelling Transformed”的文字,下方说明“Control every aspect of your video using AI, from direction to final edits, on one holistic platform.”。底部有“Join the waitlist”按钮及“Already have access? Sign in”字样。该图片与文档中介绍LTX Studio平台的内容相契合,展示了其功能及平台特色。

图片展示的是LTX Studio平台的加入白名单及获取更新的界面。界面标题为“加入白名单并获取LTX Studio更新”,提示可成为首批体验平台并接收专属更新。需填写姓名(分名、姓)、邮箱,选择身份(AI爱好者、专业艺术家、电影制作人等)。底部说明个人信息将按隐私政策处理,可随时取消订阅。最下方有“同意并提交”按钮。该图片与文档中介绍LTX Studio平台,需先添加白名单等候使用的内容相关,展示了加入白名单的入口。

一句话故事案例展示

图片展示的是LTX Studio的推文,内容为“We're taking in requests. Be the storyteller, we'll generate your prompt. 我们正在接受请求。成为故事讲述者,我们将生成你的提示词。”下方有“翻译帖子”链接,发布时间为2024年2月29日上午2:26,点赞数147,评论数19,收藏数212,分享数58。该图片与上下文紧密相关,上下文提到LTX Studio能根据提示词生成视频,且附带分镜图,此推文正是LTX Studio宣传其服务的示例。

LTX Studio 正在接受请求。让你成为故事讲述者,将提供的提示词生成视频。是不是熟悉的配方,熟悉的味道,前几天 OpenAI 也是这么干的,你留下提示词,人家帮你生成视频。

只不过,LTX Studio 更加给力,不仅给你视频,还把视频的分镜图也附带给出来了,可谓太良心了。你是不是已经迫不及待了,好,那我们直接上案例。

案例1

图片展示的是LTX Studio发布的推文,内容为“@okcasts 一个疲惫的囚犯透过牢房的钢筋凝视着,他赤裸的上身布满了酷刑和激战留下的伤疤。他用一块破镜片,审视着两边荒凉昏暗的走廊,确保没有警卫潜伏在阴影中。”推文下方配有视频截图,画面中一名男子面露疲惫,上身赤裸,身上有伤疤,背景为昏暗的牢房。该图片与上下文紧密相关,是对案例1中一句话故事内容的视觉呈现。

A tired prisoner gazes through the steel bars of his cell, his naked upper body bearing the scars of both torture and fierce battles. Using a broken mirror fragment, he surveys the desolate and dimly-lit corridors in both directions, ensuring that no guards lurk in the shadows.

一个疲惫的囚犯透过牢房的钢筋凝视着,他赤裸的上身布满了酷刑和激战留下的伤疤。他用一块破镜片,审视着两边荒凉昏暗的走廊,确保没有警卫潜伏在阴影中。

幕后花絮

分镜1,2

图片展示的是LTX Studio软件中的分镜编辑界面。画面左侧有场景设置栏,可调整场景、地点、光线等。右侧是分镜板,包含多个镜头,如Shot 1 - Shot 5,每个镜头有画面预览、镜头类型(如Close-up、Medium shot等)、运动比例、角色对话等信息。画面中还显示了场景声音设置。该图片与上下文紧密相关,直观呈现了LTX Studio软件中分镜编辑的操作界面及部分分镜信息,辅助理解软件功能。

好,我把这张截图丢给 GPT4,仅仅输入提示词“分析一下这张图中的信息”,就得到了下面的信息。

图片展示了ChatGPT 4对一张截图的分析结果。截图中呈现了名为“The Prisoner’s Redemption”的分镜头剧本,包含多个分镜头场景。ChatGPT详细分析了每个分镜头的拍摄角度、拍摄时间、天气、氛围、拍摄描述等内容,如分镜头1中展示了Sara在地面上的一块破碎的镜子碎片,分镜头2中Sara的头发被风吹起等。该图片与上下文紧密相关,是对上文提及的GPT4分析截图信息的呈现。

GPT 把图中所有信息给你讲的明明白白,清清楚楚。位置,灯光,天气,广角还是特写,全都一目了然。就问你强不强吧!

这张图片看起来像是一个电影或电视节目的分镜头脚本界面,具体细节如下:

  • 项目的标题是“The Prisoner's Redemption”。
  • 分镜头脚本被分为至少两个场景。每个场景都包含了若干个镜头。 场景 1的设置是:
  • 位置:监狱牢房
  • 照明:微暗
  • 天气:室内 镜头描述:
  • 镜头 1:一个名叫Sam的人物的特写,眼睛通过钢条反射着微弱的光。
  • 镜头 2:中景,Sam被伤痕累累的躯体在微弱、闪烁的光线下。
  • 镜头 3:广角镜头,显示了一个孤独的Sam站在牢房中央。
  • 镜头 4:建立镜头,钢条在磨损的石头地面上投下斜线的阴影。
  • 镜头 5:中景,Sam的手紧握着碎裂的镜子碎片,他坚定的目光在碎片中反射。 场景 2的设置相似,也是在监狱牢房和微暗的光线下。 镜头描述:
  • 镜头 1:Sam小心翼翼地从地面上捡起一块破碎的镜子碎片。
  • 镜头 2:破碎的镜子反射出微光,揭示了墙上的划痕。
  • 镜头 3:Sam的眼睛变窄,因为他破译了涂鸦中隐藏的信息。 每个镜头下方都有一些图标和选项,表示可以添加角色对话、音效等元素。右上角有“Preview & Export”按钮,说明用户可以预览并导出他们的工作。 这个分镜头脚本的界面和功能指示这是一个视觉化的叙事工具,用于规划和展示电影或电视剧的镜头组成和流程。每个镜头都提供了关于场景、角色行动和情感状态的视觉和文本描述,这有助于导演、摄影师和其他团队成员理解和准备拍摄。

分镜3,4

图片展示的是LTX Studio的分镜脚本界面,呈现了《The Prisoner's Redemption》的分镜3、4。每个分镜包含场景、镜头编号、镜头类型、运动比例、角色对话、音效等信息。如分镜3中,Scene 3场景下有Shot 1和Shot 3,分别描述了角色在监狱走廊的近景和远景;分镜4中,Scene 4场景下有Shot 1 - 6,展示了角色在户外的多个镜头。该界面与上下文介绍的分镜脚本功能相契合,直观呈现了镜头组成和流程。

这张图片继续展示了电影或电视剧“The Prisoner's Redemption”的分镜头脚本界面,包含场景 3 和场景 4 的一些镜头。 场景 3的设置是:

  • 位置:监狱走廊
  • 照明:闪烁的灯光
  • 天气:室内 镜头描述:
  • 镜头 1:特写镜头,Sam的眼睛因发现涂鸦中的隐藏信息而睁大。
  • 镜头 3:广角镜头,闪烁的灯光在涂满涂鸦的走廊墙上投下移动的阴影。 场景 4的设置是:
  • 位置:监狱庭院
  • 照明:强烈日光
  • 天气:户外,晴朗 镜头描述:
  • 镜头 1:Sam倚靠在监狱庭院的围栏上,对Elias低声讲述逃跑计划。
  • 镜头 2:Elias点头表示同意,他的眼里充满了决心和希望。
  • 镜头 4:Elias用棍子在泥土中粗略地勾画出监狱庭院的布局。
  • 镜头 5:Sam的手紧握围栏,手指变白,目光坚定地望向远方。
  • 镜头 6:远景,守卫在远处的走廊巡逻,对囚犯们的密谋毫无察觉。 像前一张图片一样,这张图片显示了对每个镜头的详细规划,包括位置、光线、天气和镜头类型等信息,以及可以添加的角色对话和音效等元素。这些信息对于电影或电视剧的制作至关重要,因为它们有助于创造所需的场景氛围和情感效果。这种详细的规划也确保了拍摄现场的工作效率,因为每个人都对即将发生的事情有清晰的认识。

分镜5,6

图片展示的是LTX Studio软件中“分镜5,6”的镜头规划界面。画面分为两部分,上半部分是分镜5的镜头规划,包含5个镜头,每个镜头有位置、光线、天气、镜头类型、动作规模、角色对话、音效等信息;下半部分是分镜6的镜头规划,同样包含5个镜头。左侧有场景音效、位置、光线、天气等设置选项。该图片与上下文紧密相关,直观呈现了电影或电视剧制作中分镜的详细规划内容,帮助理解制作流程。

在这张图片中,我们继续看到了“The Prisoner's Redemption”电影或电视剧的分镜头脚本界面。展示的是场景 5 和场景 6 的部分镜头。 场景 5的设置如下:

  • 位置:典狱长的办公室
  • 照明:柔和、过滤的光线
  • 天气:室内 镜头描述:
  • 镜头 1:Sam倾身向Elias低声讲述逃跑计划(中景)。
  • 镜头 2:Elias点头同意,他的眼神反映出决心和信任(特写)。
  • 镜头 3:两人交换了一个微妙的握手,以此确认他们的决心(中景)。
  • 镜头 4:他们扫视周围环境,意识到低语交谈的风险(宽景)。
  • 镜头 5:Elias微妙地示意,表明一个警觉的守卫正在靠近(中景)。 场景 6的设置如下:
  • 位置:监狱庭院
  • 照明:风暴中的光线
  • 天气:户外,下雨 镜头描述:
  • 镜头 1:雨水在监狱庭院的场景中倾泻而下。
  • 镜头 2:Sam和Elias在庭院中进行互动。
  • 镜头 3:一位名叫Anna的角色在害怕中睁大了眼睛。
  • 镜头 4:囚犯们重新集结,准备采取行动。
  • 镜头 5:随着囚犯们的张力上升,整个庭院被一种紧张气氛所填满。 这些镜头继续提供了故事情节的视觉描述和文本信息,帮助制作团队理解每个场景的情感和叙事重点。通过这种详细的规划,制作人员能够确保拍摄过程中效率的最大化,并帮助演员更好地把握角色情绪和故事情节。此外,界面中的工具和功能,如添加角色对话和音效的选项,都是为了进一步丰富场景和镜头的叙事效果。

分镜7,8

图片展示的是LTX Studio软件界面中“分镜7,8”的镜头分镜设计。画面分为两部分,上方是Scene 7的分镜,包含5个镜头,每个镜头有编号、位置、镜头类型、运动尺度、角色对话、音效等信息;下方是Scene 8的分镜,同样包含5个镜头。每个镜头右侧都有缩略图,如镜头1展示了囚犯在大船上的场景。该图片与上下文紧密相关,直观呈现了制作团队对故事情节的视觉规划,帮助理解每个场景的情感和叙事重点。

这张图片继续展示了“The Prisoner's Redemption”项目的分镜头脚本界面,包括场景 7 和场景 8 的详细信息。 场景 7的设置如下:

  • 位置:主监狱大厅
  • 照明:自然光与人造光混合
  • 天气:室内 镜头描述:
  • 镜头 1:广角镜头显示多名囚犯在主大厅聚集,准备逃跑。
  • 镜头 2:中景,Sam和Elias领导团队,讨论逃跑计划的最后步骤。
  • 镜头 3:特写,手伸向临时武器和工具,眼中充满决心。
  • 镜头 4:中景,囚犯移动路障,加强对抗守卫的阵地。
  • 镜头 5:广角镜头,囚犯在等待合适的时机行动时紧张情绪升温。 场景 8的设置如下:
  • 位置:监狱外的废墟
  • 照明:温暖的早晨光线
  • 天气:户外,晴朗 镜头描述:
  • 镜头 1:囚犯在主大厅聚集,身后是废墟,脸上展现出坚决的团结。
  • 镜头 2:Elias带头冲锋,带领同伴囚犯;他的脸上展现出经历艰难的证明。
  • 镜头 3:Anna的眼神中展现出恐惧和决心的混合,当她加入团队时。
  • 镜头 4:Sam点头肯定,他的疤痕见证了过去的苦难。
  • 镜头 5:囚犯们向出口涌去,一片团结的希望的氛围。 这些镜头进一步描绘了逃亡计划的关键时刻,显示了各个角色在紧张而严峻的情境中的行动和情感。这些详细的镜头描述和设置信息对于电影或电视剧的制作团队来说是至关重要的,因为它们指导了拍摄过程中的视觉和叙事要求。通过这些分镜头脚本,剧组可以有效地组织和执行拍摄计划,从而将编剧的视觉故事变为现实。此外,每个镜头下方的图标和选项表明,还可以添加更多的元素,如角色对话和音效,来进一步丰富场景的叙述层次。

基于提供的分镜头脚本信息,我们可以整合出电影《The Prisoner's Redemption》的大致故事情节如下:

图片展示的是ChatGPT基于分镜头脚本信息整合出的电影《The Prisoner's Redemption》故事情节。内容涵盖主角Sam在阴暗监狱中经历的身心折磨、发现线索、与囚犯Elias合作、逃亡计划形成、在监狱医院秘密集结、与女性角色Anna互动、在主监狱大厅准备行动、以及囚犯们在清晨准备行动等关键情节。该图片与上下文紧密相关,是对上下文提到的分镜头脚本信息整合结果的呈现。

在一座阴暗的监狱中,主角Sam经历了身心的折磨。我们首先在监狱牢房内见到他,通过微弱的光线,他的眼神透出绝望。他身上的伤痕讲述了他所经历的艰难。在这个孤独的地方,Sam发现了一面破碎的镜子,他的反射中透露出一个坚定的决心。

随着故事的发展,Sam在牢房内发现了一个重要的线索,一条隐藏在涂鸦中的信息。这条信息引导他与另一个囚犯Elias在监狱的不同角落进行秘密会面。在典狱长办公室外,两人低声交流着逃跑计划。尽管周围监狱守卫的步伐声不断,他们还是通过一次微妙的握手达成了默契。

逃亡计划逐渐成型,Sam和Elias开始在庭院中秘密集结其他囚犯。一名女性角色Anna显示出对即将发生的事情既感到恐惧又充满了决心。在风暴来临的雨夜,监狱庭院成为了囚犯们密谋和准备的舞台。

最终,在主监狱大厅,囚犯们聚集,准备执行他们的逃跑计划。Sam和Elias领导着囚犯们,每个人的眼神都透露出决心。他们开始获取临时武器,准备与守卫对抗。监狱的氛围充满了紧张,囚犯们在

等待合适的时刻行动,他们在庭院中构筑防御,心知这是他们自由的唯一机会。

当逃跑的日子到来,囚犯们在清晨温暖的阳光下,聚集在监狱外的废墟中。Elias带头冲锋,向外界的自由进发,他的脸上写满了坚韧和希望。Anna和其他囚犯加入队伍,尽管她内心充满恐惧,但决心也同样强烈。Sam的面容上刻着历史的痕迹,他的每一道疤痕都诉说着他的故事。

当囚犯们团结一致,准备迈向自由的那一刻,整个监狱充满了紧张而希望的气氛。他们的行动精心策划,每个人都明白,只有团结一心,他们才能战胜监狱的束缚,找到救赎。

《The Prisoner's Redemption》是关于勇气、团结、抗争以及对自由不懈追求的故事。通过这些分镜头脚本的详细描述,观众能够清晰地感受到每一刻的紧迫感,每一场戏的情感冲击,以及每一位角色的深刻变化。这部电影不仅讲述了一场大胆的逃亡,更是对人性和希望的深刻探讨。

看到这里,不得不感慨几句。我呢,虽然没有作过电影,也不是这个专业的,只是经常会剪辑视频。比如前几天我就用 AE 把 Sora 的官方 Demo 视频素材剪辑了一个片子。

但是,LTX Studio 这样的工具为我们打开了一个新世界的大门,让我们这些视频剪辑的爱好者也能够有机会让自己的故事更加光彩夺目。

我们每个人的心中肯定都藏着一个故事,浸透了童年的纯真梦想,青春的热烈情感,以及对未来的无限憧憬。以前,这些故事可能只能在脑海中静静盘旋,或者在夜深人静时悄声诉说。但现在,有了 AI 的帮助,这些无形的思绪可以转化成动人的影像,每一帧都是我们内心世界的写照。

这不仅仅是技术的进步,这是让我们每个人都能成为艺术家的奇迹。我们可以把心中的诗篇,眼中的风景,以及心跳的节奏,全部融入到我们制作的视频中。这些视频将不仅仅是娱乐,它们是我们与世界沟通的桥梁,是我们个人情感和视觉美学的展现。

除了 LTX Studio,还有像 Sora,Runway,PikaLab 等等这样的 AI 视频创作工具,正是为了这样的时刻而生,它让每个人的故事都有了被听见的机会,让我们的内心世界得以呈现在这个宽广的舞台上。

案例2

A kid finds a super shiny, big and red magical strawberry in the woods. After eating it, she starts turning into a red astronaut and fly up, zooming over the town happily.

一个孩子在树林里发现了一个超级闪亮、又大又红的魔法草莓。吃完后,她开始变成一个红色的宇航员,高兴地飞起来,飞过小镇。

幕后花絮

案例3

a rookie cyberpunk bounty hunter finds himself at the center of a city gang war after saving a mob bosses son from a rival attack. Gotta learn the rules fast if he wants to survive life of on this side of the law. A crime thriller packed with hits, jealousy, and power.

一位菜鸟赛博朋克赏金猎人发现自己处在城市帮派战争的中心,原因是他从敌对攻击中救出了一个黑帮头目的儿子。如果他想在这条法律的边缘生存,就必须快速学会规则。一部充满打击、嫉妒和权力的犯罪惊悚片。

幕后花絮

案例4

We've turned your shot description into a video.
Wide overhead shot set in a 1927 travelling carnival featuring a tightrope walker, he is high above the ground balanced on a tightrope at the midpoint of the rope with a crowd below him watching in suspense, soft diffused lighting with spotlight on the performer, dramatic shadows, warm sepia tones, suspenseful entertainment, vintage night circus aesthetic, ARRI Alexa Mini (16:9 you’re taking AR)

我们将你的分镜描述变成了视频。
1927 年巡回嘉年华中的广角俯拍分镜,一位走钢丝者,他高高地站在地面上,在绳索的中点保持平衡,下面的人群屏息凝视,柔和的漫射光线,聚光灯照在表演者身上,戏剧性的阴影,温暖的棕褐色调,悬念娱乐,复古夜间马戏美学,ARRI Alexa Mini(16:9 你正在拍摄 AR)

案例5

A young man entering a sound-healing chamber. Surrounded by scientist in labcoats, anticipating the maiden power-up, eventual results.

一个年轻人走进一个声音治疗室。周围是穿着实验室外套的科学家,期待着首次启动,最终的结果。

最后的话

LTX Studio 的推出标志着视频制作行业的一次重大革新,为个人创作者提供了前所未有的便利。这个全能一站式平台不仅仅是将创意想法自动转化为视觉故事的工具,而且通过AI的力量,简化了从剧本到屏幕的整个过程。利用它,即便是一个单独的创作者也可以实现通常需要整个制作团队才能完成的工作。

前面文章介绍的这些案例中,我们看到了如何仅通过一句简单的描述,LTX Studio 就能够展现出一个完整故事的力量。无论是《The Prisoner's Redemption》中的紧张气氛,还是一个孩子在森林中发现魔法草莓的奇妙冒险,或者是赛博朋克背景下的犯罪惊悚故事,LTX Studio 都能够抓住每个故事的核心,并将其转化为引人入胜的视觉叙事。

结合 AI 技术的进步和这种创新工具的出现,我们确实正步入一个全新的电影制作时代。个人创作者现在可以独立实现从构想到剧本,再到最终视频的全部创作过程。这不仅极大地降低了进入门槛,还为电影和视频内容的多样性带来了前所未有的可能性。将我们的创意可以更加自由地实验和表达,而不必受限于传统制作的限制和资源的约束。

"一句话电影","一人电影"的时代已经来临,这将重新定义故事讲述的边界和可能性。而我们最缺的,是创意,是讲故事的能力。这个软技能,是 AI 没法代替的。