元峰AI笔记 · AI绘画与视频

Sora 视频可以开口唱歌了

利用 AI 生成的视频制作,革新创作自由

Sora 视频可以开口唱歌了

利用 AI 生成的视频制作,革新创作自由

OpenAI 持续展示 Sora 的功能,令人惊叹不已,最新的片段堪比好莱坞制作,所有这些都是从一个提示词生成的。

尽管 Sora 没有开放,仍然是 OpenAI 官方和一群精选内测玩家的专属产品,但很多惊艳的片段已在全球各个社交媒体上分享,让人们得以一睹其惊人的作品。

图片展示了一位蓝皮肤、大眼睛、尖耳朵的卡通人物,戴着黑色棒球帽,穿着牛仔外套和白色T恤,背景是城市街道场景,有行人和车辆。该图片与文档中介绍的Sora视频内容相关,可能是Sora生成的视频片段中的一幕,体现了其惊人的作品能力,展示了其在视频制作方面的多镜头、无缝效果和持续动作等特性。

新的 Sora 视频令人惊叹,必须观看才能相信

这些最近的片段是从一个提示词制作的,类似于完整的制作,具有多个镜头、无缝效果和持续长达一分钟的视频中的一致动作。

我们所见证的暗示着生成式娱乐的未来,特别是当与其他 AI 模型集成用于声音、唇形同步或 LTX Studio 等顶级平台时,使创造力比以往任何时候都更容易获得。

例如,X 上的创作者 Blaine Brown 展示了一段视频,将 Bill Peebles 的 Sora 外星人与 Pika Labs Lip Sync 和使用 Suno AI 创建的歌曲合并在一起,制作了一个非常震撼的音乐视频。

图片展示了一条关于Sora视频的推文。推文作者Blaine Brown称,这个Sora片段是当外星人用唇语说唱关于与众不同有多难,工作流在主题中。下方配有SUNO生成的音乐视频,视频中一个蓝皮肤外星人戴着黑色帽子,站在城市街道上,背景有建筑物和车辆。该图片与文档中介绍Sora视频生成能力的内容相关,展示了Sora生成的外星人视频示例。

Sora 生成外星人视频,SUNO 生成音乐,PikaLabs 匹配唇形

下面的视频由 OpenAI 的文本转视频模型 Sora 直接生成,未经任何修改,用到的提示词如下。

提示词:一个外星人自然融入纽约市,偏执惊悚风格,35 毫米胶片

Sora 生成的一个外星人自然融入纽约市视频片段

我们还可以通过 LensGo AI 将这段蓝色外星人视频转化就为其他风格,比如皮克斯,吉卜力,丧尸风格等。结果非常酷!

Pixar 皮克斯风格

Ghibli 吉卜力风格

The Walking Dead 丧尸风格

这些风格都可以使用这个 LensGo 来转化。如果你愿意也可以亲自体验一下:https://lensgo.ai/。

图片展示的是LensGo视频生成界面。左侧有风格、提示词、区域、范围、质量、水印等设置选项,如风格选择为“Play”,提示词为“博物馆飞越,里面有许多绘画和雕塑,以及各种风格的精美艺术品”。中间部分有“Upload Video”区域,可拖拽视频文件或上传视频。右侧是生成视频的预览窗口,下方有“REVIEW”和“Generate Video”按钮。该图与上下文介绍的Sora生成视频案例相关,展示了生成视频的界面操作。

Sora 生成的视频还有很多,例如博物馆飞越这个案例,以其多样的镜头和流畅的动作而脱颖而出,尽管是在室内,但类似于无人机镜头。

提示词:"飞过一个博物馆,里面有许多绘画和雕塑,以及各种风格的精美艺术品”

与此同时,诸如一对夫妇在精心制作的鱼缸中用餐之类的场景突出了 Sora 在处理复杂动作时保持整个剪辑中无缝流动的能力。

提示词:"一对 20 多岁的男女正在一家由纳米技术和铁磁流体实现的未来主义餐厅用餐”

Sora 前途无量,简直亮瞎眼。仅靠一个小提示,它就能变魔术似的搞出一些高大上、随时能上线的视频,实力不容小觑。

通过与其他 AI 模型和娱乐平台进一步集成,Sora 准备扩展其功能,给创作人和娱乐界带来前所未有的自由度和创新可能。它的潜力确保了生成式娱乐的未来将更加多样化和令人敬畏。

厨房里厨师太多? Sora 可以根据文本创建逼真且富有想象力的视频,但它也可以让把从 DAll·E 3 创作的静态图像变为栩栩如生的视频。

Sora 的未来

说到现在,Sora 还是个谜,对外界保持神秘。考虑到 AI 搞破坏的能力,它脑子里藏着的那些真实世界的秘密,OpenAI 小心翼翼地保护着 Sora,这也是情有可原的。

目前,OpenAI 正在对系统进行红队测试,聘请训练有素的专家来尝试让 Sora 做出破坏性的事情,就为了能在大家见面前把问题都解决掉。

不过说到底,如果 AI 系统能够仅仅通过观察(而 Sora 的早期结果表明它可以)就开发出世界的一个详细且准确的模型,那么 OpenAI 不会是唯一开发出此类系统的公司。

这训练模型的活儿,花钱如流水,可能比搞那些生成图片的 AI 还要烧钱。但看样子,未来几年,连开源模型都可能追上 Sora 的步伐,到时候我们可能就生活在被 AI 模仿的世界里了。

正如专家佩里所说,这将开启视频创作的新纪元。但不止如此,它还可能彻底改变机器人的世界,让所有 AI 系统在逻辑推理方面做得更好,并让我们更接近 AGI。

那些活灵活现的 AI 猫咪视频确实挺酷的。但在 AI 的大世界里,它们不过是冰山一角,预示着更多激动人心的事物即将到来。