元峰AI笔记 · Agent与自动化

n8n Sora

前两天脑子里突然蹦出个想法。

n8n Sora

前两天脑子里突然蹦出个想法。

你说现在AI这么强,Sora2又这么好用,能不能让它帮我批量生成短视频的画中画素材?

这个念头一出来就停不下来了。索性周末也没啥事,干脆动手试试。

结果还真让我搞出来了,跑了一个n8n工作流。

图片展示了Sora2生成画中画素材的工作流及生成结果。左侧是工作流界面,包含多个节点,如“Sora2”“视频拼接”等,节点间有箭头连接,呈现流程逻辑。右侧是生成结果展示,呈现多张画中画图片,每张图片下方有对应文本。该图片与上文提到的“动手试试”“搞出来了”相呼应,直观呈现了Sora2生成画中画素材的成果,是对上文内容的可视化呈现。

虽然现在还是个半成品,但核心思路已经验证通了。剩下的就是慢慢打磨优化的事儿。

今天把这个过程写出来,不是炫耀啥,就是觉得这个思路可能对你有点启发。

01 这事儿是怎么开始的

做短视频的朋友应该都懂,画中画素材真的太重要了。

它能让你的内容更丰富,节奏更紧凑,观众看着也不容易腻。

但问题就来了:

去素材网站找吧,翻半天不一定能找到合适的,还浪费时间。

自己拍吧,成本高不说,效率也低得要命。

用AI生成?这倒是个好主意。但如果我需要10个、20个不同场景的素材呢?难道一个个去写提示词?那不还是很麻烦吗?

Sora2确实厉害,基本上你说啥它就能给你生成啥。但关键是,我不想一个个去"说"啊。

所以我就在想,能不能把这个过程自动化?

就是那种,我只需要输入一个主题,然后AI自动帮我:

  • 写好脚本
  • 拆好分镜
  • 生成提示词
  • 调用Sora2出视频
  • 最后还能自动归档

一键搞定,多爽。这就是我想解决的问题。

02 思路其实挺简单的

有了想法,接下来就是验证能不能做。

图片展示了n8n工作流,用于生成短视频文案并拆分镜头。左侧是Claude Sonnet 4.5,输出视频脚本和规划分镜。右侧是Gemini 2.5 Pro,输入分镜脚本提示词,输出split_prompts1。工作流中包含“分析视频脚本和规划分镜”“生成分镜脚本提示词”等节点,箭头指示数据流向。该图与文档中验证能否通过Claude写脚本、Gemini拆分镜思路相呼应,直观呈现了工作流操作流程。

我的思路是这样的:

第一步,让Claude帮我写脚本。

我就输入一个主题,比如"AI如何改变教育",然后让Claude Sonnet 4.5帮我生成一段短视频文案。这个它很擅长,基本上一次就能出个八九不离十的稿子。

第二步,让Gemini帮我拆分镜。

把Claude写好的文案丢给Gemini 2.5 Pro,让它帮我拆成多个镜头。我设置的是最多5个镜头,每个镜头都要有场景描述、时长、还有关键元素。这样后面生成视频的时候才有依据。

第三步,自动生成Sora的提示词。

这步很关键。Gemini会根据每个分镜,写出专业的Sora 2提示词。你别小看这个,提示词写得好不好,直接决定了视频质量。

第四步,批量调用Sora2生成视频。

工作流会自动循环处理每个分镜,一个个提交给Sora 2去生成。然后每隔30秒查询一次状态,看看生成好了没有。全程不用我盯着,该干嘛干嘛去。

第五步,自动归档整理。

视频生成好了之后,自动上传到飞书云空间。同时把所有信息——文案、提示词、视频地址——全都存到飞书多维表格里。这样我的素材库就自动建好了。

整个流程,我用n8n这个工具串起来。说白了就是让这些AI按照我设计的路线,一步步自动跑完。

03 实际跑起来效果怎么样

周末两天时间,我基本上就把这个流程搭出来了。

刚开始主要是理思路,把整个流程在脑子里过一遍,然后画出来。然后才开始动手写节点,一个个调试。

图片展示了n8n平台中一个视频生成工作流的流程图。从左至右依次为手动触发、工作流配置、分析脚本和计划、解析故事板场景、生成场景提示、调用Sora2 API生成视频、保存至Notion数据库。其中“Analyze Script and Plan...”步骤有红色感叹号提示,可能存在问题;“Generate Prompt for Scene”步骤有蓝色感叹号提示。该图与文档中介绍Sora2视频生成流程的内容相关,直观呈现了工作流各环节。

说实话,中间确实踩了几个坑:

Sora2的API经常不稳定,老是各种报错,需要把错误处理的更优雅些。飞书的文件上传也有点麻烦,得先上传云空间获得文件 Token,再把Token存入多维表格才行。还有多维表格的字段映射,一开始总是json错误,调了好几次。

图片展示了n8n平台中生成视频的流程。流程从“等待30秒”开始,接着是“查询视频状态”,若视频生成中则继续查询,若生成完成则跳转至“生成视频完成”。若视频生成中,流程会依次进行“获得视频”“上传视频到云空间”“表格数据”“回写结果并标记完成”。该流程与文档中介绍的Sora视频生成效果相关,说明了从视频生成到数据处理的完整操作步骤。

不过好在,整个流程最后还是跑通了。

我拿几个主题测试了一下:

  • "AI如何改变教育"
  • "人工智能如何影响传统的电影拍摄"
  • "多和正能量的人在一起"

图片展示的是n8n平台中“AI 视频生成”任务的运行记录。记录中列出了多个任务的名称、AI 视频生成ID、AI 视频地址、最后运行时间及AI 模型等信息。其中,任务名称多为“AI如何改变教育”等主题,AI 视频生成ID、AI 视频地址等均有对应内容,最后运行时间显示为2023年10月30日,AI 模型均为sora - 2。该图片与上文提到的Sora2视频生成效果相关,直观呈现了实际跑通后的任务运行情况。

Sora2视频生成比较慢,平均每一条5分钟左右,每个主题大概30分钟左右就能生成完整的视频素材。质量的话,还算不错,大部分是能用的。

当然了,现在这个版本还是MVP阶段,很多地方还不够完善:

提示词的质量还能再优化,分镜的逻辑也可以更智能一些,错误处理机制也还不够完善。

但核心功能已经验证了,这就够了。剩下的就是慢慢打磨的事儿。

04 最后的话

我写这篇文章,不是想说我做了个多牛逼的产品。

而是想跟你分享一个思路:

遇到问题,别光想,先动手试试。

很多人想法很多但就是不动手,总觉得要等条件完美了再开始,其实不用。你可以先搭个最简单的流程看看能不能跑通,能跑通再慢慢优化,跑不通赶紧换方向,这就是MVP思维。

就像我这个工作流,现在能用吗?能用。完美吗?不完美。但重要吗?不重要。重要的是我验证了这个方向是对的,接下来就是持续优化:提升提示词质量、优化分镜逻辑、增加更多场景、提高稳定性。等优化完了就能正式投入使用,这个过程比结果更有价值。

接下来我要做的就是持续优化,等这些都优化完了,就能正式投入使用了。

AI时代最大的机会不是等别人做好工具给你用,而是自己动手解决自己的问题。这个Sora2工作流就是我解决自己问题的过程,虽然还不完美但已经能用了。如果你也在做短视频也遇到素材问题,这个思路或许能帮到你。