元峰AI笔记 · AI绘画与视频

Pika Labs 介绍

这个时代,AI 工具,AI 产品可以说是飞速发展,其中最令人振奋的莫过于 AI 视频工具了,而 pika 1.0 版本自诞生以来,就备受关注。

Pika Labs 介绍

这个时代,AI 工具,AI 产品可以说是飞速发展,其中最令人振奋的莫过于 AI 视频工具了,而 pika 1.0 版本自诞生以来,就备受关注。

相比于其他的 AI 视频工具,pika 1.0 网页在线就可以使用,不依赖设备,不依赖 stable diffusion ,不依赖 comfyUI,最关键的是不依赖电脑配置,可以说是大大的降低了 AI 视频制作的门槛。

最主要的是,操作简单,稍微熟悉一下很快就可以上手。

因此,创意就成了拉开距离的必备法宝,至于创意如何产生,这个就仁者见仁了。

另外还有一个好消息就是,PIKA 官方已经公布,pika 1.0 网页版正式面向所有人开放了,不用再排队申请了。而且已经有很多人制作出很惊艳的视频了。

图片是一条推文,发布者为Pika Labs,内容为“等待(列表)结束了。✨ Pika 1.0 正式向所有人开放!✨ 根据命令 pika.art 创建您的视频”。该推文发布于15小时前,获点赞104K、评论79、转发241。图片与上下文紧密相关,上下文提到Pika 1.0网页版正式面向所有人开放,不用再排队申请,且已有不少人制作出惊艳视频,此推文正是宣布这一消息。

注册登录

页面直达:https://pika.art/

选择谷歌邮箱登录。

图片展示了Pika平台的登录界面。左侧是Pika平台的宣传图,背景为一只狐狸,图中文字为“YOUR VIDEO'S An idea-to-video platform that brings your creativity to motion”。右侧是登录区域,上方有“READY TO USE PIKA? Sign in”字样,下方有“Sign in with Google”和“Sign in with Discord”两个登录按钮,其中“Sign in with Google”按钮被红色框突出显示。该图片与文档中“注册登录”部分内容相关,直观呈现了登录时的界面及主要登录方式。

登录后界面很干净也很简洁,一个探索区,一个自己的作品区,下面对话框就是操作台了。

图片展示的是Pika网页版登录后的界面。上方有“Explore”和“My Library”两个标签,当前选中“Explore”。下方有多个视频缩略图,如“Cute pika in Santa hat”等,每个缩略图下方有“Retry”“Reprompt”“Edit”等操作选项。底部有一个输入框,提示“Image or video”,并有“720x280”“Modify region”“Expand canvas”等设置选项。该图与文档中介绍Pika网页版登录后界面的内容相关,直观呈现了界面布局及部分功能。

功能介绍

一)生成视频介绍

如果你熟悉 stable diffusion ,那上手 pika 1.0 毫无难度。用 SD 出图思维来介绍一下 pika 1.0 的所有功能。

1.生成视频方式

1)文生视频:根据提示词生成视频画面

图片展示的是Pika Labs生成视频的文生视频方式界面。画面中红框突出显示了输入框内容“A cute pika in Santa hat is in the Christmas gift box, looking cute, highlight in the eyes, joy and happy”,并有红色箭头指向右侧的生成按钮。该图片与文档中“生成视频方式”部分的“文生视频:根据提示词生成视频画面”内容对应,直观呈现了输入提示词这一操作步骤。

2)图生视频:根据上传图片直接生成视频画面,或者加上提示词生成视频画面。

3)视频生视频:根据上传视频生成视频画面。

图片展示了Pika Labs生成视频的输入界面。界面上方有提示词“A cute pika in Santa hat is in the Christmas gift box, looking cute, highlight in the eyes, joy and happy”,右侧有生成按钮。下方有“图片或视频”和“上传图片或视频”两个选项,其中“图片或视频”选项被红色框突出显示。该图片与上下文介绍的生成视频设置相关,直观呈现了输入提示词及选择图片或视频的界面操作。

2.辅助参数

1)视频设置:设置生成视频的宽高比及每秒帧数。

图片展示了Pika Labs生成视频设置界面中视频设置部分。画面中呈现了视频的纵横比选择,有16:9、9:16、1:1、5:2、4:5、4:3六种比例可选,当前选中16:9。下方是每秒帧数设置,数值为24,右侧有向左和向右的滑动条。画面右下角有“重置”按钮。该图片与上下文介绍的生成视频设置内容相关,直观呈现了设置界面中视频宽高比及每秒帧数的选项。

2)镜头控制:参照 SD 镜头 lora

图片展示了Pika Labs生成视频的辅助参数设置界面。画面中突出显示了“镜头控制”选项,包括平底锅、倾斜、旋转、飞涨等镜头控制方式,以及“运动强度”滑块,可调节镜头晃动速度,一般默认1 - 2。该图片与上下文紧密相关,是对文档中“辅助参数”部分“镜头控制”内容的直观呈现,帮助用户了解如何通过这些参数对生成视频进行镜头控制。

3)参数设置

图片展示了Pika Labs生成视频的参数设置界面。画面中突出显示了“负面提示”“种子”“与文字的一致性”三个关键设置项,分别对应“例如丑陋、糟糕、可怕”“例如1234567890”“5 - 25”等具体内容。该图片与文档中“参数设置”部分内容相关,直观呈现了生成视频时可调整的参数,帮助用户了解如何通过这些参数设置来生成视频。

一句话介绍生成视频的设置:输入正向提示词,反向提示词,固定种子参数,设置文字关联幅度,调整镜头角度,选定生成视频的比例,就直接可以生成视频啦。

二)修改生成的视频

Pika 1.0 的强大之处在于对生成视频后的修改,如果生成视频不满意可以从哪几个方面来修改呢?

1.retry:

重新生成,俗称抽卡。

2.repromp:

修改提示词,重新生成。

图片展示了Pika Labs生成视频编辑界面中“Edit”编辑功能的界面。画面中是两个孩子在雪地堆雪人的场景。界面下方有“Retry”和“Reprompt”两个红色框标识的按钮,分别对应重试和重新提示功能。此外,还有“Edit”编辑按钮,以及三个点的更多选项按钮。该图片与文档中介绍的编辑功能相关,直观呈现了编辑界面中可操作的按钮,帮助用户了解编辑操作的入口。

3.Edit

编辑,编辑里又分为局部重绘和尺寸修改。

1)Midify region:修改区域

其实就是局部重绘,框选不满意的地方,输入提示词重新生成。

图片展示了Pika Labs生成视频介绍中“修改区域”功能的示例。画面中,两个孩子在雪地堆雪人,画面左上角有一个红色箭头指向的区域,表明可框选不满意部分。下方文字提示“Children building a snowman wearing a Santa hat in the snow, animation style”。底部工具栏中,“Modify region”按钮被红色框突出显示,其右侧还有“Expand canvas”按钮。该图片与上文介绍的“修改区域”功能相呼应,直观呈现了该功能的操作界面及效果。

2)Expand canvas:展开画布

其实就是修改尺寸,比如你开始生成16:9的,不满意,可以用这个直接改成其他尺寸的,镂空或者多余的部分,会自动填充或者裁剪,让整个视频保持和谐。

图片展示了Pika Labs生成视频介绍中“展开画布”功能的操作界面。画面中是两个孩子在雪地堆雪人的动画视频截图,下方有视频尺寸选择框及视频描述。画面右下角有“展开画布”按钮,其被红色框突出显示。该图片与上下文紧密相关,直观呈现了“展开画布”功能的操作位置,即在生成视频介绍时,若对生成的16:9等尺寸不满意,可点击此按钮修改尺寸,镂空或多余部分会自动填充或裁剪,让视频保持和谐。

tips:以上三种修改方式,只重新设置负面提示词,种子值以及文字参照幅度的参数,镜头控制不可重新选择。

图片展示了Pika Labs生成视频介绍中“Modify region”(修改区域)功能的操作界面。画面中有一个带有圣诞帽的小孩和雪人的动画视频,下方有视频尺寸、时长等信息。右侧弹出“Negative prompt”“Seed”“Consistency with the text”等参数设置框,箭头分别指向这些参数设置框,突出其重要性。该图片与上下文介绍的“修改区域”功能相关,直观呈现了该功能的操作界面及关键参数设置。

4.Add 4s

就是增加4秒视频长度。而在增加时长的设置中,是可以增加镜头控制的。

图片展示的是Pika Labs生成视频介绍功能中“Add 4s”(增加4秒)的操作界面。画面左侧是生成的视频缩略图,下方有“Add 4s”按钮。右侧是“Camera control”(相机控制)设置区域,包含Pan、Tilt、Rotate、Zoom等操作按钮,以及“Strength of motion”(运动强度)滑块。该图片与上下文介绍的“Add 4s”功能相呼应,直观呈现了增加视频时长的操作位置及相关设置选项。

5.Upscale

视频高清放大。

制作视频实操教程

一)文生成视频

随便写一个镜头:

正向提示词:

大雪纷飞的夜晚,一个男孩在路灯下行走,电影风格,俯视角度。尺寸:16:9,镜头放大

A boy walking under a streetlight on a snowy night, movie style, overhead perspective

负面提示词:

Ugly, blurry, distorted multiple limbs, pixelated, static fog, cartoon, vector art, flat, unsharp, distorted, wrong low resolution, oversaturated, grainy blurred

图片展示的是Pika Labs制作视频的文生成视频操作界面。界面上方有“图片或视频”选项,下方是生成视频的指令输入框,显示“A boy walking under a streetlight on a snowy night, movie style, overhead perspective”指令,右侧有一个黑色的星星图标。该图片与文档中“文生成视频”操作内容相关,直观呈现了输入指令以生成视频的界面情况。

图片展示的是Pika Labs视频制作中设置视频尺寸的界面。界面上方有“纵横比”标题,下方有6种尺寸选项,分别为16:9、9:16、1:1、5:2、4:5、4:3,其中16:9选项被选中。界面中部有“每秒帧数”设置区域,当前值为24,右侧有8 - 24的滑动条。最下方是“重置”按钮。该界面与文档中制作视频实操教程中文生成视频的尺寸设置内容相关,用于调整视频尺寸和帧数。

图片展示的是Pika Labs视频制作中“Camera control”(相机控制)界面。界面上方有“Pan”(水平移动)、“Tilt”(垂直移动)、“Rotate”(旋转)和“Zoom”(缩放)四个操作按钮,其中“Zoom”按钮被高亮显示。下方“Strength of motion”(运动强度)滑块可调节视频中物体的运动效果,当前值为1。界面右下角有“Reset”(重置)按钮。该界面与文档中制作视频实操教程中关于视频相机控制的操作说明相关。

图片展示的是Pika Labs文生成视频的负面提示词设置界面。界面上方有“负面提示词”标题,下方黑色背景框内列出了多个负面提示词,如“cartoon”“vector art”等。下方有“种子”输入框,提示输入1 - 9的数字。再下方是“与文字的一致性”调节滑块,可从5到25调节。最下方有“重置”按钮。该界面与上文文生成视频操作的上下文相关,用于设置生成视频时的负面提示词等参数。

得到视频:

1.增加视频长度

视频太短,增加四秒:

图片展示的是Pika Labs制作视频实操教程中增加视频长度的操作界面。画面中显示了一段视频,视频画面为夜晚街道场景,有路灯、行人等元素。画面右下角有“添加4s”和“高挡”选项,下方还有“重试”“重新提示”“编辑”“...”等操作按钮。该图片与上文提到的“视频太短,增加四秒”内容对应,直观呈现了增加视频长度的操作界面及可选择的选项。

增加旋转镜头:

图片展示的是Pika Labs视频制作中增加旋转镜头的操作界面。画面中有一个红色框突出显示的“相机控制”按钮,点击后弹出“相机控制”窗口,窗口内有“平底锅”“倾斜”“旋转”“飞涨”等控制选项,以及“运动幅度”滑块,当前数值为1。窗口右下角有一个红色框突出显示的“相机”按钮。该图片与上文“增加旋转镜头”操作内容对应,直观呈现了操作步骤中相关界面和按钮位置。

增加负面词,固定种子数,复制生成视频的种子数:

图片展示的是Pika Labs视频生成界面中“参数”设置部分。画面中突出显示了“种子”数值为1111122674665969,该数值被红框圈出。在“负面提示”区域,列出了多种负面词汇,如丑陋、模糊等。此外,还显示了视频的纵横比为16:9,帧率为24 FPS,飞涨和运动强度均为1。该图片与上下文“增加负面词,固定种子数,复制生成视频的种子数”相关,直观呈现了操作中种子数值的设置情况。

图片展示的是Pika Labs视频生成界面,用于增加视频长度。画面右侧弹出设置窗口,红色框突出显示“负面提示”为“Ugly, blurry, distorted multiple limbs, pixelated, static fog, cartoon, vector art, flat, unsharp”,种子数为“1111122674665969”,与文字一致性为“12”。画面左下角显示视频尺寸为1280 x 720,有“添加4s”选项。该图片与上文“增加视频长度”操作相关,直观呈现了操作时的界面设置情况。

得到一个 7 秒视频。

2.局部重绘

将黑色外套改为红色外套。

选择编辑,点击修改区域,款选需要修改的区域,编辑提示词,点击生成。

图片展示了Pika Labs视频编辑界面中视频编辑选项。画面中显示了一段视频,视频下方有“重试”“重新提示”“编辑”“...”四个选项,其中“编辑”选项被红色框突出显示。该图片与上文提到的“增加视频长度”操作相关,说明在视频生成后,可通过点击“编辑”选项对视频进行进一步编辑,以实现增加视频长度等操作。

图片展示的是Pika Labs制作视频时的文生成视频操作界面。画面中输入了“一个在雪夜街道灯下行走的男孩,电影风格,俯视角度”的描述。下方有“修改区域”按钮,其被红色框突出显示,按钮右侧还有“展开画布”按钮。此外,还有“1280 x 720”尺寸标识、删除按钮等。该图片与上下文介绍的增加视频长度操作相关,展示了视频生成前的输入及操作界面情况。

图片展示的是Pika Labs视频编辑界面中添加视频素材的场景。画面中显示了一个穿着白色外套的人物背影,背景为夜晚的街道。左下角有“Red Jacket”字样,下方有“1280 x 720”及“修改区域”按钮。右下角有“展开画布”按钮。图片与上文“增加视频长度”内容相关,用于说明在Pika Labs中添加视频素材的操作界面情况。

得到视频,可以看到衣服全部变成红色,而其他区域没变。

3.智能修改尺寸

选择编辑-展开画布-选择需要的尺寸-点击生成。

图片展示的是Pika Labs智能修改视频尺寸的操作界面。画面中有一个视频预览窗口,视频内容为雪夜街道上男孩在路灯下行走的场景。下方有多个尺寸选项,其中“9:16”被红色框突出显示。底部还有“展开画布”按钮,该按钮也被红色框标出。该图片与上文提到的“智能修改尺寸”操作相关,直观呈现了视频尺寸修改后的效果及操作界面。

得到的视频已经智能改成9:16的尺寸了。

二)图生视频

上传视频

图片展示了Pika Labs制作视频时上传视频的界面。上方显示视频标题“Talk, blink, turn your head.”,右上角有“收藏”按钮。下方有“720x1280”尺寸标识及“删除”按钮。界面底部有“图片或视频”选项,其左侧有图标,右侧有“剪切”“视频”“设置”按钮。该图片与文档中介绍上传视频的内容相关,直观呈现了上传视频时的操作界面及关键选项。

这个图是段老湿的形象,平时做故事视频时,需要用数字人工具,让图片转头,说话,眨眼睛等,但是很别扭,头发也不会动,最关键,还特么要收费。

这个头发飘逸,眨眼睛的自然程度,我很满意啊,但是嘴不怎么自然,但是已经可以说,一致性基本没得挑了。

还能增加很多搞笑的镜头,直接增加趣味性:

其余修改可以参照文生视频自行研究啦。

三)视频生视频

视频生视频,目前建议用来局部修改,如果直接让生成视频的话,好像挺惨不忍睹的。

上传视频,选择你需要更改的项目,我直接是增加元素,所以直接选择修改区域

图片展示了Pika Labs视频生视频功能界面。画面中有一个输入框,提示“描述你的故事”,并有AI头像。下方有“720 x 1280”尺寸标识及“修改区域”“展开画布”按钮,还有“图片或视频”选项。该图片与文档中“视频生视频”部分内容相关,用于说明上传视频后选择修改区域的操作,是上传视频后界面展示及操作指引的示例。

图片展示的是Pika Labs视频生视频功能中局部修改的界面。画面中有一个动画人物,其头顶有明显的白色羽毛状装饰。界面底部有“Gently Flowing Hair”字样,以及“修改区域”按钮,该按钮被红色框线突出显示。此外,还有“展开画布”按钮和“删除”按钮。该图片与文档中“视频生视频,目前建议用来局部修改”的内容相关,直观呈现了修改区域的选取位置。

小结

1.文生视频,因为限于模型的原因,风格一致性是一个很大的问题,虽然有种子数,但是试过了,好像没啥太大的鸟用,还是需要依赖大量抽卡,如果 MJ 或者 SD 有一定的基础,可以出好图以后,利用图生视频来调节动画,会省去很多时间。

2.如果已经会用数字人技术做过视频了,可以利用视频生视频,让视频更加灵动自然,也可通过局部重绘,增加或者修改元素,去重,让一个素材可以多次使用。比如头发动起来,比如换装等。

3.PIKA 1.0 只是初级版本,可以说比目前已知的 AI 视频工具都强大,而且没有门槛,没有设备限制,暂时也不收费,建议花大的时间去研究,掌握主动性,洋哥说过,今年 AI 视频一定是一个大的爆发。

4.PIKA 后续迭代版本肯定越来越强大,目前基本已经扫清了 AI 视频制作的所有卡点,剩余的就是创意了,只要你能找到一个好的工作流,有好的创意,那你一定能拿到大的结果。至于创意怎么来?就需要自己去寻找了。