元峰AI笔记 · AI数字人

颠覆传统!可灵AI推出全新视频人脸模型,AI电影不再是梦!

大家好,我是元峰,累计获得过 29 颗之心。

颠覆传统!可灵AI推出全新视频人脸模型,AI电影不再是梦!

大家好,我是元峰,累计获得过 29 颗之心。

最近几天又发现了一个新玩具,忍不住和大家来分享,就是可灵 AI 的人脸模型。先看一段视频,你就明白了。

那可灵AI的视频人脸模型到底是什么呢?

简单来说,用户可以在可灵 1.5 模型上上传多段多角度的高清视频,自己训练出一个独特的人脸模型。训练完成后,你就能用这个人脸模型生成多个短视频,5 秒、10 秒都可以制作。这种自由度真是太赞了,相当于给创作者开了一扇新世界的大门,随心所欲地塑造角色。

有了这个功能,你的创意就不再受限制,可以真正的打造我们的数字人了。可以让数字人在好莱坞的街道上走,或者在巴黎的浪漫黄昏中漫步,甚至在伦敦的古典街区闲逛。无论是闪光灯下的红毯,还是美丽的城市风景,数字人都能随时随地展现它的风采。这样一来,创作者们可以更灵活地讲故事,随心所欲地表达自己的想法,真的是没有界限!

如何开始训练模型呢?

简单 3 步即可搞定。

第一步:打开【功能入口】Web端首页侧边栏 > AI创作 > AI定制模型。

目前此功能优先面向钻石和铂金会员开放,定制训练专属人脸模型「限时5折」

图片展示了可灵AI Web端首页侧边栏界面。侧边栏中“AI创作”板块下有“AI图片”“AI视频”“AI定制模型”三个选项,其中“AI定制模型”选项被红色框线突出显示。该图片与文档中“如何开始训练模型”部分内容相关,对应第一步操作,即打开【功能入口】Web端首页侧边栏>AI创作>AI定制模型,此功能目前优先面向钻石和铂金会员开放,且定制训练专属人脸模型限时5折。

第 2 步:上传一个正面的视频,上传一段正面人脸视频(10-15s,1080p,横竖屏均可)。

图片展示的是可灵AI平台中上传正面视频的界面。左侧显示上传的正面视频画面,右上角有“上传正面视频”和“补充多角度视频”按钮。右侧视频列表中,有多个视频缩略图,其中“视频需求”下的“视频需求1”被选中。该图片与文档中“第2步:上传一个正面的视频,上传一段正面人脸视频(10 - 15s,1080p,横竖屏均可)”的内容对应,直观呈现了上传正面视频的操作界面。

如果不会操作,右边有小姐姐手把手教你应该上传什么样的视频。

图片展示的是可灵AI视频人脸模型训练中上传视频的视频要求界面。上方有“视频要求”标题,下方示例视频中人物为一位长发女性,手举在空中。下方文字提示“仅有1人,正面镜头,人脸占比超过1/4,表情自然”,并有绿色勾选标志。下方还列出不应出现的情况,包括大面积遮挡、光线昏暗、视频模糊、人脸太小、画面有字幕、多个人脸等,每个情况旁有红色叉号标识。该图片与上下文介绍的视频人脸模型训练步骤相关,是对上传视频要求的具体说明。

第 3 步:补充多角度的视频。需要补充 10-30 段同一人物的更多动作/表情视频(每段视频 10-15s,1080p)。

图片展示的是可灵AI视频人脸模型训练平台界面,用于补充10 - 30段同一人物的多角度视频。界面上方有“返回”“元解”“上传正面视频”“补充多角度视频”等选项。中间区域有“上传视频”按钮,下方是视频示例框,显示一位女性在户外的视频画面,下方有“我知道了”按钮。该图片与上下文紧密相关,是对补充多角度视频操作步骤的直观呈现,帮助用户了解应上传什么样的视频。

图片展示的是可灵AI平台界面,用于上传多角度视频。界面上方有“上传正面视频”和“补充多角度视频”按钮。左侧显示上传视频的提示,需10 - 30段同一人物不同动作/表情视频,每段10 - 15s,1080p。中间是视频上传区域,有多个视频缩略图,如“20240618_194747.mp4”等。右侧是视频列表,有“删除”“上一步”“下一步”等操作按钮。该图片与文档中上传多角度视频的操作步骤相关,直观呈现了上传视频的操作界面。

同样的,小姐姐也会做演示应该上传什么样的视频。

图片展示了视频人脸模型训练时的视频要求及动作示例。视频要求方面,人物需仅1人、五官清晰、不戴帽子口罩,且多个视频同一天拍摄,避免脸部外貌变化;拍摄要求包括更换背景、光线良好、镜头固定或稳定、对焦到人脸上。动作示例涵盖手部大幅运动、捋头发、打招呼、左右转头、微笑、上下抬头低头、蹲下起立、朗读文字、哭泣等多样化人像视频,以提升模型训练效果。该图与上下文介绍的视频人脸模型训练步骤相关,是对补充多角度视频时应上传视频类型的具体说明。

上传至少10个视频之后,就可以开始训练了。每一个模型需要消耗 999 个可灵值,且用且珍惜。

图片展示的是可灵AI平台界面。上方有“可灵AI”标识及“训练模型”按钮,下方是5秒模型效果视频,视频中人物面部被模糊处理。下方还呈现了“你可能感兴趣的内容”,展示了多张风格各异的图片,如科幻场景、可爱动物、奇幻人物等。该图片与上下文紧密相关,直观呈现了训练完成后的模型效果视频及可灵AI平台上的其他内容。

等待 2 小时之后,我们的视频人脸模型就炼好了。

图片展示的是可灵AI训练视频人脸模型后的效果页面。页面上方显示“人脸模型详情”,左侧有用户头像及“元峰”模型名称,创建时间为2024 - 10 - 30。右侧有“生成视频”按钮和三个点的图标。下方是“模型效果示意”,呈现了一位篮球运动员在球场投篮的视频片段,画面逼真。该图片与上下文紧密相关,直观呈现了训练完成后的模型效果视频,验证了训练的成果。

训练完成之后就会给我们一个 5 秒的模型效果视频,这逼真程度,已经非常 Nice 了。

视频制作

然后我们接着使用 【文生视频】时,就可以选择人物模型了。

选择好人物模型之后,自动会添加到提示词前面,正面本条视频会调用此人物模型。

图片展示了可灵AI视频制作界面。左侧为视频制作设置区域,有“信息描述”“参考人数”“参考人”等选项,其中“参考人”部分有“元峰”“陈晓晓”“Grace”“胡辰”等可选择的参考人头像。右侧是视频预览窗口,显示一个男子在街道上与一辆跑车互动的场景。该图片与上下文紧密相关,直观呈现了可灵AI视频制作中视频生成的设置界面及预览效果。

看下这一条的效果,这人物一致性,简直惊艳到我了,完完全全就是我自己,我已经把它克隆为数字人了。

**有了这个功能,AI 视频的人物一致性算是解决了。**距离 AI 拍电影又近了一步。对于我来讲,大大的方便了制作数字人。

以往制作数字人往往需要提前录制动作,限制了很多创作者的灵活性。但现在,有了可灵 AI 的人脸模型技术,这些都变得简单多了。你可以轻松替换场景和动作,随时调整角色表现。

这种自由度真是让每个创作者都能发挥出自己的想象力,创造出独一无二的作品。

无论是闪光灯下的红毯,还是美丽的城市风景,数字人都能随时随地展现它的风采。这样一来,创作者们可以更灵活地讲故事,随心所欲地表达自己的想法,真的是没有界限。

可以做演讲!

在故宫前面自拍🤳

出这些图的过程中,还能抽出非常有意思的视频,比如这个,竟然在在伦敦桥偶遇外国版的小时候的自己。

在伦敦桥邂逅一个美女版的自己,哈哈!!!

不过 AI 毕竟是 AI,还是得抽卡,以及调整提示词。比如下面这个开跑车的,会出来和人脸模型完全不相关的视频。

这些数字人也可以理解为我们的“数字员工”。可以替我们开发布会、替我出镜做短视频,替我们走红毯。。。让创作变得更加生动多元。可灵 AI 的进步为我们打开了全新的创作大门,未来的可能性几乎是无限的。在不久的将来,数字人会成为我们生活和工作中的得力助手。

虚拟网红打造

有了这项技术,除了帮我们做个人IP,还有一个典型的应用就是虚拟网红。

AI 虚拟网红 fit_aitana 便是一个典型例子,她在 Instagram 上拥有 29.9 万粉丝,展示了 AI 虚拟网红在社交媒体上的变现潜力。一条广告收入就可以达到 1000 英镑,月收入就可以高达 3000 英镑以上。而其他类似的 AI 虚拟网红账号在粉丝数和变现方面也有了不错的成绩。

图片展示的是Instagram账号fit_aitana的主页界面。头像为粉色头发的女性,下方显示粉丝数29.0万、关注数260。简介中“Powered by AI”表明该账号由AI驱动。主页下方有六张照片,展示了不同场景下的女性形象,如在阳台、室内、街头等,展现了其生活画面的丰富性。该图片与上下文介绍的虚拟网红账号特点相呼应,直观呈现了其自然、丰富、统一的风格。

她们到底是怎么做到的呢?

首先呢,咱们一看就发现他们的账号跟仿佛是在模仿一个活生生的人一样,无论是肌肤感觉还是动作的姿势,都做得跟真的似的,超级自然。

第二,他们展示的生活画面超级丰富,不管是在去喝咖啡的途中,还是在露营的荒野里,看得我们好像自己也在那儿一样,特别有感觉。

第三,他们的整体风格超级统一,从拍摄手法到衣服搭配都超有 Fell,看起来就像个专业明星似的。而且呢,他们主要展示的是照片,这对刚入行的新手来说简直太友好了。

图片展示了可灵AI推出的全新视频人脸模型相关内容。左侧为《堡垒之夜》游戏海报,中间和右侧是同一女性的不同造型照片,她有着粉色长发,穿着粉色外套,左侧照片中她还戴有金色项链。这些图片与上下文紧密相关,直观呈现了可灵人脸模型玩法,可轻松制作视频版内容,帮助新手轻松打造专业风格视频,契合文档中介绍可灵人脸模型玩法可升级为视频版的上下文。

现在有了可灵人脸模型玩法,这个玩法已经可以直接升级了,我们做视频版的,轻松拿捏!!!

来,看下效果。

图片展示的是可灵AI推出的全新视频人脸模型“柳如烟”的人脸模型详情界面。界面左上角显示模型名称为“柳如烟”,创建时间为2024 - 10 - 28。下方有“生成视频”按钮,右侧有三个点的图标。中间部分列出使用该模型创作的视频,有两张图片,分别标注10s和5s。底部有“模型效果示意”按钮,点击可查看模型效果。该图片与上下文介绍的可灵AI全新视频人脸模型相关,直观呈现了模型的创建信息及效果示例。

以上就是今天的所有内容了,还没拿到内测资格的伙伴们再等一等。好饭不怕晚!

觉得很酷的可以帮元峰点个赞👍。