元峰AI笔记 · AI数字人

访谈AI数字人案例

<titleAI数字人访谈类视频幕后制作大揭秘</title

AI数字人访谈类视频幕后制作大揭秘

大家好,我是元峰。累计获得 22 颗 AI 之心。好久没发帖了,今天来一篇访谈数字人的制作教程。

AI 技术的介入,为视频制作带来了革命性的变化。通过 AI 绘画、声音克隆和视频剪辑,我们可以快速、低成本地制作出逼真的访谈视频。这种技术的应用,不仅大大提高了视频制作的效率,还为视频内容的创新提供了更多可能性。

AI 视频制作的优势在于其高度的可定制性和效率。无论是形象设计还是声音合成,我们都可以使用 AI 来实现自定义,满足不同用户的需求。同时,AI 技术的运用大幅降低了人力和时间成本,解决了传统视频制作中的痛点。

今天我们要介绍的就是这种访谈式的数字人对话视频,内容非常有意思,数据也非常不错。下面我们就解密一下,这类视频是如何制作呢?

访谈AI数字人案例

AI.Talk

图片展示的是AI.Talk平台界面,上方有平台名称及导航栏,中间是平台介绍,下方是多个视频封面。其中“赵大师兄”视频封面位于右侧,画面为赵大师兄与小时候的自己对话场景,背景为黑白照片,赵大师兄身着西装,与小时候的自己对话。该图片与上下文紧密相关,直观呈现了赵大师兄与小时候自己对话的视频内容,是文档中介绍赵大师兄与小时候自己对话体验时所提及视频的展示图。

AI.Talk

赵大师兄

图片展示了“赵大师兄”系列AI数字人访谈视频的封面图。画面中有多个不同人物的头像,每个头像下方配有对应的话题标题,如“AI夜话”“AI私聚会”“AI周公解梦”等。这些封面图以网格形式排列,背景为深色,人物形象各异,有戴帽子的、戴眼镜的等,整体呈现了系列视频丰富多样的主题内容。

赵大师兄

和小时候的自己对话是什么体验?元峰在今年春节期间便利用数字人制作了一个和小时候元峰对谈的视频。和小时候的自己聊了聊,那时候是怎么过年的?和现在有什么区别?

《酒中美学 AI对谈》

1 月份,水井坊与央视一套联合出品的《酒中美学 AI对谈》跨越时空的美学对谈系列节目。作为打头阵,中央广播电视总台主持人,同时有着“段子手”之称的朱广权与诗仙李白展开了一场美学对话,探寻从古至今无处不在的美学,双方妙语连珠,思想的火花精彩碰撞。

图片是央视频与水井坊联合出品的“酒中美学AI对谈”宣传图。左侧是朱广权,标注为中央广播电视总台主持人;右侧是李白,标注为唐代浪漫主义诗人。中间以“酒中美学AI对谈”为标题,下方有“2024 VS 724”的字样,以及2024年1月25日首播、每周二周四持续更新的信息。底部有CCTV1标识、央视频和腾讯视频的图标。该图与文档中介绍的AI数字人访谈类视频相关,展示了视频中涉及的人物。

视频:酒中美学 AI对谈来源:央视频

无论真实拍摄的照片,还是使用 Midjourney 等 AI 绘画工具画的都可以,仅仅一张照片,使用 蝉镜 这样的数字人平台即可实现人物开口讲话。

作家、美食爱好者沈宏非将对话 AI 数字人苏轼,一起探讨美食中蕴藏的人间情感;中国文物学会会长、故宫博物院学术委员会主任单雯翔将对话王阳明,解析工匠精神在保持初心、追求极致、知行合一中为我们留下来最美的宝藏,也让流传千年的美酒依然陪伴着我们现在的美好生活。

图片是央视频与蝉鸣科技联合出品的“酒中美学AI对谈”节目海报。左侧为作家、美食爱好者沈宏非,右侧是北宋文学家苏轼。海报中间以“酒中美学AI对谈”为标题,下方标注“味蕾美学VS艺术美学”,并标明正在热播、持续更新中。画面背景有红色装饰元素,CCTV1标识及“600年·酒开国门”字样。底部有央视频、腾讯视频标识。该图片与上下文介绍的AI数字人访谈类视频内容相契合,展示了节目嘉宾及主题。

核心步骤拆解

制作一个访谈式数字人视频,大致可以分为以下几个步骤:

形象设计

我们需要设计出视频中的数字人形象。这可以通过使用 AI 绘画工具来完成。例如,DAll·E 3 可以根据我们提供的描述生成图像,拿到提示词,而 Midjourney 则可以在此提示词基础上进一步优化,生成更加精美和符合需求的图像。

声音克隆

我们还需要为视频中的数字人角色匹配声音。这可以通过使用声音克隆工具,如 Elevenlabs 来完成。我们可以录制一段参考音频,然后让 Elevenlabs 学习并模仿这段音频的声音特征,从而生成逼真的声音。

数字人开口讲话

有了形象和声音后,我们需要使用 蝉镜 这个数字人软件实现的形象和声音合成为最终的视频。这可以通过使用 蝉镜 等工具来完成。蝉镜 可以将 AI 生成的形象和声音完美地融合在一起,生成逼真的访谈视频。

视频剪辑

最后,我们就可以开始视频的剪辑工作了。使用剪映等视频剪辑软件,我们可以对视频进行后期处理,包括添加字幕、特效、转场等,使视频更加专业和吸引人。

感恩母亲节 | 安娜·贾维斯

母亲节是一个特别的日子,而通过 AI 数字人制作的访谈式视频更能增添这一节日的趣味和教育意义。接下来的文章中,我将为大家详细介绍如何利用数字人制作高质量的虚拟访谈视频,从形象绘制、声音克隆到视频剪辑的每一步骤都将详细拆解。希望能够帮助大家了解和掌握这种新兴的内容创作方式,让大家可以轻松上手,创作出有趣且富有价值的内容。

文案生成:GPT-4

  1. 输入对话背景和主题,向 GPT-4 提供必要的情景描述和角色信息。
  2. GPT-4 根据输入的信息生成详细的对话文案。
  3. 根据实际内容进行调整优化。

下面是我制作对话内容的生成过程参考。

图片展示了ChatGPT 4与用户关于母亲节来源的对话。用户询问母亲节的由来,ChatGPT 4详细介绍了母亲节的起源,包括其与安娜·贾维斯的联系,以及1908年母亲节首次被庆祝,1914年被正式确立为全国性节日等内容。对话中还提到母亲节成为广为人知的节日,传播着爱与感激,不同文化也加入了自己的庆祝方式。该图片与上下文紧密相关,直观呈现了AI生成对话内容的过程。

https://chatgpt.com/c/5b23f683-fa6c-4280-8437-96066577fd79

今天是5月的第二个星期日,是我们伟大的母亲节,起源于古代希腊和罗马的庆祝活动,现代母亲节的概念则起源于美国。最初的倡导者之一是安娜·贾维斯(Anna Jarvis),她于20世纪初发起运动,倡导设立一个特别的日子来纪念母亲的贡献。 元峰:今天我们有幸邀请到现代母亲节的创始人安娜·贾维斯。安娜,感谢你来接受采访。是什么促使你创立了母亲节这个特别的节日呢? 安娜·贾维斯:谢谢你,元峰。母亲节源自对我母亲的深切怀念和尊重。她曾提倡“母亲友谊日”,希望通过它加强家庭纽带、增进社会和谐。她的逝世让我意识到,我们需要一个日子,来纪念那些像她一样无私奉献的母亲。 元峰:无私奉献是母亲节的核心精神。你怎么看待这种奉献,它对当今社会有什么意义? 安娜·贾维斯:母亲是家庭的基石,她们的付出经常被当作理所当然。母亲节就是为了提醒我们,这样的无私奉献需要被认可和尊重。母亲不仅是生命的创造者,更是家庭和社会的价值观传承者。即使在当今快速变化的社会中,我们仍要铭记母亲的付出和牺牲。 元峰:你在推行母亲节的过程中遇到过哪些挑战?社会是如何接受这个节日的? 安娜·贾维斯:每个新想法都会遇到阻力。一开始,人们对专门为母亲设立一个日子持怀疑态度。但渐渐地,他们明白了这个节日的意义,它不仅是为了某位母亲庆祝,更是对所有母亲的尊重和肯定。 元峰:最后,你希望通过母亲节,人们能学到什么? 安娜·贾维斯:我希望通过母亲节,人们不仅仅庆祝,还能看到母亲背后的故事、她们的牺牲与爱。这是一个反思和感恩的机会,让我们认识到母亲在家庭和社会中的重要性。庆祝母亲节不仅仅是表达爱,而是学习尊重、感激和理解。 元峰:感谢你的分享,安娜。希望每一位母亲都能感受到这份尊重与爱。

翻译为英文版本

Today is the second Sunday of May, a special day—Mother's Day. The origins of this holiday can be traced back to the celebrations of ancient Greece and Rome, but the modern concept of Mother's Day originated in the United States. One of its earliest advocates was Anna Jarvis, who, in the early 20th century, initiated a movement calling for a day dedicated to honoring and recognizing the immense contributions of mothers. Metafeng1: Today, we're fortunate to have the modern founder of Mother's Day, Anna Jarvis. Anna, thank you for joining us. What inspired you to establish Mother's Day as this special holiday? Anna Jarvis1: Thank you, Metafeng. Mother's Day is rooted in my deep respect and remembrance of my mother. She once advocated for a "Mothers' Friendship Day" to strengthen family bonds and promote social harmony. Her passing made me realize that we need a special day to honor mothers who selflessly give so much like she did. Metafeng2: Selfless devotion is the core spirit of Mother's Day. How do you see this devotion, and what significance does it hold for today's society? Anna Jarvis2: Mothers are the foundation of the family, but their contributions are often taken for granted. Mother's Day serves as a reminder that their devotion deserves recognition and respect. Mothers are not just life-givers but also the bearers of family and societal values. Even in today's fast-paced world, we need to remember their sacrifices and dedication. Metafeng3: What challenges did you face while promoting Mother's Day? How did society come to accept this holiday? Anna Jarvis3: Every new idea faces resistance. At first, people were skeptical about dedicating a day just to mothers. But over time, they understood the importance of this holiday, which isn't just about celebrating an individual mother but showing respect and recognition to all mothers. Metafeng4: Lastly, what do you hope people will learn from Mother's Day? Anna Jarvis4: I hope that through Mother's Day, people will not just celebrate but also recognize the stories behind each mother, their sacrifices, and love. It's an opportunity for reflection and gratitude, helping us understand the indispensable role mothers play in families and society. Celebrating Mother's Day isn't just about showing love but also learning respect, gratitude, and understanding. Metafeng5: Thank you for your insights, Anna. We hope every mother feels this respect and love.

声音克隆:Elevenlabs

官方链接:https://elevenlabs.io/

要让数字人说话,我们需要使用声音克隆技术。这里我们选择 ElevenLabs 进行操作:

在这里,我的声音是通过提供自己录制的一段声音样本克隆而成,安娜·贾维斯的声音则是选择了 ElevenLabs 中现有的声音库中比较专业的一个声音直接生成的。

声音克隆

进入到 VoiceLab 标签,选择克隆声音。

我自己的声音是直接用的声音克隆功能,安娜的是找了一个现成的声音进行制作的。

图片展示了ElevenLabs平台的界面。左侧有“VoiceLab”“Voices”“Projects”“Dubbing”“Playouts”等选项,其中“Voices”被红色箭头指向。右侧上方有“VoiceLab”“Voice Library”按钮,下方是多个声音样本列表,每个样本有“Use”“Edit”“Remove”操作按钮,部分样本名称被红色箭头标注。该图片与上下文关系紧密,上下文提到声音克隆功能,此图直观呈现了声音克隆操作的平台界面及相关操作选项。

录制自己的声音样本时,要确保音质清晰,没有背景噪音。

图片展示的是VoiceLab平台中编辑声音的界面。界面上方有“Name”输入框,下方有“Click to upload a file or drag and drop”区域,可上传音频文件,或点击“Record Audio”进行录音。下方显示“Samples 1 / 25”及“Labels 0 / 5”,并有“Description”描述框,底部有“Cancel”和“Edit Voice”按钮。该图片与文档中录制声音样本的内容相关,直观呈现了录制声音的操作界面。

对于历史人物,可以从现有的录音中选取合适的声音样本。

图片展示了ElevenLabs网站的Voice Library页面。页面上方有“Voice library”按钮,下方有多个筛选选项,如Professional、Female、Middle Aged、English、Accent等。页面中部是“Voice Library”板块,可发现社区声音,如Samantha Narrations、Miss Brittany Andrews等,每个声音下方有“Sample”和“Add to Voicelab”按钮。该图片与上下文关系紧密,上下文提到录制自己的声音样本时要音质清晰、无背景噪音,对于历史人物可从现有录音中选取声音样本,此图展示了在ElevenLabs网站上筛选合适声音的界面。

TTS | 语音合成

接下来,输入对话文本,选择声音样本,生成语音文件。

图片展示的是ElevenLabs的语音合成界面。界面上方有“Speech Synthesis”标题,下方有“TEXT TO SPEECH”和“SPEECH TO SPEECH”选项卡,当前选中“TEXT TO SPEECH”。下方输入框内有英文文本,提示“输入文案即可合成声音”,并显示已输入388个字符,可输入500个字符。界面右下角有“Generate speech”按钮。该图片与上下文紧密相关,是进行语音合成操作的展示,用于说明输入对话文本、选择声音样本后生成语音文件的步骤。

把元峰和安娜说的每一句都合成之后下载到本地备用。

图片展示了多个MP3文件图标,排列整齐。每个图标上方有“MP3文件”字样,下方有不同名称,如“Anna.mp3”“Anna2.mp3”等,部分名称带有“元峰”“安娜”字样。这些图标与上文提到的“把元峰和安娜说的每一句都合成之后下载到本地备用”相呼应,直观呈现了合成后的语音文件存储情况,方便后续对谈音频制作时使用。

制作最终对谈音频

因为是要制作对谈的感觉,所以把元峰和安娜讲话的内容分别各自的轨道中,方便后面分别导出。

图片展示了视频编辑软件界面中音频轨道部分。上方有“封面”选项卡,下方音频轨道上有“元峰讲话轨道”和“安娜讲话轨道”标识,分别对应“元峰0.mp3”至“元峰5.mp3”及“Anna1.mp3”至“Anna4.mp3”音频文件。该图与上下文紧密相关,上下文提到分别导出元峰和安娜讲话的声音,此图直观呈现了音频文件在编辑软件中的排列情况,辅助理解音频文件的组织与使用。

分别导出只有元峰讲话的声音和安娜讲话的声音。

ok,到这一步,声音就准备完成了。

形象:DAll·E 3/Midjourney/Remini/PS AI

首先,我们需要生成安娜·贾维斯的虚拟形象。具体步骤如下:

  1. 在 DALL·E 3 中输入安娜·贾维斯的特征描述,生成初步的图像。DALL·E 3 擅长根据文字提示词生成逼真的图像,适合作为初步草图。

图片展示的是ChatGPT根据提示词生成的安娜·贾维斯形象。画面中,一位身着深色礼服、佩戴白色领结的女性端庄站立,背景为暖色调,两侧有白色康乃馨装饰。下方文字说明这是安娜·贾维斯的肖像,捕捉了母亲节相关的精神,反映了20世纪初美国的场景,康乃馨象征母亲节。该图片与上下文紧密相关,是生成安娜·贾维斯虚拟形象步骤中,利用ChatGPT生成的初步图像示例。

图片展示了在DALL·E 3中生成的安娜·贾维斯的虚拟形象。画面中,安娜身着一件带有高领和纽扣的棕色上衣,头戴白色花饰,背景为暖色调,周围点缀着白色花朵,营造出温馨氛围。右侧配有描述文字,说明这幅画作反映了20世纪初的美国风格,包含白康乃馨等元素,象征母亲节。该图片与上下文紧密相关,是生成安娜·贾维斯虚拟形象步骤中DALL·E 3生成初步图像的展示。

  1. 将提示词复制到 Midjourney,生成更加细腻和逼真的图像。Midjourney 的图像质量更高,细节处理更加精致。通过反复调整提示词和参数,我们可以得到一个符合预期的高质量图像。

A portrait of a woman representing Anna Jarvis, embodying the noble and maternal spirit associated with Mother's Day. The setting is early 20th century America. The woman has a kind, gentle face with soft eyes and is wearing a period-appropriate high-collar blouse and a hat typical of the era. She is surrounded by symbols of Mother's Day, such as white carnations, which are her symbol for the holiday, and a soft, warm background that suggests a feeling of love and appreciation. The overall atmosphere is warm and respectful, celebrating her contributions to Mother's Day. --ar 16:9 --v 6.0 --style raw

图片展示了四张AI生成的安娜·贾维斯形象图,位于上下文介绍其形象的AI生成图片后。每张图中安娜·贾维斯身着时代服饰,背景有白色康乃馨等母亲节象征物,氛围温暖。图片下方有数字序号标识步骤的内容,如U1、U2、U3、U4,V1、V2、V3、V4,以及一个绿色的刷新按钮。这些图与上下文介绍的安娜·贾维斯形象及AI生成图片相关,展示了生成效果。

我们发现第二张不错,给它下载下来。但是这张图背景太复杂了,不适合扣像。

图片展示了一位身着复古服饰的女性,背景为柔和的粉色调,点缀着白色花朵。女性头发梳成复古发型,面带淡妆,表情平静。她穿着带有蕾丝装饰的浅色上衣,衣袖宽大。这张图片与上下文相关,是作者在寻找适合扣像的图片时,从AI生成的多张图片中挑选出的一张,用于后续的视频制作。

所以重新换提示词,继续抽卡,找到一张背景比较干净的,适合扣像的图。

A portrait of a woman representing Anna Jarvis, embodying the noble and maternal spirit associated with Mother's Day. The setting is early 20th century America. The woman has a kind, gentle face with soft eyes and is wearing a period-appropriate high-collar blouse and a hat typical of the era. he background is warm and simple, evoking a clean and comforting atmosphere. --ar 16:9 --v 6.0 --style raw

图片展示了一位身着复古服饰的女性。她头戴一顶带有蕾丝装饰的浅色帽子,穿着一件带有蕾丝花边的白色上衣,衣领处有金色装饰。背景为室内环境,右侧有木质门框,左侧墙面呈暖色调。此图与文档中制作母亲节主题视频的背景设计相关,是用Midjourney画的符合母亲节主题的壁纸之一,用于拼接安娜的形象。

但是这个背景太单调了,所以用 Midjourney 画一些符合母亲节主题的壁纸,然后把安娜的形象抠出来拼接在一起。

GPTs:MJ提示词生成器

https://chatgpt.com/g/g-HfxocZYkF-mj-ti-shi-ci-sheng-cheng-qi

图片展示的是一个AI提示词生成器界面,用于生成关于母亲节的壁纸、摄影等提示词。界面中显示了4个Prompt,分别针对不同主题的壁纸,如极简母亲节壁纸、庆祝母亲节壁纸、复古母亲节壁纸、优雅母亲节壁纸,每个Prompt后都有对应的生成指令。下方有“感谢使用GPT应用,学习更多AI知识”的提示,以及“AI提示词生成”按钮。该图片与上下文紧密相关,是上下文提到的“MJ提示词生成器”功能展示。

A special Mother's Day greeting, the phrase "Happy Mother's Day" centered on a serene blue to cream gradient, creating a calm and inviting atmosphere, perfect for a wallpaper, Photography, DSLR camera with a soft-focus lens, --ar 16:9 --v 6.0 --style raw

图片展示的是Midjourney Bot生成的“母亲节快乐”问候语图片。画面以蓝白渐变色为背景,配有白色花朵和绿叶,中央有“母亲节快乐”字样。图片下方有U1至U4、V1至V4的选项按钮,以及一个刷新按钮。该图片与上下文紧密相关,上下文提到使用Midjourney生成母亲节问候语图片,此图即为生成结果,展示了其生成效果。

然后使用 PS AI 把安娜的头像快速扣出来,和背景融合在一起。

Ps AI 使用可以看下这份文档:

图片展示的是Adobe Photoshop软件界面,画面中是一位身着白色复古服饰、头戴帽子的女性,背景为蓝色渐变色,配有白色花卉装饰。画面左下角有“Happy Mother's Day”的字样。右侧有图层面板、图层样式等编辑选项。该图片与文档中提到的视频幕后制作相关,是使用Photoshop对视频中人物形象进行处理的示例,体现了视频制作中对人物形象的后期处理过程。

图片展示的是Adobe Photoshop软件界面,画面中是一位身着白色蕾丝上衣、戴着宽边帽的女性形象,背景为蓝色渐变,周围环绕着白色花朵。画面右下角有“Happy Mother's Day”的字样。界面右侧有图层、颜色等面板,左侧有工具栏。该图片与文档中提到的视频幕后制作相关,展示了视频中人物形象的制作界面,是使用PS AI创成式填充等技术制作视频中人物形象的工具界面示例。

今天这个视频中,我自己的形象是用 Remini 这个写真软件做的,比起自己通过 Midjourney 画,要节约很多时间。

图片展示的是手机应用商店中Remini - 人工智能修图的页面。页面显示该应用评分4.2,年龄要求12+,在摄影与录像排行榜中排名#7。新功能介绍中提到可将照片无缝融入多种场景。页面下方有“提升您的照片质量”等预览内容。该图片与文档中“今天这个视频中,我自己的形象是用Remini这个写真软件做的,比起自己通过Midjourney画,要节约很多时间”的内容相关,直观呈现了所用软件的界面。

图片展示的是Remini写真软件的“生成照片”界面。界面上方有“Hanfu”“AI hair salon”“Old money”等选项卡。“Hanfu”和“AI hair salon”下方均显示有16张照片,且各自右侧都有“获取完整包”按钮。“Hanfu”选项下展示了身着汉服的人物形象,“AI hair salon”选项下展示了不同发型的男性人物形象。这张图片与上下文的关系是,上下文提到视频中作者自己的形象是用Remini软件制作的,此图即该软件的相关操作界面展示。

图片展示的是视频中元峰的形象图。他身着深色衬衫,戴着眼镜,左手握拳放在胸前,背景为灰色渐变。图片右下角有“Remini”标识及“Generated with AI”字样。该图片与文档中“今天这个视频中,我自己的形象是用Remini这个写真软件做的,比起自己通过Midjourney画,要节约很多时间”的内容相呼应,直观呈现了元峰的形象图。

然后利用 PS AI 进行扩展为 16:9 的横图

图片展示的是Adobe Photoshop软件界面,画面中是一个年轻男子的肖像照片,他戴着眼镜,穿着灰色衬衫,正用手整理领带。背景为书架,摆放着书籍和装饰品。界面右侧有图层、颜色等面板,左侧有工具栏。该图片与文档中“利用PS AI进行扩展为16:9的横图”内容相关,展示了在PS AI中对人物肖像进行编辑处理的场景。

到这里之后,元峰和安娜的形象图也都准备好了。

图片展示了一位身着白色复古服饰、戴着帽子的女性形象,背景为蓝绿色渐变,点缀着白色花朵。画面左下角有“Happy Mother's Day”字样。该图片与文档中制作母亲节视频的内容相关,是视频中“我”形象的呈现,是利用Remini写真软件制作并扩展为16:9横图后,元峰和安娜的形象图之一。

图片展示了一位身着复古服饰的女性形象,头戴装饰有花朵的帽子,身着带有蕾丝边的白色上衣。背景为淡蓝色,点缀着白色花朵和绿色枝叶。画面右侧有一张写有“Happy Mother's Day”字样的蓝色卡片,卡片边缘有麻绳装饰。此图与文档中制作母亲节视频的内容相关,可能是视频中呈现的场景或人物形象。

图片展示了一位年轻男子,他戴着眼镜,穿着灰色衬衫,右手轻触衣领。背景为模糊的室内环境,有书架和一些装饰品。该图片位于介绍视频幕后制作内容的文档中,是视频中“我自己的形象”所用的图片,是用Remini写真软件制作的,相比通过Midjourney画要节约很多时间。

数字人图片开口讲话:蝉镜数字人

前面的准备工作都做好之后,为了让元峰和安娜·贾维斯的虚拟形象能够开口讲话,下面我们使用蝉镜数字人来制作数字人讲话视频。

蝉镜数字人官网:https://www.chanjing.cc

福利活动:元峰为了让更多小伙伴都能体验到数字人的快乐,特此争取到了 10 分钟免费使用时长的福利,点击此链接即可领取。可以制作照片说话数字人,也可以克隆自己的真人形象。早就是优势,先到先得!

图片展示的是蝉镜平台的数字人定制界面。左侧有导航栏,可选择数字人、热门文案等。中间上方有“2D数字人”和“照片数字人”选项,下方是“创建我的数字人”按钮,旁边有用户头像。下方推荐数字人有多种类型,如女性、男性、商务等,还展示了不同风格的数字人头像。该图片与文档中“选择照片数字人”步骤相关,是上传制作好的虚拟形象图片到蝉镜的界面展示。

  1. 选择照片数字人

图片展示的是蝉镜平台的数字人制作界面。左侧有“热门文案”“我的视频”“我的素材”等选项。中间部分显示“我的照片数字人(2/20)”,下方有“上传照片”按钮,旁边有红色箭头指向。右侧有“2D数字人”和“照片数字人”选项,其中“照片数字人”被红色框线突出显示,其旁有红色箭头指向。该图片与文档中“选择照片数字人”步骤相关,直观呈现了上传照片数字人的操作位置。

  1. 上传制作好的虚拟形象图片到蝉镜

注意上传的图片要五官清晰,正面为佳。

图片展示了蝉镜平台中上传照片数字人的操作界面。左侧为平台导航栏,中间显示“我的照片数字人(2/20)”及上传照片提示。右侧弹出文件选择窗口,显示“我的”文件夹内容,有两张照片数字人图片,下方有“上传照片”按钮。图片与上下文紧密相关,直观呈现了上传照片数字人时选择照片的步骤,帮助用户了解操作流程。

图片展示的是蝉镜平台的数字人制作界面。左侧有“照片数字人”和“视频数字人”选项,当前选中“照片数字人”。中间是上传的数字人照片,照片中人物戴眼镜,穿着深色衬衫。右侧有“AI配音”按钮,下方有“生成视频”按钮。该图片与文档中“选择照片数字人”步骤对应,直观呈现了上传照片数字人后的界面状态,帮助用户了解后续操作的界面环境。

  1. 上传生成的语音文件

图片展示了蝉镜平台上传语音文件的界面。画面中显示了多个音频文件,其中“母亲节_无背景音.mp3”被红色箭头指向,表明其为当前选中的文件。右上角有“添加/上传音频”按钮,用于上传音频文件。该图片与文档中“上传生成的语音文件”步骤相关,直观呈现了上传语音文件的操作界面及选中文件的情况,帮助用户了解上传音频的具体位置和操作要点。

  1. 调整好数字人形象轨道和音频轨道

图片展示了蝉镜AI数字人视频制作平台的界面。左侧为数字人选择区域,有“照片数字人”“视频数字人”等选项。中间是数字人形象展示区域,显示一个戴眼镜的男性数字人。右侧是AI配音区域,有“母语配音”“AI配音”选项,当前选中“母语配音”,显示“母亲节,元神声音.mp3”文件。下方有“形象轨道”“音频轨道”等轨道,可进行时间轴调整。该图与上下文介绍的数字人视频制作流程相关,展示了上传图片、生成语音文件、调整轨道等操作后的界面情况。

提交之后,等待视频制作完成。

但这里有个小的注意点,照片数字人仅仅支持小于1分钟的视频生成,所以,需要把我们的音频拆分为几段 1 分钟以内的小片段来生成视频,然后再拼接。

图片展示的是照片数字人生成视频时的提示信息。画面中有一个红色边框的提示框,内有红色感叹号图标,提示文字为“照片数字人仅支持生成小于一分钟的视频内容”。该图片与上下文紧密相关,上下文提到照片数字人仅支持小于1分钟的视频生成,需将音频拆分为1分钟以内的小片段来生成视频,此提示框直观地说明了这一限制条件,帮助用户明确照片数字人视频生成的时长上限。

  1. 注意这里是要把元峰的视频和安娜的视频分别生成,接着同样的步骤,我们再生成安娜的视频。

图片展示的是蝉境数字人平台界面,左侧为数字人库,有女性、男性、儿童、卡通等分类,当前选中“女性”分类,下方有多个数字人形象。中间是视频编辑界面,显示“Happy Mother's Day”字样的视频画面,下方是时间轴。右侧是AI配音界面,有“母全书_安娜_英维版.mp3”音频文件,下方有文本内容。该图片与上下文关系紧密,直观呈现了上传生成语音文件、调整数字人形象轨道和音频轨道等操作后的平台界面情况。

  1. 最终,这些视频都制作完成之后,下载视频即可。

图片展示的是蝉镜平台“我制作的视频”页面。左侧有视频模板、数字人像、热门文案等选项,当前选中“我的视频”。右侧展示了4个视频缩略图,分别是“母亲节的由来与深情记忆”“母亲节的起源与发展”“母亲节的深情回忆”“三大AI工具解放你的剪辑...”,每个缩略图下方有视频时长及生成时间。该图片与上下文介绍的视频制作流程相关,展示了已完成的视频作品。

图片展示的是一个视频生成界面,背景为蓝色渐变,左侧有白色花朵装饰。画面中是一位身着白色复古服饰、戴着帽子的女性。下方文字为“母亲节的深情回忆”,并有视频文案及生成时间等信息。右侧有“下载视频”“删除”“用此模板创建”三个操作按钮,其中“下载视频”按钮被红色框突出显示。该图片与上下文关系紧密,是视频生成操作流程中下载视频步骤的展示。

图片展示的是一个数字人视频制作完成后的界面。画面中是一个戴眼镜的男性数字人,下方有视频标题“母亲节的起源与发展”,以及视频文案等内容。右侧有“下载视频”“删除”“用此模板创建”三个操作按钮,其中“下载视频”按钮被红色框突出显示。该图片与上下文关系紧密,上下文提到视频制作完成后可下载,此图直观呈现了下载视频的操作位置。

制作视频消耗的时长也是按视频的秒数来计算的。

图片展示了AI数字人访谈类视频的时长明细。表格中包含类型、时间、时长三列。生成视频类型,时间为2024/06/04 17:23:18和17:22:07,时长分别为-25秒和-22秒;时长包类型,时间为2024/06/03 19:16:58,时长为+10分00秒。该图片与上下文介绍的视频制作相关,呈现了视频制作过程中各环节的时长情况。

先看看直接从蝉镜直接出来的成品。

安娜·贾维斯 | 蝉镜

元峰 | 蝉镜

这里有一个细节大家发现没有,我为什么制作声音的时候,要把他两的声音穿插开,就是为了元峰在讲话时,安娜聆听过程中要头也在动,眼睛也在眨,而不是禁止不动的,这样的目的就是为了我们的视频效果更加形象逼真。

视频剪辑:剪映

下面来到最终的视频剪辑环节,视频剪辑环节是制作高质量访谈视频的重要步骤。基础的使用我就不讲了,下面主要将罗列一些在剪映中需要注意的重要操作点。

文字置于人像下面

为了实现文字在数字人下方显示的效果,我们需要进行以下操作:

  1. 在剪映中创建两层人物视频层。
  2. 复制一层人物视频,使用智能扣像功能,将文字夹在底层和扣像层之间。
  3. 调整文字和图像的显示顺序,使人物在上,文字在下,从而达到预期效果。

图片展示了剪映软件界面中视频剪辑操作的场景。画面中人物视频被复制并使用智能扣像功能,文字夹在底层和扣像层之间。画面右上角有“智能扣像”选项,下方是人物视频素材列表。画面左下角显示视频剪辑时间轴,有“最底层”“中间层”“最上层”三个视频层,人物视频位于最上层。该图片与上下文紧密相关,直观呈现了视频剪辑中人物视频与文字的层次关系及智能扣像操作。

两个人物左右同框

图片展示了两个人物形象。左侧为一位戴眼镜的年轻男性,身着深色衬衫,背景模糊。右侧是一位身着白色复古服饰、戴着帽子的女性,背景为蓝色渐变色,有白色光斑装饰。图片中间有“元峰”“安娜·贾维斯(Anna Jarvis)”字样,下方英文为“the modern founder of Mother's Day Anna Jarvis”。该图片与上下文关系紧密,是为了解释在视频中实现两个人物左右同框效果的操作示例。

为了在视频中实现两个人物左右同框的效果,可以按照以下步骤操作:

  1. 将安娜的形象裁剪为 1:1 比例,放置在右侧,并放置在上层。
  2. 将元峰的形象向左移动,放置在下层。
  3. 使用蒙版工具中的线性蒙版效果,平滑过渡两个人物的边界。

图片展示了剪映软件界面,上方是视频编辑窗口,显示了元峰和安娜·贾维斯的视频片段,元峰位于左侧,安娜·贾维斯位于右侧。下方是时间轴,有多个视频片段和音频片段。画面中有一条红色箭头,从元峰指向安娜·贾维斯,突出显示了两人在视频中的位置关系。该图片与上文提到的“两个人物左右同框”效果制作步骤相关,直观呈现了人物在视频中的布局情况。

图片展示了剪映软件界面,用于实现两个人物左右同框效果的操作。画面中左侧是元峰的形象,右侧是安娜·贾维斯的形象,两者通过蒙版工具中的线性蒙版效果平滑过渡。画面右侧有“位置”“缩放”“旋转”等参数调节选项,下方是时间轴,显示了多个视频片段。该图片与上文提到的视频剪辑步骤相关,直观呈现了操作中关键的过渡效果部分。

中间的过渡效果则是用的蒙版->线性蒙版。

图片展示了剪映软件中两个人物左右同框的视频剪辑效果及操作界面。左侧是元峰的形象,右侧是安娜的形象,两者通过蒙版工具中的线性蒙版效果平滑过渡。右侧界面中,蒙版工具被红框突出显示,其下方有“形状”“位置”“缩放”“旋转”等参数调节选项,其中“形状”选项被红圈圈出。该图片与上文提到的视频剪辑步骤相关,直观呈现了操作效果及关键设置。

画中画素材

AI图片转视频 Haiper/Pikalab/Runway

为了丰富视频画面,可以添加一些画中画素材。这里推荐使用 AI 图片转视频工具,如 Haiper、Pikalab 或 Runway,因为使用方法都类似,下面我以 Haiper 举例。

Haiper 官网:https://haiper.ai/creations

图片展示的是Haiper官网界面,左侧有Explore、Spotlight、Creations等导航栏。右侧上方显示“1 image”,下方有“Upload Image”按钮,可上传图片。画面中部有两张图片,上方图片为人物,下方是带有“Happy”字样的粉色花朵背景图片。画面右下角有“Duration”选项,可选择时长,当前显示“4s”。该图片与文档中介绍Haiper官网及AI图片转视频功能的内容相关,展示了其上传图片和设置时长等操作界面。

为了避免画面过于单一,还可以增加一些特效或视频元素。

图片展示了剪映软件界面,用于说明在视频剪辑中添加画中画素材的操作。画面左侧是素材库,有多个视频缩略图,其中“视频1”被红色框和箭头突出显示。中间是视频预览窗口,显示视频画面。右侧是特效、转场、字幕等编辑选项。底部是时间轴,有多个视频片段。该图与上下文介绍的视频剪辑中增加特效或视频元素的内容相契合,直观呈现了添加画中画素材的操作界面。

免费素材网站:Pexels

如果还想多增加点视频元素,增强视频的画面感。可以在 Pexels https://www.pexels.com/ 这个网站下载免费视频素材,插入进去增强视频的画面感。

图片展示的是Pexels网站界面。上方有“Pexels”标志及搜索栏,下方文字介绍Pexels社区成员分享的精彩免费素材视频。画面背景为海浪冲击岩石的场景。下方有“视频”标签,以及人气免费素材视频展示区域,包含多张图片,如盛开的樱花、水中游动的锦鲤等。该图片与上下文紧密相关,上下文提到可通过Pexels下载免费视频素材,增强视频画面感,此图直观呈现了该网站的界面及素材类型。

https://www.pexels.com/

图片展示的是Pexels网站的“母亲节视频”页面。页面上方有网站名称及搜索栏,下方有“母亲节快乐”“母亲节贺卡”等分类标签。主体部分呈现多张视频缩略图,如母亲与孩子互动、婴儿等场景,每张缩略图下方有播放按钮。右上角有“热门视频”“热门图片”选项。该图片与文档中介绍在Pexels网站下载免费视频素材以增强视频画面感的内容相关,直观呈现了可选择的视频素材样式。

图片展示了在Pexels网站下载的免费视频素材画面。画面中包含多种场景,如小狗在沙发上休息、海边散步、室内人物互动、花束特写、日落剪影等。每个画面下方有数字序号标识,如“0553620_hd_1920_1080_25fps.mp4”等。这些画面可按文案内容选择,直接拖拽到剪映中使用,以增强视频画面感。

根据文案内容,选择合适的画面,直接拖拽到剪映中使用。

图片展示了剪映软件界面,用于AI数字人访谈类视频幕后制作。画面中显示了视频编辑界面,左侧有素材库,包含多种视频素材。中间是视频预览窗口,显示一位女性在海滩上,背景有海鸥和山脉,画面下方有中英文字幕。右侧是视频效果设置区域,有多种效果选项。底部是时间轴,展示了视频剪辑的层次结构。该图片与文档中介绍在Pexels网站下载免费视频素材,插入剪映中增强画面感的内容相关,直观呈现了视频编辑操作场景。

双语字幕

因为我们视频都使用的是英文语言,为了让观众方便阅读,需要添加中英文双语字幕,具体操作如下:

  1. 切换到剪映的字幕标签,选择自动匹配源语言为英文。
  2. 设置目标语言为中文,自动生成中英文两条字幕轨道。
  3. 分别选择字幕的颜色、字体和样式。
  4. 注意检查和修改自动翻译的中文字幕,以确保翻译质量。

但注意的是,剪映自动翻译的中文质量并不高,需要我们自己再手动进行调整和修改。

图片展示了剪映软件界面,用于制作访谈式数字人视频。画面左侧为字幕设置区域,有“新建字幕”“自动翻译”“数字人字幕”等选项,其中“数字人字幕”被红色框突出显示。右侧是视频预览窗口,显示一个男性数字人形象,背景有心形图案和“Mother's Day”字样。底部是时间轴,有不同颜色的字幕条。该图片与文档中介绍制作访谈式数字人视频的步骤相关,展示了字幕设置这一环节的操作界面。

图片展示了剪映软件界面中字幕编辑部分。画面左侧是视频画面,显示“母亲节”字样及相关内容。右侧是字幕编辑区域,上方有“文本”“动画”“脚本”“前视”“数字人”选项卡,当前选中“文本”。下方列出多条字幕内容,如“今天是五月的第二个星期日”等,部分字幕有红色箭头指向。该图片与上下文紧密相关,直观呈现了剪映软件中字幕编辑的操作界面及部分字幕内容,辅助说明字幕编辑操作步骤。

剩下的步骤就是重复以上操作,进行精细化的剪辑,确保视频的每一个细节都达到预期效果。

ok,以上就是如何制作访谈式数字人的整个过程了。祝大家都能做出满意的作品!

这种利用AI技术制作的访谈式视频,不仅技术含量高,而且能够吸引大量观众,特别是那些对历史和名人文化感兴趣的用户群体。通过精心的内容制作和有效的营销策略,你也能实现良好的市场表现和收益回报。

商单

做这样的视频能不能赚米呢?别怀疑,这绝对是可以的!视频变现,尤其是接广告单子,那可是赚钱的王道!最近通过破局的伙伴牵线搭桥,帮我接了个超有创意的广告项目。

对方他们正准备庆祝一个重要的里程碑——20周年庆典。他们想要的不仅仅是庆祝,而是要让庆典变得难忘。所以,他们计划在庆典上搞个特殊的节目:用 AI 数字人作为神秘嘉宾,不仅上台给大家送上最真挚的祝福,还要献上一首动听的歌曲,让整个庆典气氛爆棚!

这不仅仅是一个广告,这是一次创新的尝试,一次技术的展示,更是一次情感的交流。拭目以待,看看这个 AI 数字人如何在他们的庆典上大放异彩,为观众留下难忘的记忆!

图片为一段聊天记录截图,显示了关于AI数字人视频制作的收费及内容确认情况。客户询问能否做图片开口讲话类型,收费按分钟计算,形象费约1000元,讲话+唱歌3分钟费用为3000元。客户还提到歌曲时长2分钟,讲话1 - 30分钟。最后客户发送了名为“ccdc 5.mp3”的文件,询问音乐及讲话声音要求。此聊天记录与上下文介绍的AI数字人视频制作流程相关,是具体费用及内容确认的体现。

整体视频制作使用的步骤,流程和前面展示的步骤类似,但是具体细节方面会有所不同。目前片子还在做,所以就先不在这里展示了。

图片展示了一位女性,背景为浅蓝色渐变。她身着浅绿色Polo衫,搭配蓝色牛仔裤,双手插兜,姿态自然。她的头发为黑色,披肩而下,佩戴着耳环和项链。这张图片可能用于展示人物形象,与上下文提到的AI数字人作为神秘嘉宾的场景相契合,为视频中数字人角色的呈现提供参考。

图片展示了一位女性,她身着浅绿色Polo衫,胸前有黄色标志,搭配蓝色牛仔裤,脖子上戴着金色项链和耳环。她的头发为黑色,自然垂落,背景为浅蓝色。此图位于介绍AI数字人访谈类视频幕后制作的文档中,可能是用于展示视频中AI数字人嘉宾的形象,与上下文提到的AI数字人作为神秘嘉宾上台祝福、献歌等内容相呼应。

图片展示了一位身着浅绿色Polo衫和蓝色长裤的女性,她手持麦克风,站在绿色背景前。Polo衫左胸处有黄色星星图案,搭配白色运动鞋。此图位于介绍AI数字人访谈类视频幕后制作的文档中,可能是视频中AI数字人角色的呈现,与上下文提到的AI数字人作为神秘嘉宾、送上祝福和献歌等内容相呼应,直观呈现了角色形象。

图片展示的是Walmart中国供应链成都DC的宣传画面。画面背景为蓝色,左侧有Walmart中国Supply Chain的标志。画面右侧是一位女性,她身着白色上衣,搭配蓝色牛仔裤,佩戴耳环,面带微笑。画面中央有“成都DC之光”大字,下方是“CHENGDU DC”字样。画面左侧有“心更近 行更远”的文字。该图片与上下文介绍的Walmart中国供应链成都DC相关,可能是其宣传或活动的一部分。

结语

以上,这篇文章带我们领略了访谈式数字人视频制作的精髓,原来,这不仅仅是个技术活儿,还得跟GPT-4、DALL·E 3、Midjourney、ElevenLabs和剪映这些AI工具打好配合,才能让视频看起来听上去都像模像样。这跨领域的技术融合,不仅让我们见识了AI的多才多艺,也让我们明白,要搞出这样的作品,综合技术功底得扎实一些。

制作视频这事儿,可不简单,得搞定 P 图、声音克隆、编辑剪辑这些环节。每项技术都得吃得透,原理得搞明白。只有把这些工具用得得心应手,才能把创作过程控制得稳稳的,做出让人眼前一亮的高质量作品。

我们写这篇文章,就是想帮大家入门数字人视频制作,同时,也希望激发更多创作者的想象力,去探索 AI 和创意碰撞出的火花。随着 AI 技术不断进步,它在艺术和媒体领域的应用会越玩越花,未来的创作会更加丰富多彩。希望能对大家有启发,开启数字人视频制作之路,搞出更多让人心动的作品。

图片是一幅卡通插画,画面中有一个穿着白色T恤、蓝色牛仔裤的小女孩,扎着双丸子头,面带微笑,右手竖起大拇指,左手拿着一张钞票。上方有文字“今天你若动手点赞,明日必将暴富百万!”。这幅图位于文档结尾处,是对全文的鼓励与总结,意在激发读者动手点赞,以期未来获得成功,与文档中介绍AI数字人视频幕后制作的内容相呼应,起到鼓励创作的作用。

如果对你有用,欢迎为元峰点个赞👍。