大家好,我是元峰。累计获得 22 颗 AI 之心。好久没发帖了,今天来一篇访谈数字人的制作教程。
AI 技术的介入,为视频制作带来了革命性的变化。通过 AI 绘画、声音克隆和视频剪辑,我们可以快速、低成本地制作出逼真的访谈视频。这种技术的应用,不仅大大提高了视频制作的效率,还为视频内容的创新提供了更多可能性。
AI 视频制作的优势在于其高度的可定制性和效率。无论是形象设计还是声音合成,我们都可以使用 AI 来实现自定义,满足不同用户的需求。同时,AI 技术的运用大幅降低了人力和时间成本,解决了传统视频制作中的痛点。
今天我们要介绍的就是这种访谈式的数字人对话视频,内容非常有意思,数据也非常不错。下面我们就解密一下,这类视频是如何制作呢?
访谈AI数字人案例
AI.Talk

AI.Talk
赵大师兄

赵大师兄
和小时候的自己对话是什么体验?元峰在今年春节期间便利用数字人制作了一个和小时候元峰对谈的视频。和小时候的自己聊了聊,那时候是怎么过年的?和现在有什么区别?
《酒中美学 AI对谈》
1 月份,水井坊与央视一套联合出品的《酒中美学 AI对谈》跨越时空的美学对谈系列节目。作为打头阵,中央广播电视总台主持人,同时有着“段子手”之称的朱广权与诗仙李白展开了一场美学对话,探寻从古至今无处不在的美学,双方妙语连珠,思想的火花精彩碰撞。

视频:酒中美学 AI对谈来源:央视频
无论真实拍摄的照片,还是使用 Midjourney 等 AI 绘画工具画的都可以,仅仅一张照片,使用 蝉镜 这样的数字人平台即可实现人物开口讲话。
作家、美食爱好者沈宏非将对话 AI 数字人苏轼,一起探讨美食中蕴藏的人间情感;中国文物学会会长、故宫博物院学术委员会主任单雯翔将对话王阳明,解析工匠精神在保持初心、追求极致、知行合一中为我们留下来最美的宝藏,也让流传千年的美酒依然陪伴着我们现在的美好生活。

核心步骤拆解
制作一个访谈式数字人视频,大致可以分为以下几个步骤:
形象设计
我们需要设计出视频中的数字人形象。这可以通过使用 AI 绘画工具来完成。例如,DAll·E 3 可以根据我们提供的描述生成图像,拿到提示词,而 Midjourney 则可以在此提示词基础上进一步优化,生成更加精美和符合需求的图像。
声音克隆
我们还需要为视频中的数字人角色匹配声音。这可以通过使用声音克隆工具,如 Elevenlabs 来完成。我们可以录制一段参考音频,然后让 Elevenlabs 学习并模仿这段音频的声音特征,从而生成逼真的声音。
数字人开口讲话
有了形象和声音后,我们需要使用 蝉镜 这个数字人软件实现的形象和声音合成为最终的视频。这可以通过使用 蝉镜 等工具来完成。蝉镜 可以将 AI 生成的形象和声音完美地融合在一起,生成逼真的访谈视频。
视频剪辑
最后,我们就可以开始视频的剪辑工作了。使用剪映等视频剪辑软件,我们可以对视频进行后期处理,包括添加字幕、特效、转场等,使视频更加专业和吸引人。
感恩母亲节 | 安娜·贾维斯
母亲节是一个特别的日子,而通过 AI 数字人制作的访谈式视频更能增添这一节日的趣味和教育意义。接下来的文章中,我将为大家详细介绍如何利用数字人制作高质量的虚拟访谈视频,从形象绘制、声音克隆到视频剪辑的每一步骤都将详细拆解。希望能够帮助大家了解和掌握这种新兴的内容创作方式,让大家可以轻松上手,创作出有趣且富有价值的内容。
文案生成:GPT-4
- 输入对话背景和主题,向 GPT-4 提供必要的情景描述和角色信息。
- GPT-4 根据输入的信息生成详细的对话文案。
- 根据实际内容进行调整优化。
下面是我制作对话内容的生成过程参考。

https://chatgpt.com/c/5b23f683-fa6c-4280-8437-96066577fd79
今天是5月的第二个星期日,是我们伟大的母亲节,起源于古代希腊和罗马的庆祝活动,现代母亲节的概念则起源于美国。最初的倡导者之一是安娜·贾维斯(Anna Jarvis),她于20世纪初发起运动,倡导设立一个特别的日子来纪念母亲的贡献。 元峰:今天我们有幸邀请到现代母亲节的创始人安娜·贾维斯。安娜,感谢你来接受采访。是什么促使你创立了母亲节这个特别的节日呢? 安娜·贾维斯:谢谢你,元峰。母亲节源自对我母亲的深切怀念和尊重。她曾提倡“母亲友谊日”,希望通过它加强家庭纽带、增进社会和谐。她的逝世让我意识到,我们需要一个日子,来纪念那些像她一样无私奉献的母亲。 元峰:无私奉献是母亲节的核心精神。你怎么看待这种奉献,它对当今社会有什么意义? 安娜·贾维斯:母亲是家庭的基石,她们的付出经常被当作理所当然。母亲节就是为了提醒我们,这样的无私奉献需要被认可和尊重。母亲不仅是生命的创造者,更是家庭和社会的价值观传承者。即使在当今快速变化的社会中,我们仍要铭记母亲的付出和牺牲。 元峰:你在推行母亲节的过程中遇到过哪些挑战?社会是如何接受这个节日的? 安娜·贾维斯:每个新想法都会遇到阻力。一开始,人们对专门为母亲设立一个日子持怀疑态度。但渐渐地,他们明白了这个节日的意义,它不仅是为了某位母亲庆祝,更是对所有母亲的尊重和肯定。 元峰:最后,你希望通过母亲节,人们能学到什么? 安娜·贾维斯:我希望通过母亲节,人们不仅仅庆祝,还能看到母亲背后的故事、她们的牺牲与爱。这是一个反思和感恩的机会,让我们认识到母亲在家庭和社会中的重要性。庆祝母亲节不仅仅是表达爱,而是学习尊重、感激和理解。 元峰:感谢你的分享,安娜。希望每一位母亲都能感受到这份尊重与爱。
翻译为英文版本
Today is the second Sunday of May, a special day—Mother's Day. The origins of this holiday can be traced back to the celebrations of ancient Greece and Rome, but the modern concept of Mother's Day originated in the United States. One of its earliest advocates was Anna Jarvis, who, in the early 20th century, initiated a movement calling for a day dedicated to honoring and recognizing the immense contributions of mothers. Metafeng1: Today, we're fortunate to have the modern founder of Mother's Day, Anna Jarvis. Anna, thank you for joining us. What inspired you to establish Mother's Day as this special holiday? Anna Jarvis1: Thank you, Metafeng. Mother's Day is rooted in my deep respect and remembrance of my mother. She once advocated for a "Mothers' Friendship Day" to strengthen family bonds and promote social harmony. Her passing made me realize that we need a special day to honor mothers who selflessly give so much like she did. Metafeng2: Selfless devotion is the core spirit of Mother's Day. How do you see this devotion, and what significance does it hold for today's society? Anna Jarvis2: Mothers are the foundation of the family, but their contributions are often taken for granted. Mother's Day serves as a reminder that their devotion deserves recognition and respect. Mothers are not just life-givers but also the bearers of family and societal values. Even in today's fast-paced world, we need to remember their sacrifices and dedication. Metafeng3: What challenges did you face while promoting Mother's Day? How did society come to accept this holiday? Anna Jarvis3: Every new idea faces resistance. At first, people were skeptical about dedicating a day just to mothers. But over time, they understood the importance of this holiday, which isn't just about celebrating an individual mother but showing respect and recognition to all mothers. Metafeng4: Lastly, what do you hope people will learn from Mother's Day? Anna Jarvis4: I hope that through Mother's Day, people will not just celebrate but also recognize the stories behind each mother, their sacrifices, and love. It's an opportunity for reflection and gratitude, helping us understand the indispensable role mothers play in families and society. Celebrating Mother's Day isn't just about showing love but also learning respect, gratitude, and understanding. Metafeng5: Thank you for your insights, Anna. We hope every mother feels this respect and love.
声音克隆:Elevenlabs
要让数字人说话,我们需要使用声音克隆技术。这里我们选择 ElevenLabs 进行操作:
在这里,我的声音是通过提供自己录制的一段声音样本克隆而成,安娜·贾维斯的声音则是选择了 ElevenLabs 中现有的声音库中比较专业的一个声音直接生成的。
声音克隆
进入到 VoiceLab 标签,选择克隆声音。
我自己的声音是直接用的声音克隆功能,安娜的是找了一个现成的声音进行制作的。

录制自己的声音样本时,要确保音质清晰,没有背景噪音。

对于历史人物,可以从现有的录音中选取合适的声音样本。

TTS | 语音合成
接下来,输入对话文本,选择声音样本,生成语音文件。

把元峰和安娜说的每一句都合成之后下载到本地备用。

制作最终对谈音频
因为是要制作对谈的感觉,所以把元峰和安娜讲话的内容分别各自的轨道中,方便后面分别导出。

分别导出只有元峰讲话的声音和安娜讲话的声音。
ok,到这一步,声音就准备完成了。
形象:DAll·E 3/Midjourney/Remini/PS AI
首先,我们需要生成安娜·贾维斯的虚拟形象。具体步骤如下:
- 在 DALL·E 3 中输入安娜·贾维斯的特征描述,生成初步的图像。DALL·E 3 擅长根据文字提示词生成逼真的图像,适合作为初步草图。


- 将提示词复制到 Midjourney,生成更加细腻和逼真的图像。Midjourney 的图像质量更高,细节处理更加精致。通过反复调整提示词和参数,我们可以得到一个符合预期的高质量图像。
A portrait of a woman representing Anna Jarvis, embodying the noble and maternal spirit associated with Mother's Day. The setting is early 20th century America. The woman has a kind, gentle face with soft eyes and is wearing a period-appropriate high-collar blouse and a hat typical of the era. She is surrounded by symbols of Mother's Day, such as white carnations, which are her symbol for the holiday, and a soft, warm background that suggests a feeling of love and appreciation. The overall atmosphere is warm and respectful, celebrating her contributions to Mother's Day. --ar 16:9 --v 6.0 --style raw

我们发现第二张不错,给它下载下来。但是这张图背景太复杂了,不适合扣像。

所以重新换提示词,继续抽卡,找到一张背景比较干净的,适合扣像的图。
A portrait of a woman representing Anna Jarvis, embodying the noble and maternal spirit associated with Mother's Day. The setting is early 20th century America. The woman has a kind, gentle face with soft eyes and is wearing a period-appropriate high-collar blouse and a hat typical of the era. he background is warm and simple, evoking a clean and comforting atmosphere. --ar 16:9 --v 6.0 --style raw

但是这个背景太单调了,所以用 Midjourney 画一些符合母亲节主题的壁纸,然后把安娜的形象抠出来拼接在一起。
GPTs:MJ提示词生成器
https://chatgpt.com/g/g-HfxocZYkF-mj-ti-shi-ci-sheng-cheng-qi

A special Mother's Day greeting, the phrase "Happy Mother's Day" centered on a serene blue to cream gradient, creating a calm and inviting atmosphere, perfect for a wallpaper, Photography, DSLR camera with a soft-focus lens, --ar 16:9 --v 6.0 --style raw

然后使用 PS AI 把安娜的头像快速扣出来,和背景融合在一起。
Ps AI 使用可以看下这份文档:


今天这个视频中,我自己的形象是用 Remini 这个写真软件做的,比起自己通过 Midjourney 画,要节约很多时间。



然后利用 PS AI 进行扩展为 16:9 的横图

到这里之后,元峰和安娜的形象图也都准备好了。



数字人图片开口讲话:蝉镜数字人
前面的准备工作都做好之后,为了让元峰和安娜·贾维斯的虚拟形象能够开口讲话,下面我们使用蝉镜数字人来制作数字人讲话视频。
蝉镜数字人官网:https://www.chanjing.cc
福利活动:元峰为了让更多小伙伴都能体验到数字人的快乐,特此争取到了 10 分钟免费使用时长的福利,点击此链接即可领取。可以制作照片说话数字人,也可以克隆自己的真人形象。早就是优势,先到先得!

- 选择照片数字人

- 上传制作好的虚拟形象图片到蝉镜
注意上传的图片要五官清晰,正面为佳。


- 上传生成的语音文件

- 调整好数字人形象轨道和音频轨道

提交之后,等待视频制作完成。
但这里有个小的注意点,照片数字人仅仅支持小于1分钟的视频生成,所以,需要把我们的音频拆分为几段 1 分钟以内的小片段来生成视频,然后再拼接。

- 注意这里是要把元峰的视频和安娜的视频分别生成,接着同样的步骤,我们再生成安娜的视频。

- 最终,这些视频都制作完成之后,下载视频即可。



制作视频消耗的时长也是按视频的秒数来计算的。

先看看直接从蝉镜直接出来的成品。
安娜·贾维斯 | 蝉镜
元峰 | 蝉镜
这里有一个细节大家发现没有,我为什么制作声音的时候,要把他两的声音穿插开,就是为了元峰在讲话时,安娜聆听过程中要头也在动,眼睛也在眨,而不是禁止不动的,这样的目的就是为了我们的视频效果更加形象逼真。
视频剪辑:剪映
下面来到最终的视频剪辑环节,视频剪辑环节是制作高质量访谈视频的重要步骤。基础的使用我就不讲了,下面主要将罗列一些在剪映中需要注意的重要操作点。
文字置于人像下面
为了实现文字在数字人下方显示的效果,我们需要进行以下操作:
- 在剪映中创建两层人物视频层。
- 复制一层人物视频,使用智能扣像功能,将文字夹在底层和扣像层之间。
- 调整文字和图像的显示顺序,使人物在上,文字在下,从而达到预期效果。

两个人物左右同框

为了在视频中实现两个人物左右同框的效果,可以按照以下步骤操作:
- 将安娜的形象裁剪为 1:1 比例,放置在右侧,并放置在上层。
- 将元峰的形象向左移动,放置在下层。
- 使用蒙版工具中的线性蒙版效果,平滑过渡两个人物的边界。


中间的过渡效果则是用的蒙版->线性蒙版。

画中画素材
AI图片转视频 Haiper/Pikalab/Runway
为了丰富视频画面,可以添加一些画中画素材。这里推荐使用 AI 图片转视频工具,如 Haiper、Pikalab 或 Runway,因为使用方法都类似,下面我以 Haiper 举例。
Haiper 官网:https://haiper.ai/creations

为了避免画面过于单一,还可以增加一些特效或视频元素。

免费素材网站:Pexels
如果还想多增加点视频元素,增强视频的画面感。可以在 Pexels https://www.pexels.com/ 这个网站下载免费视频素材,插入进去增强视频的画面感。



根据文案内容,选择合适的画面,直接拖拽到剪映中使用。

双语字幕
因为我们视频都使用的是英文语言,为了让观众方便阅读,需要添加中英文双语字幕,具体操作如下:
- 切换到剪映的字幕标签,选择自动匹配源语言为英文。
- 设置目标语言为中文,自动生成中英文两条字幕轨道。
- 分别选择字幕的颜色、字体和样式。
- 注意检查和修改自动翻译的中文字幕,以确保翻译质量。
但注意的是,剪映自动翻译的中文质量并不高,需要我们自己再手动进行调整和修改。


剩下的步骤就是重复以上操作,进行精细化的剪辑,确保视频的每一个细节都达到预期效果。
ok,以上就是如何制作访谈式数字人的整个过程了。祝大家都能做出满意的作品!
这种利用AI技术制作的访谈式视频,不仅技术含量高,而且能够吸引大量观众,特别是那些对历史和名人文化感兴趣的用户群体。通过精心的内容制作和有效的营销策略,你也能实现良好的市场表现和收益回报。
商单
做这样的视频能不能赚米呢?别怀疑,这绝对是可以的!视频变现,尤其是接广告单子,那可是赚钱的王道!最近通过破局的伙伴牵线搭桥,帮我接了个超有创意的广告项目。
对方他们正准备庆祝一个重要的里程碑——20周年庆典。他们想要的不仅仅是庆祝,而是要让庆典变得难忘。所以,他们计划在庆典上搞个特殊的节目:用 AI 数字人作为神秘嘉宾,不仅上台给大家送上最真挚的祝福,还要献上一首动听的歌曲,让整个庆典气氛爆棚!
这不仅仅是一个广告,这是一次创新的尝试,一次技术的展示,更是一次情感的交流。拭目以待,看看这个 AI 数字人如何在他们的庆典上大放异彩,为观众留下难忘的记忆!

整体视频制作使用的步骤,流程和前面展示的步骤类似,但是具体细节方面会有所不同。目前片子还在做,所以就先不在这里展示了。




结语
以上,这篇文章带我们领略了访谈式数字人视频制作的精髓,原来,这不仅仅是个技术活儿,还得跟GPT-4、DALL·E 3、Midjourney、ElevenLabs和剪映这些AI工具打好配合,才能让视频看起来听上去都像模像样。这跨领域的技术融合,不仅让我们见识了AI的多才多艺,也让我们明白,要搞出这样的作品,综合技术功底得扎实一些。
制作视频这事儿,可不简单,得搞定 P 图、声音克隆、编辑剪辑这些环节。每项技术都得吃得透,原理得搞明白。只有把这些工具用得得心应手,才能把创作过程控制得稳稳的,做出让人眼前一亮的高质量作品。
我们写这篇文章,就是想帮大家入门数字人视频制作,同时,也希望激发更多创作者的想象力,去探索 AI 和创意碰撞出的火花。随着 AI 技术不断进步,它在艺术和媒体领域的应用会越玩越花,未来的创作会更加丰富多彩。希望能对大家有启发,开启数字人视频制作之路,搞出更多让人心动的作品。

如果对你有用,欢迎为元峰点个赞👍。