元峰AI笔记 · AI数字人

一、前采

<titleAI 数字人播客</title

AI 数字人播客

一、前采

主持人和嘉宾提前5分钟进聊天室,互相沟通

二、开场(5分钟)

1.主持人介绍本期主题:AI与数字人

2.介绍嘉宾:

真诚的友谊,来自不断的自我介绍~

【昵称】元峰

【城市】甘肃兰州

【自我介绍】

1.AI创业者 

2.AI数字人元峰,视频号主理人

3.AI 破局(一个4万人的付费AI社群)数字人行动营教练

4.擅长使用AI,从 去年2月份开始持续分享AI 玩法,累计写了100多万字

5.《AI超级个体:AIGC实践指南》实体书撰稿人之一

这里说一下,我呢也不是专业AI出生的,只是接触的早,所聊的内容都是自己的一些经验之谈,如果过程中有一些不认同的或者聊的不合适的,欢迎节目结束之后我们深入交流下哈。

三、数字人介绍(10分钟)

什么是数字人?

数字人是一种基于人工智能(AI)技术的工具,主要用于短视频中替代真人出镜,特别专注于强口播类型的短视频。数字人通过形象克隆、声音克隆和多语言配音等技术,能够以极高的逼真度再现真人的形象和声音,为短视频创作提供了新的可能性和更高的效率。

目前来讲会有几个形式:

  1. 真人克隆,像刘润,刘强东,张琪
  2. 照片说话,AI.Talk,赵大师兄账号
  3. 3D建模,就是采用动态捕捉的形式,把人物的面部特征识别出来,然后进行3D建模。
  4. 后期视觉特效(VFX),采用的就是实拍的方式加上专业的影视后期VFX的方式,把真人角色的头部,换为CG角色,制作成本是非常高的。柳夜熙,

后期视觉特效(VFX)是电影和电视制作中一个关键的阶段,负责将实拍素材与电脑生成的图像、特效、音效等元素整合在一起,创造出最终的成品。以下是VFX后期制作的一些主要步骤和过程:

1. 建模和资产创建

3D建模是将概念艺术转化为数字对象的过程。这些模型包括角色、道具、建筑物、车辆等,它们帮助导演实现视觉效果。建模团队使用各种数字应用程序和动画技术,通常参考大量照片和3D扫描数据。

2. 绑定和动画

绑定(Rigging)涉及为3D模型创建骨骼系统,使动画师能够控制和动画化这些对象。动画师利用这些绑定系统和动作捕捉数据,使角色和对象的运动逼真自然。

3. 特效和模拟

特效团队负责添加模拟元素,如爆炸、火焰、烟雾和液体,以增强影片的视觉效果。这些特效需要与其他视觉元素自然融合,通常与动画师密切合作,确保动作和碰撞效果的真实性。

4. 纹理和着色

纹理和着色过程为3D模型添加表面颜色和纹理,使其看起来更真实。例如,为金属对象添加金属光泽,为人类角色添加皮肤细节。

5. 照明和渲染

照明艺术家为3D场景添加虚拟照明,确保光影效果与实际拍摄场景一致。渲染是将所有视觉元素转换为最终图像的过程,这一步骤非常重要,因为它决定了最终效果的质量。

6. 抠像和合成

抠像(Rotoscoping)和合成(Compositing)是将不同来源的视觉元素结合在一起,使其看起来像是在同一场景中。抠像涉及手动或自动地从原始影片中切出对象或角色,而合成则是将这些元素与实际拍摄的镜头层叠在一起。 VFX后期制作是一个复杂且时间密集的过程,需要团队的高度协作和多种技术的应用。这个过程通常需要数月甚至数年才能完成。 如果你想了解更多关于VFX后期制作的详细信息,可以参考以下资源:

数字人的作用?

我们可以通过短视频数字人、直播数字人和互动数字人这三个方式来具体介绍数字人的作用。

短视频数字人

- 内容创作: 短视频数字人可以创建高质量的内容,无需真人出镜,从而降低制作成本。通过先进的动画技术和自然语言处理,数字人可以生动地传递信息和故事。

- 品牌代言: 数字人可以作为品牌代言人,参与广告拍摄和宣传活动,帮助品牌在社交媒体上获得更多关注和互动。

- 老师做课: 使用数字人可以快速便捷的做出知识付费产品。

直播数字人

距离刘强东,包贝尔

- 实时互动: 直播数字人可以与观众进行实时互动,回答观众的问题,进行产品展示和讲解,增强观众的参与感和体验感。

- 全天候直播: 数字人可以24/7进行直播,无需休息,从而保持持续的在线存在,吸引更多的观众和粉丝。

- 多语言支持: 通过多语言处理技术,直播数字人可以进行多语言直播,覆盖更广泛的受众群体,提升全球影响力。

互动数字人

- 客户服务: 互动数字人可以作为客服代表,处理用户的咨询和问题,提供即时的帮助和支持,提高客户满意度和忠诚度。

- 教育培训: 数字人可以作为虚拟导师,进行个性化的教育培训,解答学生的疑问,提供实时反馈,提升学习效果。

- 心理咨询: 互动数字人可以作为心理咨询师,进行情感支持和心理疏导,帮助用户缓解压力和焦虑,提升心理健康水平。

通过短视频、直播和互动这三种方式,数字人展现了其广泛的应用价值和巨大的发展潜力,能够在多个领域中发挥重要作用。

四、数字人发展历程是什么?

图片展示了虚拟数字人的三个发展阶段。萌芽阶段(1980 - 1999)以手绘虚拟人物形象为代表,游戏动漫产业快速发展,靠数字专辑等商业化;探索阶段(2000 - 2014)以电影《指环王》咕噜等为代表,电影产业发展,以CG等技术为核心,通过电影角色替身等商业化;初期阶段(2015至今)以短视频和直播虚拟主播为代表,新兴产业兴起,动捕及人工智能等技术发展,通过代言等商业化,服务型虚拟人进入市场。

数字人的发展过程

根据图中显示,数字人的发展过程可以分为三个阶段:萌芽阶段(1980-1999)、探索阶段(2000-2014)、初期阶段(2015至今)。

萌芽阶段(1980-1999)

代表虚拟人:

  • 以手绘为核心的虚拟人物形象。

发展特点:

  • 产业发展: 游戏动漫等产业快速发展。
  • 技术发展: 以手绘为核心的技术。
  • 商业模式: 通过数字专辑、广告等方式实现商业化。

时代背景:

  • 80年代日本宅文化兴起,游戏动漫产业发展,角色形象深入人心。

探索阶段(2000-2014)

代表虚拟人:

  • 电影《指环王》中由CG技术和动捕技术创建的咕噜等角色。

发展特点:

  • 产业发展: 电影产业逐步发展。
  • 技术发展: 以CG技术、动捕及语音合成技术为核心。
  • 商业模式: 通过电影角色替身、数字专辑等方式实现商业化。

时代背景:

  • CG技术、动作捕捉技术、语音合成技术的发展日益成熟。

初期阶段(2015至今)

代表虚拟人:

  • 短视频和直播中的虚拟主播及形象,如罗布特、洛天依等。

发展特点:

  • 产业发展: 短视频、直播新兴产业兴起。
  • 技术发展: 以动捕技术及人工智能技术为核心,实时渲染技术快速发展。
  • 商业模式: 通过代言、直播、带货等方式实现,服务型虚拟人开始进入市场。

时代背景:

  • 大数据和人工智能技术发展相对成熟,短视频、直播等社媒兴起。

通过这三个阶段,数字人技术不断发展,从最初的手绘虚拟形象,到电影中的CG角色,再到如今的实时互动虚拟人,展现了技术和应用的不断进步与创新。

五、技术实现与挑战

数字人的技术实现方式有哪些?

根据前面的形式来决定。

  • 真人克隆
  • 互动
  • 直播
  • 图片说话

数字人面临的主要技术挑战是什么?如何实现?

唇形匹配,声音克隆。

主要技术挑战包括:

  • 自然语言理解的精确度: 需要持续改进NLP技术以提高对话的准确性。
  • 情感表达的自然性: 通过高级的面部动画和情感计算技术来实现更自然的情感表达。
  • 实时响应的高效性: 通过优化算法和硬件加速来确保实时的交互响应。

六、数字人的应用与影响 (10分钟)

1.数字人有哪些实际应用领域?

实际应用领域包括:

  • 客户服务: 提供24/7的在线支持和服务。
  • 教育培训: 个性化教学助手和虚拟导师。
  • 娱乐: 虚拟偶像、游戏角色和电影制作。
  • 健康护理: 提供心理咨询和健康监测。
  • 数字永生:情感陪伴,情感疗愈。包小柏,复活了他的女儿
  • 旅游商业:复刻历史名人,柳宗元,周敦颐

2.企业和个人应用数字人中从哪些方面入手

个人

对于个人还是做数字人短视频,打造个人IP。

做数字人卖货,外国人讲中文,心理教育,思维账号带货等等。

企业

对于企业,数字人矩阵,每个员工配备一个数字人来发短视频,市场部就可以制作,员工只需要在自己号发布即可。

露脸其实是为了增加信任感,对于很多销售其实不愿意露脸拍视频的,但是有数字人就不怕了。

可以自由,随时随地就可以。

互动数字人可以做客服,在线下展厅,或者线上官网

直播卖货,刘强东。

企业家开会,传达一些会议精神。

新员工培训等待

数字人的未来可能有哪些技术突破与应用场景?

更加智能化,更加聪明,AI含量更高。情绪表达,感知人们的预期。举例GPT4o。

未来可能的技术突破包括:

  • 更高级的情感计算: 使数字人具备更加细腻的情感表达。
  • 全息投影技术: 实现更加逼真的三维交互体验。
  • 多模态交互: 结合语音、视觉、触觉等多种感官的综合交互。

4.有没有什么风险,如何规避和化解?

肖像权,声音侵权,OpenAI和寡姐

风险包括数据隐私和安全问题。可以通过:

  • 数据加密: 保护用户数据安全。
  • 透明度和合规性: 确保技术使用符合相关法规和标准。
  • 用户教育: 提高用户对技术风险的认知和防范能力。

数字人对社会有哪些潜在影响与未来发展方向?

潜在影响包括:

  • 劳动力市场变化: 部分岗位可能被数字人取代,但也会创造新的就业机会。
  • 社会互动方式变化: 数字人可能改变人们的沟通和互动方式。

未来发展方向:

  • 广泛应用普及: 数字人技术将越来越多地渗透到各个行业和生活场景。
  • 技术融合创新: 数字人将与其他新兴技术(如物联网、区块链)融合,创造新的应用模式。

元宇宙中有虚拟人,APP Vision Pro,VR(头号玩家)

七、观众提问回答

八、结束语

嘉宾和主持人总结