元峰AI笔记 · AI大模型

家人们,谁懂呀,可以让ChatGPT输出视频了!

思想的火花在交流碰撞中激发出灵感。就在昨晚的群聊中,一个新的想法突然闪现。现在,ChatGPT显示图片有人实现了,语音输出有人实现了,但是是否可以让它实现视频播放呢?强总当时说把图片和视频放入训练文档,让其输出时,这个问题突然在我的脑海中浮现。

家人们,谁懂呀,可以让ChatGPT输出视频了!

思想的火花在交流碰撞中激发出灵感。就在昨晚的群聊中,一个新的想法突然闪现。现在,ChatGPT显示图片有人实现了,语音输出有人实现了,但是是否可以让它实现视频播放呢?强总当时说把图片和视频放入训练文档,让其输出时,这个问题突然在我的脑海中浮现。

图片展示的是一个群聊界面,群名为“Prompt兼职工程师预选群(23)”。群内成员讨论关于ChatGPT的功能实现,如徐鹏提出从技术上把圈和视频搞到训练里,王强建议直接每句后面输出跳转公众号链接,Levia认为可上传图片到图床让其显示。群内还提到B站视频助手场景,即B站博主发布视频后,粉丝需逐一寻找,群成员讨论图文结合效果更好,可研究将图展示给客户。图片与上下文紧密相关,呈现了群内关于ChatGPT功能讨论的场景。

我坚信这是可能的!因为在我看来,没有ChatGPT无法完成的任务。

言归正传,我迅速行动起来进行测试,第一个想到的就是B站视频。

假设场景:B站视频助手

这里先假设一个场景,我是B站博主,已经发布了很多视频,但是粉丝要一个个去寻找是不是很麻烦。我们完全可以做一个智能助手,用户只需要输入想要的主题,就能给出对应的视频。类似于下面这种效果:

图片展示了元峰的B站助手与用户对话的界面。助手询问用户有什么问题,可提供关于ZelinAI、ChatGPT等大模型的视频链接。接着,助手分别列出关于ZelinAI和ChatGPT的视频,显示视频时长、观看次数等信息,并提供观看更多视频的链接。该图片与上下文紧密相关,直观呈现了假设场景中B站视频助手的功能效果,即用户只需输入主题,助手即可给出对应视频,帮助用户便捷获取相关内容。

如何实现呢?

其实原理很简单。首先,ChatGPT里内置了Markdown语言的渲染引擎,而Markdown是轻量级的文本标记语言,可以把文本转换成图片、视频、表格、代码块等多种表现形式。所以这里ChatGPT依然只是生成文本。

Markdown

什么?Markdown是啥?来打开ChatGPT问问。

图片展示了ChatGPT对Markdown格式的解释。ChatGPT说明Markdown是一种轻量级标记语言,目标是提高写作效率,使用易于阅读、写作的纯文本格式转换为XHTML或HTML。还列举了标题、文本样式、列表、链接与图片、代码等基础Markdown语法示例。图片与上下文紧密相关,是对文档中介绍的ChatGPT输出视频后,其在Markdown格式方面知识的呈现。

左边是渲染之后的内容,清晰漂亮。右边是文本,由符号来标记文本的格式。

图片展示了Markdown格式文档编辑界面及效果。左侧为Markdown编辑器,显示了标题、有序列表、插入图片、插入链接等内容,还有一张折线图。右侧是Markdown编辑后的效果展示,标题为“标题1”“标题2”,有序列表、图片、链接等显示正常,折线图也呈现出来。该图片与文档中介绍在Markdown中插入图片、链接等内容的上下文相关,直观呈现了Markdown编辑与显示效果。

点进某个B站的视频,选择点击“分享”,“嵌入代码”。将该视频的分享链接复制出来:

图片展示了B站视频分享界面中嵌入代码的操作。画面中有一个视频播放窗口,下方有分享按钮,点击后弹出分享窗口,其中“嵌入代码”按钮被红色框和箭头突出显示。该图片与文档中介绍在Markdown编辑器中显示B站视频的操作相关,文档提到点进B站视频,选择“分享”“嵌入代码”,将视频分享链接复制后在Markdown编辑器里显示视频,此图直观呈现了“嵌入代码”按钮的位置,帮助理解操作步骤。

在Markdown编辑器里面,就可以直接显示视频了。

图片展示的是一个视频播放界面,上方有“Bilibili”标志。画面中央是Google Cloud的介绍,标题为“大语言模型介绍”,副标题是“Introduction to Large Language Models”,作者是John Ewald,其职位是Google Cloud的Training Developer。画面右侧有几何图形装饰。下方有文字“您好,欢迎来到 hello and welcome to introduction to”。该图片与文档中介绍在Markdown编辑器中嵌入B站视频的内容相关,展示了视频播放的样式。

输出视频的 Prompt

然后,就开始写 ChatGPT Prompt,让其为我们输出指定主题的视频。

你现在是元峰的B站视频助手 如果搜索ZelinAI相关的内容,发送此视频 """

""" 如果搜索ChatGPT相关的内容,发送此视频 """ """ 如果搜索大模型相关的内容,发送此视频 """ """ 如果询问其他问题,回答此问题,并附带"没有此问题相关视频"

每个回复的最后,我们再加一句跳转B站主页的信息:

在每个回复的最后,应该包括下面的句子 """ 观看更多视频,请点击元峰的B站主页:https://space.bilibili.com/310556993?spm_id_from=333.999.0.0 """

这里先做一个Demo。已经想到一些另外的玩法,还要做一些测试。如果能实现,再为大家分享。

图片展示了元峰的B站视频界面。左侧为视频编辑界面,显示视频标题“元峰的B站视频”,有“创建模型”按钮等选项。右侧是视频内容展示区域,上方有“知乎”标识,下方显示一段关于ZelinAI的视频,画面中有人手持手机,手机屏幕上显示蓝色界面。视频下方有“观看更多视频,请点击元峰的B站主页:https://space.bilibili.com/310556993?spm_id_from=333.999.0.0”字样。该图片与文档中关于ChatGPT输出视频的Demo内容相关,展示了视频呈现效果。

但是使用ChatGPT,无法直接预览显示视频,需要用网页跳转过去。

图片展示了元峰与ChatGPT的对话示例。元峰要求ChatGPT用Markdown语言生成B站视频链接,每个链接以iframe格式显示,且无需反引号、不使用代码框。若搜索特定内容,如ZelAI相关内容,发送对应视频链接。ChatGPT回复“明白”,并给出三个视频链接示例,每个链接后有对应搜索内容说明。图片与上下文紧密相关,直观呈现了元峰对ChatGPT的指令及示例结果。

图片展示的是与ZelinAI相关的视频链接。上方显示ZelinAI头像及名称,下方以Markdown格式呈现视频链接,标注为“ZelinAI视频”。下方提示注意,这是以Markdown格式将iframe显示出来的链接,若想在B站观看该视频,请点击链接。该图片与文档中关于ChatGPT输出视频的上下文相关,是对输出视频链接的呈现,说明了链接的格式及观看方式。

输出图片的 Prompt

这里实现的原理类似,还是用Markdown渲染:

接下来我会给你指令,生成相应的图片,我希望你用Markdown语言生成,不要用反引号,不要用代码框,你需要用Unsplash API,遵循以下的格式:https://source.unsplash.com/1920x1080/?< PUT YOUR QUERY HERE >。并用Markdown显示出来

图片展示了ChatGPT在Unsplash中搜索图片的示例。用户请求“给他一张区块链的图片”,ChatGPT随即给出一张图片,显示比特币价格为$37,628.01,变化率为+2.34%,并配有黄色折线图。图片右侧有“取消”按钮。左侧是Unsplash随机图的参数设置界面,包括模型头像、模型名称、透明度、公共等选项,当前模型为gpt-3.5-turbo。该图片直观呈现了ChatGPT在Unsplash搜索图片并输出结果的过程。

图片展示了ChatGPT与用户关于生成图片的对话。用户请求ChatGPT生成一张比特币图片,ChatGPT回应称已生成,并用Markdown语言显示图片链接。图片内容为多枚金色比特币硬币,背景模糊,有绿色和红色元素。此图与上下文紧密相关,直观呈现了ChatGPT根据用户指令生成图片的实际效果,展示了其在Unsplash获取图片的能力。

请注意,这里图片不是像Midjourney这种AI工具直接生成的,而这里图片的来源是Unsplash,这是全球最大的免费图片数据库之一,图片有免费版权可商用。而且开放了API接口,这就为ChatGPT生成Unsplash图片提供了基础条件。由于使用Unsplash API生成图片的方式是随机获取相关图片,因此每次请求可能会得到不同的图片。如果看到不错的图,请务必记得及时保存。

那ChatGPT是在Unsplash里搜索图片吗?不是,这里ChatGPT只是根据文本生成了对应的Unsplash图片链接,例如:https://source.unsplash.com/1920x1080/?blockchain 链接的渲染工作是在Markdown引擎里完成的。

好了,今天的分享就到这。