元峰AI笔记 · AI绘画与视频

SD 云端环境大比拼,10美元的 Google Colab Pro 超给力

大家好,我是元峰,13 颗 AI 之心持有者。今天想与大家分享一种更为灵活方便的 SD 云端使用方案。

SD 云端环境大比拼,10美元的 Google Colab Pro 超给力

SD 云端环境大比拼,10美元的 Google Colab Pro 超给力

图片展示了一位身着白色翅膀服装的女性,背景是蓝天白云。她手持两只粉色气球,气球上有红色绳结。女性面带微笑,眼神看向画面左侧。这张图片位于文档开头部分,可能是为了营造一种轻松愉快的氛围,引出接下来关于SD云端环境大比拼的内容。

大家好,我是元峰,13 颗 AI 之心持有者。今天想与大家分享一种更为灵活方便的 SD 云端使用方案。

由于我的电脑配置是英特尔显卡,无法本地直接运行 SD,因此我一直依赖于云端服务器。在尝试了几种不同的云端 SD 环境后,我发现虽然每个平台都有其独到之处,但是都不尽人意。在此,我将主要从价格、下载模型和使用中遇到的问题等方面,对 AutoDL、揽睿星舟和青椒云三个平台进行一番比较,并为大家推荐一个性价比相对较高的选择:Google Colab Pro。

一、云端SD 环境对比:AutoDL,揽睿星舟,青椒云

一)价格比较

AutoDL:主要提供了两种不同的配置选项,分别是 3090 配置,每小时 1.66 元,和 A5000 配置,每小时 1.24 元。

这张图片展示了AutoDL平台提供的两种云端算力配置信息,对应文档中AutoDL的价格对比内容。其中720机配置为RTX A5000 24GB,CPU为15核AMD EPYC 7371、内存28GB,数据盘50GB且可扩容754GB,每小时费用1.24元;030机配置为RTX 3090 24GB,CPU为15核AMD EPYC 7543、内存80GB,数据盘50GB不可扩容,每小时费用1.66元,两项均支持使用。

揽睿星舟:提供了 3090-24G 配置,每小时 1.9 元,以及双核配置,每小时 4.2 元。

图片展示了云端计算实例的规格与计费信息,呈现了两款3090-24G的活动特价区实例配置及价格。上方实例为单NVIDIA 3090 GPU,搭配24G显存、35.6 TFLOPS浮点算力、150G SSD系统盘,CPU为Intel Xeon (icelake) 2.6GHz 12核,按分段计费为1.90元/时,且标注了“上次使用”字样;下方实例为双卡配置,GPU数量为2,系统盘容量扩容至500G,CPU为同型号24核,计费为4.20元/时。这些实例的信息可用于对比云端SD环境的配置与成本,和上下文的价格、实例相关内容对应,是价格对比中实例规格的具体说明。

青椒云:统一价格为每小时2.5元。

这是一张SD云端环境相关的产品计费信息截图,对应AutoDL平台提供的设计制作类服务,该服务名称为道玄(原赛博丹炉 朱尼酱独家),计费方式为计时,单价为每小时2.5元。该服务的配置参数为CPU 16核、内存32GB、系统盘300GB、带宽20Mbps、显卡A4000,标签标注其支持AIGC与AI训练用途,界面还设有“立即添加”的操作按钮,可用于添加该服务。

若以重度用户每天6小时的使用时长来计算,AutoDL、揽睿星舟和青椒云的日消费分别是8元、12元和15元,月消费则是240元、360元和450元。

二)下载模型

AutoDL:用户可以直接关联百度云或阿里云进行模型的下载和上传,但系统盘容量只有50G,容易满载,需付费扩容。

这张图片展示的是AutoDL平台的公网网盘授权设置界面,用于完成模型下载相关的授权操作。界面左侧列出了已添加的阿里云盘、百度网盘两个账号,右侧为网盘授权相关设置,标注了添加的网盘授权信息会使用用户设置的独立密码进行加密存储,还设有“添加授权”“导出授权”的操作选项,可选择将公网网盘绑定为阿里云盘或百度网盘,该界面对应的是文档中AutoDL关联网盘实现模型上传下载的相关内容。

揽睿星舟:用户需要通过第三方软件来上传模型,过程较为繁琐,且速度时常很慢。每个用户拥有10GB的免费网盘空间,超过部分则需按实际使用量计费(0.15元/GB/月)。

图片展示的是青椒云客户端界面,左侧为文件夹列表,包含多个文件夹和文件,如“code”“conda”“cord-19”等。右侧是传输窗口,显示“pc_mali.7z”文件正在传输,传输进度为40%,传输速度为5.3 MB/sec,预计还需18秒完成。该图片与文档中介绍青椒云通过自家客户端上传模型至云服务器,提供100GB免费网盘空间的内容相关,直观呈现了上传模型的操作界面。

青椒云:用户可通过自家客户端上传模型至云服务器,提供100GB的免费网盘空间。但是经常遇到无法关联的问题。

图片展示的是青椒云云桌面的界面,显示用户拥有100GB的免费网盘空间,当前使用量为0KB。界面中有文件网盘和传输列表选项,当前选中传输列表,显示有4项传输任务,包括Dgirl - 真实质感强化、majicMIX realistic等模型文件,大小从2.24GB到159.81GB不等,创建日期为2023年10月7日。该图片与文档中对青椒云价格及上传模型问题的介绍相关,直观呈现了用户上传模型至青椒云云桌面的情况。

三)使用中的问题

AutoDL:经常出现无法获取实例的情况严重。虽然偶尔运气好时会有充足的GPU资源,但大多数时候都面临实例短缺的问题。

图片展示了内蒙A区707机的云端SD环境信息。左侧显示实例ID及SD版本。中间部分,状态为已关机,GPU充足,系统盘使用率57.31%,数据盘0.00%,均正常。右侧按量计费,14天08小时后释放,有“设置定时关机”选项,右上角有“开机”和“更多”按钮。该图与文档中对比不同云端SD环境时提及的使用问题相关,直观呈现了某云端SD环境的使用状态。

像下面这样,已经创建了好多实例,真正要用的时候连一台都没有,猝。。。

这张图片展示的是几个云端GPU实例的列表界面,各实例均配置了RTX A6000显卡,部分实例显示了资源使用情况,例如有实例系统盘使用占比37.31%、数据盘使用占比0.00%,还有实例系统盘和数据盘占用率较高,分别达到92.53%、98.94%,或70.37%。每个实例还标注了健康状态、计费方式、剩余停机时间,且都支持SSH登录,具备实例管理的操作选项,如开机、更多操作按钮,结合上下文可知,这是用于对比AutoDL、揽睿星舟、青椒云等云端SD运行平台的相关实例配置情况,能直观展现不同平台实例的资源占用与运行状态差异。

揽睿星舟:上传模型过程繁琐,需要从 C 站或哩布哩布下载到本地再上传。平台本身限制较多,安装其他软件会被锁定。

青椒云:由于是远程控制电脑,网络不佳时会出现严重的卡顿现象,平时用流畅度也不是很高。

图片展示了青椒云AI绘图平台的界面。左侧为功能导航栏,有文件管理、模型管理等选项。中间主界面显示“Stable Diffusion WebUI”启动器,上方有“让AI为你创作,让AI做你所想!”的宣传语,下方有文件夹列表,如“img”“img/inputs”等。右侧有公告内容,底部有一个蓝色的“一键启动”按钮。该图片与文档中介绍青椒云平台的内容相关,直观呈现了平台的界面布局和部分功能。

飞书电子表格

总体来讲,每个平台都有其利弊,但都不算完美。而 SD 软件本身是免费的,但云端使用却需付费,为了追求更为经济的方案,我终于找到了 Google Colab Pro,每月 10 美金,就能比较灵活的使用 SD,是一种非常划算的选择。

二、Google Colab 运行 SD

下面是使用 Google Colab 笔记本运行 SD AUTOMATIC1111 的详细步骤。是使用 AUTOMATIC1111 最简单的方法之一,因为我们不需要处理复杂的安装程序。

图片展示的是Google Colab中运行SD AUTOMATIC1111的界面。左侧是文件目录,包含sample_data等文件夹及文件。右侧上方显示“最新StableDiffusionUI_ ngrok_sagieqdev/ipython”等信息。中间部分介绍本笔记本为呈现AUTOMATIC1111 Stable Diffusion网页操作界面,操作指引有4步。下方是Stable diffusion相关操作说明,如使用ngrok等。该图与上下文紧密相关,直观呈现了使用Google Colab运行SD AUTOMATIC1111的操作界面及部分操作说明。

更新记录

  • 2023 年 9 月 8 日:现在我们可以使用 v1.6.0 版本的 Stable Diffusion WebUI!
  • 2023 年 7 月 21 日:这款 Colab 笔记本现已支持 SDXL 1.0。
  • *2023 年 4 月 21 日:Google 已阻止免费帐户使用 Stable Diffusion。我们需要付费计划才能使用此笔记本。 *

三、什么是 AUTOMATIC 1111

这是AUTOMATIC1111 Stable Diffusion WebUI的操作界面,用于在Google Colab云端环境中运行Stable Diffusion生成图像。界面上方的生成设置区域,正使用v2.1的模型,提示词栏输入的内容为“a young woman, street, laughing, ponytails, (muted colors,1,2), dramatic, complex background, cinematic, filmic, (indewells, artist=0.8), soaking wet”,反向提示词包含畸形、肢体残缺等禁用内容;右侧的橙色“Generate”按钮用于触发生成,设置了生成步数、图像尺寸等参数,下方已生成9张风格相近的年轻女性街景图像,界面还保留了模型选择、功能切换等相关选项。

用过 SD 的应该知道 AUTOMATIC1111 Stable Diffusion WebUI 是什么。就算你没用过,但你绝对见过。

AUTOMATIC1111 是一个基于Gradio 库构建的浏览器界面,专为 Stable Diffusion 而设计,该界面简化了与 Stable Diffusion 的交互,使用户更容易使用 AI 生成图像。

AUTOMATIC1111 功能丰富:我们可以在该 GUI 中使用文本到图像、图像到图像、放大、定制图像以及运行和训练自定义模型。现在许多教程都是使用此 GUI 进行演示的。

AUTOMATIC1111 充当了一个桥梁,通过提供更直观和用户友好的界面,降低了用户与 Stable Diffusion 交互的障碍,从而有助于 AI 在图像生成领域的更广泛的可访问性和可用性。

四、什么是 Google Colab?

Google Colab(谷歌合作实验室)是谷歌提供的一项交互式计算服务。它是一个 Jupyter Notebook 环境,允许我们执行 Python 代码。 Google Colab 常用于数据科学,例如探索深度学习模型。它是运行 Stable Diffusion WebUI 的完美设置。

他们提供三种付费计划——Pay As You Go、Colab Pro 和 Colab Pro+。我建议使用 Colab Pro 套餐。每月9.99 美元,为我们提供 100 个计算单元,这在标准 GPU 上大约需要 50 小时。 我们还可以获得高 RAM 机器,这对于使用 V2 模型和一些扩展非常有用。

图片展示了Google Colab的付费计划选择界面。界面中列出了四种付费计划:Pay As You Go、Colab Pro、Colab Pro+和Colab Enterprise。其中,Colab Pro被橙色框突出显示,其价格为每月9.99美元,提供100个计算单元,可升级到更大的GPU,支持使用V2模型和扩展,可快速执行代码等。该图片与上下文紧密相关,上下文介绍了Google Colab的付费计划,Colab Pro是作者建议使用的套餐,此图直观呈现了Colab Pro的具体信息。

通过付费计划,我们可以选择使用高级 GPU。它是A100处理器。当我们需要快速训练 Dreambooth 模型时,这会派上用场。

图片展示的是Onekey虚拟信用卡界面。左侧有“Card”标识及“Web3 Spending. Simplified.”字样,下方有“Sign in with Google”按钮。右侧是信用卡界面,显示卡号、有效期、安全码等信息,下方有“CVV”“Rewards”“Transfer”“Withdraw”按钮,右侧还有交易记录,如转账出、进记录,以及“Portland Grill”“Minnesota Vikings Sport Club”等消费记录。该图片与文档中支付时使用Onekey虚拟信用卡付款成功的内容相关,直观呈现了虚拟信用卡的界面。

图片展示了Visa和Mastercard两种支付方式的对比信息。Visa卡号为485997,国家/地区为美国,结果货币为USD(折合USD支付的费用为1.25%);Mastercard卡号为556150,国家/地区为印度,结果货币为USD(折合USD支付的费用为1.25%)。在常用应用服务栏中,Visa和Mastercard均支持PayPal、Apple Store、Google Play等应用,但Visa不支持Netflix,Mastercard不支持Wish。该图与文档中支付时使用Onekey虚拟信用卡的内容相关,展示了不同支付方式的适用情况。

支付时我用的是 Onekey 虚拟信用卡。很顺利就付款成功了。

当我们将 Colab 用于 AUTOMATIC1111 时,请务必在完成后断开连接并关闭笔记本电脑。当笔记本电脑保持打开状态时,它将消耗计算单元。

五、运行 Colab 笔记本的步骤说明

这张图片是用于引导用户进入指定Colab笔记本的“Open in Colab”按钮,按钮左侧带有蓝黄配色的“co”标识,整体呈现用于网页跳转的按钮样式,对应文档中“打开上面的Colab笔记本链接”的操作引导,是进入Colab笔记本的关键入口,用户点击该按钮即可访问文档中提供的指定Stable Diffusion相关Colab笔记本。

https://colab.research.google.com/github/metafeng/Binder/blob/master/%E6%9C%80%E6%96%B0StableDiffusionUI_ngrok_sagiodev.ipynb

步骤1:进入 Colab 笔记本

打开上面的 Colab 笔记本链接。我们应该看到第二个单元格的笔记本,如下所示。

这张图片展示了运行Stable Diffusion的Colab笔记本的界面内容,界面上标注了各项配置信息。界面中明确显示了output_path为“ALPICS”,还有username、password、NGROK的相关输入项,以及版本号为v1.6.0。其中“Save_In_Google_Drive”选项被选中,对应的描述为“Small models, images and settings (Recommended)”,该内容对应该文档步骤3中提及的Save_In_Google_Drive选项,界面还提供了用于启动应用的URL链接,同时也包含Clear_Log的勾选选项。

步骤 2. 检查用户名和密码

启动 AUTOMATIC11111 后我们将需要输入此信息。

步骤 3. 查看 Save_In_Google_Drive 选项(选择将哪些内容保存在 Google 云盘中)

有三个选项可供选择。

  1. Everything:将整个 AUTOMATIC1111 Stable Diffusion webui 保存在我们的 Google Drive 中。此选项维护会更复杂,仅建议高级用户使用。

  2. 小模型、图像和设置:保存 Lora 模型、嵌入、GUI 设置和 Google 云端硬盘中的所有图像。

它将从我们的 Google 云端硬盘加载以下内容。

  • Model 模型(来自 output_path /models 文件夹)
  • Upscalers 升级算法(来自 output_path /ESRGAN 文件夹)
  • Lora 模型(来自 output_path /Lora 文件夹)
  • Embeddings 嵌入(来自 output_path /embeddings 文件夹)
  1. Nothing:不会使用我们的 Google 云端硬盘。断开连接后,所有数据和图像都将被删除。

如果我们选择第一个或第二个选项,我们必须授予访问 Google 云端硬盘的权限。

图片展示的是Google Colab中请求访问Google云端硬盘文件的弹窗。弹窗标题为“允许此笔记本访问您的Google云端硬盘文件吗?”,内容说明此笔记本正在请求访问云端硬盘文件,执行代码可修改云端硬盘文件,强调在授权前需检查代码。弹窗右下角有“不”和“连接到Google云端硬盘”两个按钮,其中“连接到Google云端硬盘”按钮为蓝色。该图片与文档中运行Colab笔记本的步骤说明相关,对应选择使用Google云端硬盘时的授权步骤。

步骤4. 检查要加载的模型

目前这个笔记本提供了 v1.4、v1.5、v1.5 inpainting、F222、anything v3、inkpunk diffusion、Mo Di diffusion、v2.1-512、v2.1-768 和 v2 深度模型。

如果我们是首次使用,可以选择 v1.5 型号。这里,我也同时勾选了 SDXL 1.0 模型。

图片展示的是运行Colab笔记本时选择要加载模型的界面。上方提示“Only check the models you are going to use”,下方列出v1、v2及SDXL模型选项,其中v1.5_model、v1.5_inpainting_model、SDXL_1被勾选。该图片与文档中“步骤4.检查要加载的模型”内容对应,直观呈现了运行时需勾选的模型选项,帮助用户明确操作步骤。

运行时会下载我们勾选的 V1.5,SDXL 基础和精炼模型。

图片展示了在Google Colab中运行Stable Diffusion WebUI时,下载模型的进度和结果。显示了三个模型的下载信息,包括模型ID、状态、平均速度、路径等。其中,b8c52d模型以100MB/s速度下载完成,399806模型以176MB/s速度下载完成,3be347模型以184MB/s速度下载完成。下方有状态说明,OK表示下载完成。该图片与上下文紧密相关,直观呈现了运行Colab笔记本时模型下载的具体情况。

步骤 5. 选择要安装的插件

这张图片展示的是Stable Diffusion云端环境相关运行步骤里,选择要安装的插件的界面内容,界面标注了“Extensions”,列出了多个可选插件及对应勾选框。其中勾选框被选中的插件有ControlNet、Openpose_Editor、AnimateDiff,其余的Deforum、Regional_Prompter、Ultimate_SD_Upscale、ADetailer、text2video、Roop插件的勾选框均为未选中状态,这是对应文档中运行Colab笔记本步骤5的插件选择环节的可视化展示。

如果我们选择将所有内容保存在 Google 云端硬盘中,模型将下载到我们的 Google 云端硬盘中。

步骤 6. 启动应在几分钟内完成

如果我们没有订阅 Pro 版,它可能会警告我们需要高内存。如果我们不使用 v2.1 768 px 模型,则忽略警告是可以的。

需要多长时间取决于我们包含的模型数量。完成后,我们应该会看到下面的消息。

图片展示的是在Google Colab中运行AUTOMATIC1111相关操作后的输出信息。其中,红色箭头指向的关键信息是“Running on public URL: https://941b8798 - ba18 - 4fb4 - gradio.live”,表明当前运行的公共URL地址。该图片与文档中“步骤7.点击gradio.live链接,输入用户名和密码”及“步骤8.登录后我们应该会看到AUTOMATIC1111 GUI”的内容相关,是后续操作的指引依据。

步骤 7. 点击 gradio.live 链接,输入用户名和密码

启动 AUTOMATIC1111,输入我们在笔记本中指定的用户名和密码。

这张图片展示的是用于登录AUTOMATIC1111的登录界面,与文档中步骤7的操作要求对应。界面上方标注了“Login”字样,设有用户名输入框,其中已填入内容“user”,还有密码输入框,内部显示为圆点形式的密码内容,右侧带有显示密码的眼睛图标,界面底部是橙色的“Login”登录按钮,用于完成身份验证操作。

步骤 8. 登录后我们应该会看到 AUTOMATIC1111 GUI

在提示文本框中输入“beautifulwoman,medium_shot,wallpaper,”然后按“生成”,我们应该会看到它生成了 4 张美女的图像。

图片展示的是AUTOMATIC1111 GUI界面,用于生成图像。界面中提示文本框内输入“beautifulwoman,medium_shot,wallpaper,”。下方有“生成”按钮,右侧显示生成的4张美女图像,每张图下方有“删除”按钮。界面还包含“提示”“负提示”“方向”“Denoiser”“Refiner”“高宽”“提示强度”“负提示强度”“CIS Scale”等参数调节区域,以及“Animated对象”“Controllers”等选项。该图与文档中步骤8对应,用于展示登录后在AUTOMATIC1111 GUI中输入提示文本并生成图像的操作结果。

ngrok(可选)

如果我们遇到 GUI 的显示问题,我们可以尝试使用 ngrok 而不是 Gradio 来建立公共连接。它是默认 gradio 连接的更稳定的替代方案。

我们需要设置一个免费帐户并获取一个authoken。

  1. 前往 https://ngrok.com/
  2. 创建一个帐户
  3. 验证邮件
  4. 从 https://dashboard.ngrok.com/get-started/your-authtoken 复制 authoken 并将其粘贴到笔记本中的 ngrok 字段中。

输入 ngrok authtoken 后,笔记本中的 SD 单元应如下所示。

该图片展示了配置好authtoken后的Stable Diffusion相关运行设置界面,界面上方标注了对应Stable Diffusion应用的启动链接,明确给出了output_path、username、password、NGROK、version等配置项的内容,其中NGROK字段已填入对应授权码,还提供了将内容保存在Google云端硬盘的相关选项,页面下方有清除日志的功能按钮,此界面是完成ngrok配置后运行Colab笔记本时,Stable Diffusion单元显示的对应内容,为后续启动应用提供了必要的基础配置信息。

单击左侧的播放按钮开始运行。加载完成后,我们将在单元格下的输出中看到指向 ngrok.io 的链接。单击 ngrok.io 链接启动 AUTOMATIC1111。下面示例输出中的第一个链接是 ngrok.io 链接。

这张图片展示了SD云端环境运行相关的输出日志,开头提示检测到ngrok authtoken,正在尝试连接,随后显示已成功连接至本地7860端口,给出了ngrok.io形式的公共链接https://4d9e-35-229-149-30.ngrok.io,同时说明了可在公共链接生成后使用该链接。日志还记录了运行模式为eps预测模式、模型加载完成的相关信息,给出了本地访问链接http://127.0.0.1:7860,最后提示若要创建公共链接,需在启动时设置share=True。该内容是运行Colab笔记本过程中与ngrok配置、Stable Diffusion模型运行相关的输出,用于指导用户访问部署的WebUI。

当我们访问 ngrok 链接时,它应该显示如下消息

图片展示的是访问ngrok链接时出现的消息界面。上方显示即将访问的链接为4d9e - 35 - 229 - 149 - 30 . ngrok . io ,并提示网站IP为35.229.149.30 。下方有三点注意事项:该网站免费通过ngrok . com提供服务;仅在信任发送链接者时访问该网站;谨慎披露个人或财务信息。底部有一个蓝色的“Visit Site”按钮。此图与文档中访问ngrok链接并启动AUOTMATIC1111 GUI的操作步骤说明相关,是访问ngrok链接时的提示界面。

单击“访问站点”以启动 AUOTMATIC1111 GUI。有时,我们会看到一条警告消息,指出该网站访问不安全。这可能是因为有人使用相同的 ngrok 链接来发布恶意内容。由于我们是创建此链接的人,因此我们可以忽略安全警告并继续。

笔记本使用结束

使用完笔记本后,不要忘记单击右上角下拉菜单中的“断开连接并删除运行时”。否则,我们将继续消耗计算单元。

这张图片展示了Google Colab界面的下拉菜单,菜单中用红色框重点标注了“断开连接并删除运行时”选项,该选项是Colab笔记本使用结束时需点击的关键操作项。该操作可避免未及时断开连接导致持续消耗计算单元,符合文档中“笔记本使用结束”部分的提示内容,用于指导用户正确终止Colab的运行环境。

支持的运行时类型

我们可以通过单击顶部菜单中的 运行时 -> 更改运行时类型。

图片展示了在Google Colab中更改运行时类型的界面。左侧为“更改运行时类型”窗口,可选择Python版本、硬件加速器(如CPU、A100 GPU、V100 GPU、T4 GPU、TPU)及形状(高RAM),当前选中T4 GPU和高RAM。右侧是顶部菜单中的“运行时”下拉菜单,其中“更改运行时类型”被红色框和箭头突出显示。该图片与文档中“支持的运行时类型”部分相关,直观呈现了更改运行时类型的操作位置和选项。

GPU 和 TPU

此笔记本支持以下运行时类型。

  • T4 GPU(推荐)
  • A100 GPU
  • V100 GPU

不要使用 CPU 或 TPU。 TPU 与 SD WebUI 不兼容。

RAM

应使用高 RAM。

资源和计算单元

图片展示了Google Colab中查看资源的操作界面。左侧有多个选项,其中“查看资源”被红色框突出显示。右侧显示了已订阅“Colab Pro”的信息,可用计算单元为92.46个,使用率约每小时1.96个,还有1个有效会话。下方有Python 3 Google Compute Engine后端(GPU)的资源显示,包括系统RAM、GPU RAM和磁盘使用情况。该图片与文档中介绍运行Colab笔记本步骤说明的内容相关,用于说明查看计算资源和计算单元的操作。

要查看计算资源和极短单元,请单击右上角运行时类型(例如 T4、高 RAM)旁边的向下三角符号。我们将看到剩余的计算单元和资源使用率。

六、保存在 Google Drive

小模型、图像和设置

我推荐使用这个。这是为了将小数据文件保存到 Google Drive 但下载大文件而设计的。所以我们的 Google Drive 存储空间不会被 SD 耗尽。

这张图片展示了Stable diffusion云端操作的设置界面,核心是“Save In Google Drive”部分,其中用红色方框标注了高亮突出的“Small models, images and settings (Recommended)”选项,该选项在上下文内容中明确提及,是需选择以将对应内容保存至Google云端硬盘的选项。界面还显示了output_path、username、password、NGROK、version等设置项,以及Clear-Log的勾选状态和Nothing选项。

我们选择 Small models, images and settings 选项。** 以下内容会保存在我们的 Google 云端硬盘中**。

  • 所有生成的图像
  • 图形用户界面设置
  • 最后生成的图像中使用的提示和参数
  • Embeddings 嵌入(路径:AI_PICS/embeddings)
  • Lora 模型(路径:AI_PICS/Lora)
  • Upscalers 升级器(路径:AI_PICS/ESRGAN)
  • Hypernetworks 超网络(路径:AI_PICS/hypernetworks)

这张图片展示的是谷歌云端硬盘(Google Drive)内的路径为“My Drive > AI_PICS”的文件夹页面,页面顶部显示路径信息与类型、人员、修改时间的筛选选项。页面内的文件夹与文件列表中,包含了六、保存在Google Drive章节提及的embeddings、Lora、ESRGAN、hypernetworks等对应文件夹,还有SD模型项目相关的各类文件,所有内容最后修改时间均为2023年10月9日,这对应了文档中关于将Stable Diffusion生成内容、各类模型与设置文件保存至Google Drive的说明。

下次运行笔记本时,以上所有内容都将可用。

此选项不会在我们的 Google 云端硬盘中保存任何模型。但它会加载我们放入 AI_PICS/models 中的所有模型。

我们只需将我们经常使用但不在 Notebook 的型号列表中的型号放入 AI_PICS/models 中即可。由于模型文件很大(2 到 7 GB),因此我们不希望在 Google 云端硬盘中放入太多模型文件。 (Google Drive的免费存储空间只有15 GB)

安装 LoRA

LoRA 模型是可应用于模型检查点的小补丁。它们的大小很小,通常在 3-200 MB 之间,因此方便存储,它们是模型的替代品。

要安装 LoRA 模型,请将模型拖放到文件资源管理器面板中的目录 stable-diffusion-webui > models > Lora 中。

这张图片展示了Google Colab中stable-diffusion-webui目录下models文件夹的文件列表,models目录展开后,其包含的子项内标注出了Lora文件夹,该文件夹是安装LoRA模型时要求的存储目录,对应上下文里将LoRA模型放入stable-diffusion-webui>models>Lora的操作要求,清晰呈现了指定的目标文件路径结构。

Lora 模型文件夹

如果选择 Use_Google_Drive,LoRA 模型将保存到我们的 Google Drive 下的 AI_PICS > Lora 下。如果我们选择相同的选项,下次可以重复使用该模型。

或者,如果我们使用 Google Drive 选项,则可以将 Lora 模型放入 Google Drive 的 AI_PICS > Lora 中。这样上传速度更快。

安装 Embeddings

Embeddings 嵌入是用于修改样式或注入对象的轻量级文件。要安装嵌入,请将文件拖放到 stable-diffusion-webui > embeddings 。

这张图片展示了云端文件管理界面的目录结构,其中“stable-diffusion-webui”文件夹已被展开,其下的“embeddings”文件夹处于选中高亮状态,对应文档中提及的“安装Embeddings嵌入”的操作步骤,明确标注了Embeddings文件需要存放的目标路径,用户可将所需的嵌入文件拖放至该选中的文件夹内,即可完成Embeddings的安装配置,该界面为Google Colab的文件管理页面,是SD云端环境中进行AI绘图相关设置的操作入口。

每当我们切换模型时,嵌入都会重新加载。我们将在 Colab 的日志消息中收到确认信息。

该图片展示了一段SD云端环境的日志信息,对应文档中“每当我们切换模型时,嵌入都会重新加载”的内容。日志显示的信息依次为:系统正在加载设置中指定路径的VAE权重,接下来应用了xformers交叉注意力优化,最后明确提示已加载1个文本反演嵌入,名称为Style-Autumn,该内容是切换模型后嵌入重新加载的确认反馈。

安装 Upscalers

我们可以在 Google 云端硬盘中使用升级程序。只需将它们放入 Google 云端硬盘的 AI_PICS > ESRGAN 文件夹中即可。下次当我们使用 Use_Google_Drive 选项启动笔记本时可以直接使用。

AI_PICS > ESRGAN 

使用 Google 云端硬盘中的模型

我们可以使用 Google 云端硬盘中的模型。我们必须将模型放置在以下默认位置。

AI_PICS/models

该文件夹中的所有模型都将在启动期间加载。

安装 hypernetworks

要安装超网络,请将它们放在以下位置

AI_PICS/hypernetworks

保存在 Google 云端硬盘 – Everything

图片展示了Stable Diffusion Webui中“Save In Google Drive”设置界面。上方提示保存图像、设置、Lora模型、嵌入等,并加载模型至Google云端硬盘。下方“Save In Google Drive”下拉菜单中,“Everything”选项被选中,其下方还有“Small models, images and settings (Recommended)”和“Nothing”选项。该图片与文档中保存Stable Diffusion Webui文件夹至Google云端硬盘的内容相关,直观呈现了设置界面及选项。

此选项将整个 Stable Diffusion Webui 文件夹保存在我们的 Google 云端硬盘中。默认位置是 AI_PIC > stable-diffusion-webui。安装模型和其他的方式没有什么不同。下面是文件夹路径:

  • 模型:AI_PICS/stable-diffusion-webui/models/Stable-diffusion
  • Embeddings 嵌入(路径:AI_PICS/embeddings)
  • Lora 模型(路径:AI_PICS/Lora)
  • Upscalers 升级器(路径:AI_PICS/ESRGAN)
  • Hypernetworks 超网络(路径:AI_PICS/hypernetworks)

七、从 URL 安装模型

我们可以使用 Model_from_URL 字段从 URL 安装模型。目前,我们只能安装 V1 模型。

这张图片展示了SD云端环境从URL安装模型的相关设置界面。界面上方标注有“Install models from URL (separate them with comma)”的说明,其下方有“Model_from_URL”字段,该字段配有输入框,提示可在此处插入对应文本以通过URL安装模型,且当前仅支持安装V1模型,右侧还有两个引号标识输入范围。界面下方设有“Save_a_copy_in_Google_Drive”选项,搭配空白复选框,该选项的说明标注“(Saved models will be available next time you start)”,对应文档中“在Google云端硬盘保存模型副本”的相关内容,勾选该选项即可将模型副本保存至指定位置。

在 Google 云端硬盘中保存副本

图片展示了在Google云端硬盘中保存模型副本的设置界面。画面中有一个勾选框,其左侧文字为“Save_a_copy_in_Google_Drive:”,右侧勾选框内有勾选符号。该图片与文档中“在Google云端硬盘中保存副本”部分内容相关,说明在Google云端硬盘中保存模型副本这一操作,勾选该选项后,下次启动笔记本时,保存在Google Drive中的模型将自动加载,且仅在使用推荐设置时才使用此选项。

我们可以选择使用 Save_a_copy_in_Google_Drive 在 Google 云端硬盘中保存模型的副本。它们将保存在模型加载位置。 AI_PICS/models 。

下次启动笔记本时,我们在 Google Drive 中保存的模型将自动加载。

仅当我们使用推荐的设置时才使用此选项:在 Google 云端硬盘中保存小模型和图像。

从 HuggingFace 安装模型

下面是从 HuggingFace 安装 DreamShaper 的示例输入

https://huggingface.co/Lykon/DreamShaper/resolve/main/Dreamshaper_3.32_baked_vae_clip_fix_half.ckpt

(此模型更新频繁,链接可能不正确)

从 Civita 安装模型

我们需要复制用于下载模型的 URL 链接。不要使用模型页面的 URL。

要复制下载链接,请右键单击“下载”按钮,然后选择“复制链接地址”。

这张图片展示的是Civitai平台的模型下载页面,主体内容是两个风格类似的羊驼风格像素艺术作品。页面右侧的信息区域中,有一个蓝色的“Download (20.1 MB)”下载按钮被红色方框重点标注,对应上下文里从Civitai安装模型时,需要复制该按钮的链接地址的操作要求,页面还显示了该模型的类型、上传时间、基础模型等相关详情信息,方便用户查看对应模型的相关属性。

SD 模型下载器

一般来讲我们下载模型时非常复杂的,需要先从模型网站下载到本地再上传云盘,那为什么不一次性到位呢?于是乎,我根据前面下载模型的代码改写了一个 SD 模型下载器。任何时候都可以下载模型。

图片展示的是一个图标及文字,图标由两个橙色圆环组成,文字为“Open in Colab”。该图片位于介绍从URL安装模型部分内容中,是用于指引用户在Google Colab中打开链接的提示,与上下文提到的从C站获取下载链接,替换单元格链接后下载到谷歌云端硬盘的操作流程相呼应,帮助用户在Colab中操作。

https://colab.research.google.com/github/metafeng/Binder/blob/master/SD_%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E5%99%A8.ipynb

# 使用apt命令安装aria2下载工具
!apt install aria2

# 导入google.colab库的drive模块,用于在Google Colab环境中挂载Google Drive
from google.colab import drive
# 挂载Google Drive到'/content/drive'路径
drive.mount('/content/drive')

# 定义一个名为downloadModel的函数,该函数接受一个名为url的参数
def downloadModel(url):
  # 检查url中是否包含'huggingface.co'
  if 'huggingface.co' in url:
    # 从url中获取文件名
    filename = url.split('/')[-1]
    # 使用aria2c工具下载文件,指定参数并设置输出文件名
    !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M {url}  -o {filename}
  else:
    # 如果url中不包含'huggingface.co',则假定为civitai的链接,并使用aria2c工具下载文件
    !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M {url}

# 定义一个名为download_models的函数,该函数接受两个参数:url和types,其中types的默认值为"models"
def download_models(url, types="models"):
  # 检查types参数是否为'lora'
  if types == 'lora':
    # 如果是'lora',则切换当前目录到'/content/drive/MyDrive/AI_PICS/Lora'
    %cd /content/drive/MyDrive/AI_PICS/Lora
  else:
    # 如果不是'lora',则切换当前目录到'/content/drive/MyDrive/AI_PICS/models'
    %cd /content/drive/MyDrive/AI_PICS/models
  # 输出下载模型的进度提示
  print('⏳ Downloading models ...')
  # 调用downloadModel函数,传入url参数,开始下载模型
  downloadModel(url)

url = 'https://civitai.com/api/download/models/171904'
download_models(url,'lora')

从 C 站获取到下载链接,替换掉单元格中的链接,直接就会下载到我们的谷歌云端硬盘中。

根据我们的选择,Lora 模型会下载到对应的 /AI_PICS/Lora 文件夹,Checkpoint 模型则会下载到 /AI_PICS/models 文件夹。

图片展示了在Google Colab中从C站获取模型链接并下载的代码及结果。代码中url指向Lora模型下载链接,使用download_models函数下载。结果显示下载路径为/content/drive/MyDrive/AI_PICS/Lora,下载进度为76MiB/s,最终下载完成,状态为OK。该图片与上下文紧密相关,直观呈现了从C站获取Lora模型链接后,直接在谷歌云端硬盘中下载到对应文件夹的操作过程及结果。

这个链接是 Lora 文件,我指定类型后自动下载到了 Lora 文件夹里面。

图片展示的是Google云端硬盘界面,显示“AI_PICS/Lora”文件夹下的内容。左侧为导航栏,选中“AI_PICS/Lora”。右侧列表中,有多个Lora模型文件,如“v2_lora_TiltDown.ckpt”等,文件大小均为72.9 MB,最后修改日期为2023年10月9日,所有者为“me”。最下方突出显示了“FF-LLama-Generator-lora.safetensors”文件,大小为109.1 MB,最后修改日期为2023年10月7日。该图片与文档中从URL安装模型的内容相关,展示了下载到谷歌云端硬盘的Lora模型文件情况。

八、从 URL 安装扩展

我们可以使用此字段安装任意数量的扩展。我们将需要扩展的 Github 页面的 URL。

例如,如果要安装 Civita 模型扩展,请输入以下内容。

https://github.com/civitai/sd_civitai_extension

我们还可以安装多个扩展。 URL 需要用逗号分隔。例如,以下 URL 安装提示词插件,汉化插件和反推插件。

https://github.com/Physton/sd-webui-prompt-all-in-one,https://github.com/VinsonLaro/stable-diffusion-webui-chinese,https://github.com/toriato/stable-diffusion-webui-wd14-tagger

图片展示了常用扩展的相关信息。其中,汉化扩展安装地址为https://github.com/VinsonLaro/stable - diffusion - webui - chinese;一键提示词扩展安装地址为https://github.com/Physton/sd - webui - prompt - all - in - one;反推扩展安装地址为https://github.com/toriato/stable - diffusion - webui - wd14 - tagger 。这些扩展安装地址与文档中介绍的从URL安装扩展的内容相关,为用户提供了安装扩展的链接,方便用户自行下载安装。

但是反推插件没有起作用,估计是 1.6.0 版本还没兼容。

九、webui 的额外参数

我们可以使用 Extra_arguments 字段向 Web-UI 添加额外的参数。

这张图片展示的是webui设置中“Extra Web-UI arguments”相关的内容,其中“Extra_arguments”字段的内容为“--disable-model-loading-ram-optimization”,该内容用于向Web-UI添加额外参数,对应文档中提到的使用Extra_arguments字段添加额外参数的说明,作为示例内容补充,体现了额外参数的具体填写样式,结合文档中关于通过该字段设置指定模型目录等参数的相关操作参考使用。

例如,如果我们使用 lycoris 扩展,则可以方便地使用额外的 webui 参数 --lyco-dir 在 Google 云端硬盘中指定自定义 lycoris 模型目录。

其他有用的参数是

  • --api 允许 API 访问。对于某些应用程序很有用,例如 PhotoShop AUTOMATIC1111 插件。

十、此笔记本可供选择安装的插件

这张图片展示了SD云端环境笔记本中可供选择安装的插件列表,所有列出的插件均已被勾选启用。列表中包含ControlNet、Deforum、Regional_Prompter、Ultimate_SD_Upscale、Openpose_Editor、ADetailer、AnimateDiff、text2video、Roop,这些插件均在文档所提及的“此笔记本可供选择安装的插件”范围内,其中ControlNet和Openpose编辑器是文档中重点介绍的两款插件。

ControlNet

ControlNet 插件可以复制输入图像的构图和姿势等。 ControlNet 在 SD 社区中掀起了一场风暴,因为我们可以用它做很多事情。

比如之前做过的光影文字图就主要是用 Controlnet 实现的:SD 艺术字实战:小赚几百块

这张图展示了Stable Diffusion ControlNet实现舞蹈人物图像生成的流程:左侧输入为一个跳舞女性的实拍图,经openpose keypoint detection生成标注人物骨骼姿态的关键标注图,同时输入符合描述的文本提示词,两者共同输入Stable Diffusion ControlNet,最终生成符合提示要求的、处于餐厅外跳舞的年轻女性图像,该流程是ControlNet在SD社区实现图像控制生成的典型示例,呼应了文档中ControlNet可实现创意图像创作的内容。

这张图片是用于展示AI绘画插件Openpose编辑器功能的示例,核心展示效果为:上方是通过该插件生成的、姿态清晰的二次元少女形象,下方左侧是参考的人类真人姿态素材,右侧是对应生成的彩色人体骨骼姿态映射图,底部明确标注有“换动作”字样,呼应了Openpose编辑器可编辑调整姿势,进而生成对应姿态AI绘画作品的功能,契合文档中介绍Openpose编辑器插件的内容。

Openpose 编辑器

Openpose 编辑器插件可让我们编辑 openpose 控制图像。它对于使用 ControlNet 操纵图像生成的姿势非常有用。它与 ControlNet 一起使用。

Deforum – 使用 SD 制作视频

我们可以使用 Deforum 插件制作带有文本提示的视频。

图片展示的是Deform工具界面,位于“Regional_Prompter区域提示器”内容部分。界面中有多个标签,当前选中“Keyframes”标签。下方有“Animation mode”动画模式设置,包括2D、3D、插值等选项,当前选中2D。还有“Cadence”节奏设置、“Max frames”最大帧数设置等。此外,还有“Guided images”引导图像设置区域,以及“Motion”运动设置区域等。该图片直观呈现了区域提示器插件中Keyframes相关设置选项。

Regional_Prompter 区域提示器

区域提示器插件允许我们对图像的不同区域使用不同的提示词。它是一个非常有价值的插件,用于控制对象的构图和放置位置。

图片展示了Stable Diffusion WebUI中Regional Prompter的设置界面。其中“Use common prompt”选项被红色框突出显示,表明该选项处于选中状态。该界面还包含Active、Divide mode、Generation mode、Divide Ratio、Base Ratio等设置项,如Divide mode有Horizontal、Vertical、Mask等模式可选,Generation mode有Attention、Latent模式。此图与上下文介绍的Stable Diffusion WebUI相关设置内容紧密相关,直观呈现了“Use common prompt”这一设置选项。

a man and a woman, a man with black hair

BREAK

a man and a woman, a woman with blonde hair

一个男人和一个女人,一个有黑色头发的男人

BREAK

一个男人和一个女人,一个有金色头发的女人

图片展示了两个角色。左侧为一位黑发男子,身着灰色西装外套,内搭黑色上衣;右侧为一位金发女子,穿着白色高领毛衣,双臂交叉。两人站在灰色背景前,女子靠在墙边。此图对应文档中介绍After Detailer插件的内容,该插件会在生成图像时自动修复脸部和手部,此图可能是展示修复效果的示例。

After Detailer

After Detailer 插件会在我们生成图像时自动修复脸部和手部。

这是与After Detailer插件相关的设置界面截图,该插件用于修复生成图像中的脸部和手部缺陷。界面中核心设置项有两项,一是被勾选高亮标注的“Enable ADetailer”选项,用于开启该插件功能;二是选择的“ADetailer model”为face_yolov8n.pt,该模型可实现对脸部的修复处理。该插件的作用可验证,启用它就能修复原本崩坏的图像脸部。

这张图片是使用SD绘图工具生成的图像,对应文档中提到的After Detailer插件修复面部的效果。画面里是一位穿着彩色亮片装饰的粉紫色连衣裙、脚蹬浅灰色高跟鞋的女性,她坐在造型梦幻的紫色泡泡状座椅上;背景是由蓝、绿、黄、橙、紫等色彩构成的螺旋状绚丽圆环,整体风格鲜明。该效果体现了After Detailer插件修复图像缺陷的作用,符合文档中关于该插件修复脸部问题的介绍内容。

原始图像脸是崩的

图片展示了一位坐在彩色云朵上的女性。她身着紫色亮片连衣裙,搭配白色高跟鞋,化着紫色眼影,头发为黑色。背景是色彩斑斓的漩涡图案,以紫色为主色调,还点缀着蓝色、绿色、黄色等色彩。该图片与文档中介绍的“After Detailer插件会在我们生成图像时自动修复脸部和手部”内容相关,展示了在使用该插件后生成图像的效果。

启用 After Detailer 后脸被修复了

AnimateDiff

AnimateDiff 插件允许我们根据文本提示词创建短视频。我们可以使用任何 SD 模型和 LoRA。

这张图片是Stable Diffusion云端环境的AnimateDiff插件设置界面截图,对应文档中AnimateDiff插件的相关内容。界面中,核心设置项均被红框标注,Motion module选择的是mm_sd_v15_v2.ckpt,已勾选“Enable AnimateDiff”以启用该插件;帧数量设置为32,FPS值设置为8,整体为文本提示词生成短视频的相关配置界面。

图片展示了一位身着银色紧身盔甲的女性角色。她有着一头银白色长发,面带微笑,眼神明亮。盔甲覆盖全身,包括胸部、手臂、腿部等部位,材质光滑有金属质感。背景为室内环境,光线从左侧斜射入,营造出温暖的氛围。此图与文档中介绍的AnimateDiff插件相关,该插件允许根据文本提示词创建短视频,可使用SD模型和LoRA,此图可能是使用该插件生成的示例图像。

text2video 文字转视频

Text2video 允许我们使用名为 Modelscope 的模型根据文本提示创建短视频。

图片展示了text2video插件的界面及使用效果。左侧为插件设置区域,Model type选中ModelScope,Model为t2v,Prompt输入“a lion and a man in a suit fighting”,下方有Sampling method、Steps等参数设置。右侧是生成的视频预览,显示了一只狮子与一名穿西装男子对峙的场景。该图片与上下文介绍的text2video插件功能相契合,直观呈现了使用该插件根据文本提示创建短视频的效果。

图片展示了一位穿着黑色西装、打着领带、留着卷曲头发的男子,他弯腰在草地上,似乎在系鞋带。背景为一片草地。该图片位于介绍SD云端环境大比拼中“AnimateDiff”插件内容之后,可能用于展示使用该插件生成的短视频画面,直观呈现插件功能效果。

十一、最后的话

总而言之,Google Colab Pro 在我看来是使用 SD 的最佳选择。它只需要 10 美元,就可以获得稳定的 GPU 计算资源,灵活方便地使用 SD 软件和模型,完全不受限制。

Colab 最大的优势在于可以无缝连接谷歌云端硬盘,可以长期保存生成的图片、Lora 模型和其他模型,省去每次运行前等待下载的时间。安装扩展和模型也极为方便,只需复制链接即可高速下载到云盘指定位置。

此外,今天介绍的这个笔记本中安装各种插件也是灵活可控自由选择,每次根据不同选择来添加,文字转视频、细节修复等。我们甚至可以选择不同的 GPU 类型来获得更强大的计算能力。

相比其他云平台,Colab Pro 的可定制性更强,使用更为灵活方便。如果你想高效便捷地进行云端 SD 跑图,我认为 Colab Pro 将是最佳之选。