元峰AI笔记 · AI绘画与视频

SD 云端环境大比拼,10美元的 Google Colab Pro 超给力

大家好,我是元峰,13 颗 AI 之心持有者。今天想与大家分享一种更为灵活方便的 SD 云端使用方案。

SD 云端环境大比拼,10美元的 Google Colab Pro 超给力

图片中,一位身穿白色翅膀装饰的女性站在蓝天白云下,手持两只粉色气球。她的表情略显惊讶,背景是清澈的蓝天和几朵白云,营造出一种梦幻的氛围。这张图片在上下文中起到视觉上的补充作用,展示了作者在讨论云端SD使用方案时可能希望传达的轻松愉快的氛围。

大家好,我是元峰,13 颗 AI 之心持有者。今天想与大家分享一种更为灵活方便的 SD 云端使用方案。

由于我的电脑配置是英特尔显卡,无法本地直接运行 SD,因此我一直依赖于云端服务器。在尝试了几种不同的云端 SD 环境后,我发现虽然每个平台都有其独到之处,但是都不尽人意。在此,我将主要从价格、下载模型和使用中遇到的问题等方面,对 AutoDL、揽睿星舟和青椒云三个平台进行一番比较,并为大家推荐一个性价比相对较高的选择:Google Colab Pro。

一、云端SD 环境对比:AutoDL,揽睿星舟,青椒云

一)价格比较

AutoDL:主要提供了两种不同的配置选项,分别是 3090 配置,每小时 1.66 元,和 A5000 配置,每小时 1.24 元。

图片展示了两种云端SD环境配置的详细信息:720机配置为RTX A5000 24GB,CPU为15核28GB内存,数据盘50GB可扩容754GB,价格为每小时1.24元;030机配置为RTX 3090 24GB,CPU为15核80GB内存,数据盘50GB可扩容0GB,价格为每小时1.66元。这些信息在上下文中用于对比不同云端SD环境的价格和配置,帮助读者了解不同服务提供商提供的不同配置及其成本。

揽睿星舟:提供了 3090-24G 配置,每小时 1.9 元,以及双核配置,每小时 4.2 元。

图片展示了两款NVIDIA 3090 GPU实例的配置详情。第一款实例配置为1个GPU,显存24GB,浮点算力35.6 TFLOPS,内存40GB,系统盘150GB SSD,CPU为Intel Xeon(Icelake) 2.6GHz,12核,价格为1.90元/时。第二款实例配置为2个GPU,显存24GB,浮点算力35.6 TFLOPS,内存80GB,系统盘500GB SSD,CPU为Intel Xeon(Icelake) 2.6GHz,24核,价格为4.20元/时。图片在上下文中用于对比不同GPU实例的配置和价格,帮助用户选择合适的云端SD环境。

青椒云:统一价格为每小时2.5元。

图片内容:该图片展示了一个名为“道玄(原赛博丹炉 朱尼酱独家)”的云端服务,提供AIGC和AI训练功能。该服务的计费方式为计时,每小时费用为2.50元。服务配置包括16核CPU、32GB内存、300GB系统盘、20 Mbps带宽和A4000显卡。图片作用:图片中的云端服务信息与上下文中的价格比较部分相呼应,展示了道玄服务的计费方式和配置,帮助读者了解其性价比。

若以重度用户每天6小时的使用时长来计算,AutoDL、揽睿星舟和青椒云的日消费分别是8元、12元和15元,月消费则是240元、360元和450元。

二)下载模型

AutoDL:用户可以直接关联百度云或阿里云进行模型的下载和上传,但系统盘容量只有50G,容易满载,需付费扩容。

图片显示了一个名为“AutoPanel”的界面,其中列出了用户可以使用的网盘服务,包括百度网盘和阿里云盘。用户可以点击“添加授权”按钮来关联这些网盘服务。图片中的文字提示用户,添加的网盘授权信息将使用独立密码进行加密保存。在上下文中,这张图片用于说明AutoDL用户可以直接关联百度云或阿里云进行模型的下载和上传,但系统盘容量有限,需付费扩容。

揽睿星舟:用户需要通过第三方软件来上传模型,过程较为繁琐,且速度时常很慢。每个用户拥有10GB的免费网盘空间,超过部分则需按实际使用量计费(0.15元/GB/月)。

图片显示了一个文件传输窗口,正在下载名为“pc_mali.7z”的文件,文件大小为58.6 MB,传输速度为144.2 MB/sec,下载进度为40%。该窗口位于一个文件管理器界面中,左侧列出了多个文件夹和文件,右侧是传输窗口。图片在上下文中用于展示用户通过第三方软件上传模型时的文件传输过程,与揽睿星舟的描述相呼应,说明了用户需要通过第三方软件上传模型,过程较为繁琐且速度慢。

青椒云:用户可通过自家客户端上传模型至云服务器,提供100GB的免费网盘空间。但是经常遇到无法关联的问题。

图片显示了青椒云云桌面的文件管理界面,用户可以上传和管理文件。界面上列出了多个文件,包括Dgirl和majicMIX realistic模型文件,文件大小从2.24GB到159.81GB不等。图片在上下文中展示了青椒云提供的100GB免费网盘空间,以及用户上传模型的过程。

三)使用中的问题

AutoDL:经常出现无法获取实例的情况严重。虽然偶尔运气好时会有充足的GPU资源,但大多数时候都面临实例短缺的问题。

图片显示了一个云端服务器的详细信息,包括服务器ID、状态、GPU型号、系统盘和数据盘的使用情况、计费方式以及释放时间。图片中的关键信息是服务器已关机,但GPU充足,系统盘使用率为57.31%,数据盘使用率为0%,并且按量计费,将在14天08小时后释放。这张图片在上下文中用于说明AutoDL在使用过程中可能遇到的实例短缺问题,尽管服务器资源充足,但在实际使用时可能仍然面临实例不足的情况。

像下面这样,已经创建了好多实例,真正要用的时候连一台都没有,猝。。。

图片内容显示了一个云端环境的管理界面,列出了多个实例的详细信息,包括实例ID、状态、规格详情、本地磁盘使用情况、健康状态、订购方式、预计释放时间、操作选项等。图片在上下文中起到补充说明的作用,帮助读者更直观地了解各个云端实例的配置和状态,从而更好地对比不同平台的优劣。

揽睿星舟:上传模型过程繁琐,需要从 C 站或哩布哩布下载到本地再上传。平台本身限制较多,安装其他软件会被锁定。

青椒云:由于是远程控制电脑,网络不佳时会出现严重的卡顿现象,平时用流畅度也不是很高。

图片显示的是青椒云的Stable Diffusion WebUI界面,界面上方有“拾世·启动器”字样,下方有多个文件夹和文件夹内的文件列表。图片右侧有“一键启动”按钮。图片在上下文中用于展示青椒云平台的界面和启动方式,与文档中提到的青椒云平台的使用问题和优势相呼应。

总体来讲,每个平台都有其利弊,但都不算完美。而 SD 软件本身是免费的,但云端使用却需付费,为了追求更为经济的方案,我终于找到了 Google Colab Pro,每月 10 美金,就能比较灵活的使用 SD,是一种非常划算的选择。

二、Google Colab 运行 SD

下面是使用 Google Colab 笔记本运行 SD AUTOMATIC1111 的详细步骤。是使用 AUTOMATIC1111 最简单的方法之一,因为我们不需要处理复杂的安装程序。

图片内容:图片展示了一个Google Colab笔记本界面,其中详细介绍了如何使用AUTOMATIC1111 Stable Diffusion进行操作。页面顶部有标题“本笔记本为你呈现 AUTOMATIC1111 Stable Diffusion 网页操作界面”,并列出了操作步骤。页面底部有“Stable diffusion”字样,以及一个指向Python 3 Google Compute Engine(GPU)的链接。图片作用:图片中的内容与上下文紧密相关,展示了如何在Google Colab中运行AUTOMATIC1111 Stable Diffusion,这与文档中提到的使用Google Colab运行SD AUTOMATIC1111的详细步骤相吻合。

更新记录

  • 2023 年 9 月 8 日:现在我们可以使用 v1.6.0 版本的 Stable Diffusion WebUI!
  • 2023 年 7 月 21 日:这款 Colab 笔记本现已支持 SDXL 1.0。
  • 2023 年 4 月 21 日:Google 已阻止免费帐户使用 Stable Diffusion。我们需要付费计划才能使用此笔记本。

三、什么是 AUTOMATIC 1111

图片显示了一个Stable Diffusion WebUI界面,用户正在使用AUTOMATIC1111进行AI生成图像的实验。界面上方有多个选项卡,如txt2img、img2img、Extras等。左侧是参数设置区域,包括Sampling method、Width、Height、CFG Scale等。右侧是生成结果展示区,显示了多个生成的图像样本。图片在上下文中起到解释AUTOMATIC1111功能的作用,展示了用户如何通过该界面进行AI图像生成操作。

用过 SD 的应该知道 AUTOMATIC1111 Stable Diffusion WebUI 是什么。就算你没用过,但你绝对见过。

AUTOMATIC1111 是一个基于Gradio 库构建的浏览器界面,专为 Stable Diffusion 而设计,该界面简化了与 Stable Diffusion 的交互,使用户更容易使用 AI 生成图像。

AUTOMATIC1111 功能丰富:我们可以在该 GUI 中使用文本到图像、图像到图像、放大、定制图像以及运行和训练自定义模型。现在许多教程都是使用此 GUI 进行演示的。

AUTOMATIC1111 充当了一个桥梁,通过提供更直观和用户友好的界面,降低了用户与 Stable Diffusion 交互的障碍,从而有助于 AI 在图像生成领域的更广泛的可访问性和可用性。

四、什么是 Google Colab?

Google Colab(谷歌合作实验室)是谷歌提供的一项交互式计算服务。它是一个 Jupyter Notebook 环境,允许我们执行 Python 代码。 Google Colab 常用于数据科学,例如探索深度学习模型。它是运行 Stable Diffusion WebUI 的完美设置

他们提供三种付费计划——Pay As You Go、Colab Pro 和 Colab Pro+。我建议使用 Colab Pro 套餐。每月9.99 美元,为我们提供 100 个计算单元,这在标准 GPU 上大约需要 50 小时。 我们还可以获得高 RAM 机器,这对于使用 V2 模型和一些扩展非常有用。

图片展示了Google Colab的付费计划选项,包括Pay As You Go、Colab Pro和Colab Pro+。其中,Colab Pro被突出显示,每月9.99美元,提供100个计算单元,适合标准GPU使用。此外,Colab Pro还提供高RAM机器,支持V2模型和扩展功能。图片在上下文中起到解释Google Colab付费计划的作用,帮助读者了解不同付费计划的优缺点,特别是Colab Pro的详细信息。

通过付费计划,我们可以选择使用高级 GPU。它是A100处理器。当我们需要快速训练 Dreambooth 模型时,这会派上用场。

图片内容:图片展示了一个名为“Card”的Web3支付应用界面,左侧突出显示了“Web3 Spending. Simplified.”的标语,右侧则显示了一个虚拟信用卡的界面,包括卡号、CVV、奖励、转账和提现选项。此外,右侧还列出了几笔交易记录,包括转账和消费记录。图片作用:这张图片出现在文档中讨论使用虚拟信用卡支付时,具体展示了如何通过该应用进行支付操作。图片中的虚拟信用卡界面和交易记录与上下文中的支付方式相关联,帮助读者理解如何使用虚拟信用卡进行支付操作。

图片显示了Visa和Mastercard两种信用卡的支付支持情况。Visa支持的支付方式包括PayPal、Apple Store、Google Play等,而Mastercard则支持PayPal、Apple Store、Google Play等。此外,Visa和Mastercard都支持OpenAI API、ChatGPT Plus、Apple Store、Google Play等支付方式。图片在上下文中起到解释支付方式支持情况的作用,帮助读者了解在使用Google Colab时,哪些支付方式是可用的。

支付时我用的是 Onekey 虚拟信用卡。很顺利就付款成功了。

当我们将 Colab 用于 AUTOMATIC1111 时,请务必在完成后断开连接并关闭笔记本电脑。当笔记本电脑保持打开状态时,它将消耗计算单元。

五、运行 Colab 笔记本的步骤说明

图片显示了一个带有“Open in Colab”文字的图标,图标左侧有一个蓝色的圆圈,内有白色的“O”字母。这表明用户可以点击该图标在Google Colab中打开链接。在上下文中,这一步骤说明了如何进入Colab笔记本,用户需要点击链接打开Colab笔记本,以便进行下一步操作。

https://colab.research.google.com/github/metafeng/Binder/blob/master/%E6%9C%80%E6%96%B0StableDiffusionUI_ngrok_sagiodev.ipynb

步骤1:进入 Colab 笔记本

打开上面的 Colab 笔记本链接。我们应该看到第二个单元格的笔记本,如下所示。

图片显示了一个名为“Stable diffusion”的界面,其中包含多个输入框和选项。输入框包括“output_path”、“username”、“password”、“NGROK”和“version”,以及一个下拉菜单“Save_In_Google_Drive”。界面底部有一个“Clear_Log”复选框。图片在上下文中用于说明启动AUTOMATIC1111 Stable Diffusion webui后需要输入的用户名和密码,并提示用户选择将哪些内容保存在Google Drive中。

步骤 2. 检查用户名和密码

启动 AUTOMATIC11111 后我们将需要输入此信息。

步骤 3. 查看 Save_In_Google_Drive 选项(选择将哪些内容保存在 Google 云盘中)

有三个选项可供选择。

  1. Everything:将整个 AUTOMATIC1111 Stable Diffusion webui 保存在我们的 Google Drive 中。此选项维护会更复杂,仅建议高级用户使用。

  2. 小模型、图像和设置:保存 Lora 模型、嵌入、GUI 设置和 Google 云端硬盘中的所有图像。

它将从我们的 Google 云端硬盘加载以下内容。

  • Model 模型(来自 output_path /models 文件夹)
  • Upscalers 升级算法(来自 output_path /ESRGAN 文件夹)
  • Lora 模型(来自 output_path /Lora 文件夹)
  • Embeddings 嵌入(来自 output_path /embeddings 文件夹)
  1. Nothing:不会使用我们的 Google 云端硬盘。断开连接后,所有数据和图像都将被删除。

如果我们选择第一个或第二个选项,我们必须授予访问 Google 云端硬盘的权限。

图片显示了一个弹窗对话框,询问用户是否允许此Google Colab笔记本访问其Google云端硬盘文件。对话框中提到,如果授予访问权限,笔记本中的代码将能够修改云端硬盘中的文件。用户需要在授予访问权限之前检查笔记本代码。图片中的关键信息包括“不”和“连接到Google云端硬盘”两个按钮,以及对访问权限的详细说明。在上下文中,这张图片解释了在运行Colab笔记本时需要授予访问Google云端硬盘的权限步骤。

步骤4. 检查要加载的模型

目前这个笔记本提供了 v1.4、v1.5、v1.5 inpainting、F222、anything v3、inkpunk diffusion、Mo Di diffusion、v2.1-512、v2.1-768 和 v2 深度模型。

如果我们是首次使用,可以选择 v1.5 型号。这里,我也同时勾选了 SDXL 1.0 模型。

图片显示了一个列表,列出了多个模型选项,包括v1.4_model、v1.5_model、v1.5_inpainting_model等。其中,v1.5_model和SDXL_1模型被勾选。这表明用户在运行Colab笔记本时,选择了这些特定的模型进行加载。图片在上下文中起到说明用户需要选择要加载的模型的作用,帮助用户理解在运行Colab笔记本时需要勾选哪些模型以满足需求。

运行时会下载我们勾选的 V1.5,SDXL 基础和精炼模型。

图片显示了三个模型下载的结果,包括V1.5、SDXL基础和精炼模型的下载进度和路径。这些信息在步骤4中提到,用于说明在运行Colab笔记本时会自动下载选定的模型。图片在上下文中起到解释和补充说明的作用,帮助读者理解模型下载的具体情况和位置。

步骤 5. 选择要安装的插件

图片显示了一个名为“Extensions”的列表,其中包含了多个插件选项,如ControlNet、Deforum、Regional_Prompter、Ultimate_SD_UpScale、Openpose_Editor、ADetailer、AnimateDiff和text2video。其中,ControlNet、Openpose_Editor和AnimateDiff选项被勾选。这张图片在上下文中用于说明在运行Colab笔记本时,用户可以选择安装这些插件。

如果我们选择将所有内容保存在 Google 云端硬盘中,模型将下载到我们的 Google 云端硬盘中。

步骤 6. 启动应在几分钟内完成

如果我们没有订阅 Pro 版,它可能会警告我们需要高内存。如果我们不使用 v2.1 768 px 模型,则忽略警告是可以的。

需要多长时间取决于我们包含的模型数量。完成后,我们应该会看到下面的消息。

图片显示了在Google Colab Pro中运行Stable Diffusion模型的步骤。在步骤8中,用户需要登录AUTOMATIC1111 GUI,并在提示文本框中输入特定的文本指令“beautifulwoman,medium_shot,wallpaper,”然后点击“生成”按钮。图片中突出显示了“Running on public URL: https://941b8798-ba18-4fb4.gradio.live”这一行,表明用户可以访问公共URL来查看生成的图像。

步骤 7. 点击 gradio.live 链接,输入用户名和密码

启动 AUTOMATIC1111,输入我们在笔记本中指定的用户名和密码。

图片显示了一个登录界面,包含用户名和密码输入框。用户名输入框中已输入“user”,密码输入框中显示为“****”以隐藏真实密码。下方有一个橙色的“Login”按钮。图片在上下文中用于说明步骤7,即点击gradio.live链接后,需要输入用户名和密码进行登录。

步骤 8. 登录后我们应该会看到 AUTOMATIC1111 GUI

在提示文本框中输入“beautifulwoman,medium_shot,wallpaper,”然后按“生成”,我们应该会看到它生成了 4 张美女的图像。

图片显示了一个网页界面,用户正在使用AUTOMATIC1111生成图像。界面上方有输入框,用户输入了“beautifulwoman,medium_shot,wallpaper”作为提示文本。右侧显示了生成的四张图像,每张图像下方都有一个“删除”按钮。图片下方有多个滑块和设置选项,如“Width”、“Height”、“DPI”等,用于调整生成图像的尺寸和质量。图片在上下文中展示了用户在使用AUTOMATIC1111生成图像的具体操作步骤,帮助用户理解如何通过输入提示文本和调整参数来生成所需的图像。

ngrok(可选)

如果我们遇到 GUI 的显示问题,我们可以尝试使用 ngrok 而不是 Gradio 来建立公共连接。它是默认 gradio 连接的更稳定的替代方案。

我们需要设置一个免费帐户并获取一个authoken。

  1. 前往 https://ngrok.com/
  2. 创建一个帐户
  3. 验证邮件
  4. https://dashboard.ngrok.com/get-started/your-authtoken 复制 authoken 并将其粘贴到笔记本中的 ngrok 字段中。

输入 ngrok authtoken 后,笔记本中的 SD 单元应如下所示。

图片显示了一个Stable Diffusion的配置界面,其中包含多个输入字段,如output_path、username、password、NGROK和version等。此外,界面底部还提供了关于保存模型、图像和设置的说明。图片在上下文中用于展示在运行Colab笔记本时需要填写的配置信息,帮助用户正确设置Stable Diffusion的运行环境。

单击左侧的播放按钮开始运行。加载完成后,我们将在单元格下的输出中看到指向 ngrok.io 的链接。单击 ngrok.io 链接启动 AUTOMATIC1111。下面示例输出中的第一个链接是 ngrok.io 链接。

图片显示了在Google Colab Pro中运行Stable Diffusion WebUI的详细步骤。在ngrok连接成功后,用户可以看到一系列信息,包括模型参数、加载权重的时间以及运行的本地URL。图片中的关键信息包括ngrok链接、模型参数、加载权重的时间和本地运行URL。这些信息在上下文中用于说明如何在Google Colab Pro中设置和运行Stable Diffusion WebUI,帮助用户理解如何启动和配置该工具。

当我们访问 ngrok 链接时,它应该显示如下消息

图片显示了一个通过ngrok提供的临时网站链接,提示用户访问该网站时需要注意安全问题。页面顶部显示了网站的IP地址和访问链接,下方列出了访问ngrok网站时的注意事项,包括网站免费服务、访问者需信任发送链接的人、谨慎披露个人信息等。页面底部有一个蓝色的“访问站点”按钮。这张图片在上下文中起到示例作用,说明了如何通过ngrok链接访问临时网站,并提示用户在访问时应关注安全问题。

单击“访问站点”以启动 AUOTMATIC1111 GUI。有时,我们会看到一条警告消息,指出该网站访问不安全。这可能是因为有人使用相同的 ngrok 链接来发布恶意内容。由于我们是创建此链接的人,因此我们可以忽略安全警告并继续。

笔记本使用结束

使用完笔记本后,不要忘记单击右上角下拉菜单中的“断开连接并删除运行时”。否则,我们将继续消耗计算单元。

图片显示了一个Google Colab AI界面的下拉菜单,其中突出显示了“断开连接并删除运行时”选项。这个选项位于菜单的底部,背景为白色,文字为黑色,与周围其他选项形成对比。在上下文中,该图片用于说明在使用完Colab笔记本后,用户应执行的最后一步操作,以确保不继续消耗计算单元。

支持的运行时类型

我们可以通过单击顶部菜单中的 运行时 -> 更改运行时类型。

图片显示了在Google Colab Pro中更改运行时类型的界面。用户可以选择不同的硬件加速器,如T4 GPU、A100 GPU、V100 GPU或CPU,以及高RAM选项。图片中突出显示了T4 GPU和高RAM的选项,箭头指向“更改运行时类型”按钮,提示用户进行选择。这与上下文中的说明一致,强调了在SD云端环境中使用T4 GPU和高RAM的重要性。

GPU 和 TPU

此笔记本支持以下运行时类型。

  • T4 GPU(推荐)
  • A100 GPU
  • V100 GPU

不要使用 CPU 或 TPU。 TPU 与 SD WebUI 不兼容。

RAM

应使用高 RAM。

资源和计算单元

图片显示了Google Colab Pro的资源信息,包括可用计算单元、使用率和有效会话数。左侧菜单栏中有一个“查看资源”选项,右侧详细列出了系统RAM、GPU RAM和磁盘空间的使用情况。图片在上下文中起到解释如何查看和管理Colab Pro的计算资源和计算单元的作用,帮助用户更好地了解和使用Colab Pro的资源。

要查看计算资源和极短单元,请单击右上角运行时类型(例如 T4、高 RAM)旁边的向下三角符号。我们将看到剩余的计算单元和资源使用率。

六、保存在 Google Drive

小模型、图像和设置

我推荐使用这个。这是为了将小数据文件保存到 Google Drive 但下载大文件而设计的。所以我们的 Google Drive 存储空间不会被 SD 耗尽。

图片显示了一个名为“Stable diffusion”的界面,其中突出显示了“Small models, images and settings (Recommended)”选项。该选项被红色边框包围,表明它被选中或推荐。在上下文中,这与保存在Google云端硬盘中的小模型、图像和设置相关联。图片的作用是直观地展示了用户在使用Stable diffusion时,如何选择保存内容的选项,确保用户能够正确地保存生成的图像和其他设置。

我们选择 Small models, images and settings 选项。以下内容会保存在我们的 Google 云端硬盘中

  • 所有生成的图像
  • 图形用户界面设置
  • 最后生成的图像中使用的提示和参数
  • Embeddings 嵌入(路径:AI_PICS/embeddings)
  • Lora 模型(路径:AI_PICS/Lora)
  • Upscalers 升级器(路径:AI_PICS/ESRGAN)
  • Hypernetworks 超网络(路径:AI_PICS/hypernetworks)

图片显示了Google Drive中的AI_PICS文件夹内容,包括outputs、models、ESRGAN、hypernetworks、embeddings、Lora、VAE、styles.csv、SD模型下载.ipynb、ui-config.json、config.json和params.txt等文件。这些文件与SD云端环境的保存和使用相关,特别是与生成图像和图形用户界面设置有关。图片在上下文中起到展示文件结构和内容的作用,帮助用户了解如何保存和管理生成的图像和其他相关设置。

下次运行笔记本时,以上所有内容都将可用。

此选项不会在我们的 Google 云端硬盘中保存任何模型。但它会加载我们放入 AI_PICS/models 中的所有模型。

我们只需将我们经常使用但不在 Notebook 的型号列表中的型号放入 AI_PICS/models 中即可。由于模型文件很大(2 到 7 GB),因此我们不希望在 Google 云端硬盘中放入太多模型文件。 (Google Drive的免费存储空间只有15 GB)

安装 LoRA

LoRA 模型是可应用于模型检查点的小补丁。它们的大小很小,通常在 3-200 MB 之间,因此方便存储,它们是模型的替代品。

要安装 LoRA 模型,请将模型拖放到文件资源管理器面板中的目录 stable-diffusion-webui > models > Lora 中。

图片显示了一个文件资源管理器界面,其中“stable-diffusion-webui”文件夹下的“models”文件夹被展开,显示了多个模型文件夹,包括“Codeformer”、“ESRGAN”、“GFPGAN”、“LDSR”和“Lora”。Lora文件夹被高亮显示,这与上下文中提到的“要安装LoRA模型,请将模型拖放到文件资源管理器面板中的目录stable-diffusion-webui>models>Lora中”相呼应。图片的作用是直观地展示了LoRA模型文件夹的位置,帮助用户在实际操作中找到并安装LoRA模型。

Lora 模型文件夹

如果选择 Use_Google_Drive,LoRA 模型将保存到我们的 Google Drive 下的 AI_PICS > Lora 下。如果我们选择相同的选项,下次可以重复使用该模型。

或者,如果我们使用 Google Drive 选项,则可以将 Lora 模型放入 Google Drive 的 AI_PICS > Lora 中。这样上传速度更快。

安装 Embeddings

Embeddings 嵌入是用于修改样式或注入对象的轻量级文件。要安装嵌入,请将文件拖放到 stable-diffusion-webui > embeddings 。

图片显示了一个文件夹结构,其中包含“stable-diffusion-webui”文件夹,该文件夹下有“configs”和“embeddings”两个子文件夹。图片中的“embeddings”文件夹被高亮显示,这与上下文中提到的“要安装嵌入,请将文件拖放到stable-diffusion-webui>embeddings”相吻合。图片在上下文中起到示例作用,帮助读者理解如何在Google Drive中找到并使用嵌入文件。

每当我们切换模型时,嵌入都会重新加载。我们将在 Colab 的日志消息中收到确认信息。

图片内容:图片显示了在Google Colab中加载VAE权重和应用xformers交叉注意力优化的过程。文本中提到“Textual inversion embeddings loaded(1): Style-Autumn”,表明已经成功加载了文本反转嵌入,用于风格调整。图片作用:在上下文中,图片描述了在Google Colab环境中进行模型加载和优化的具体步骤。它帮助读者理解在切换模型时,如何确保嵌入能够正确加载,并且在日志中收到确认信息。

安装 Upscalers

我们可以在 Google 云端硬盘中使用升级程序。只需将它们放入 Google 云端硬盘的 AI_PICS > ESRGAN 文件夹中即可。下次当我们使用 Use_Google_Drive 选项启动笔记本时可以直接使用。

AI_PICS > ESRGAN 

使用 Google 云端硬盘中的模型

我们可以使用 Google 云端硬盘中的模型。我们必须将模型放置在以下默认位置。

AI_PICS/models

该文件夹中的所有模型都将在启动期间加载。

安装 hypernetworks

要安装超网络,请将它们放在以下位置

AI_PICS/hypernetworks

保存在 Google 云端硬盘 – Everything

图片显示了一个下拉菜单,标题为“Save In Google Drive”,选项包括“Everything”、“Small models, images and settings (Recommended)”和“Nothing”。当前选中的是“Everything”。在图片的下方,有一个复选框标记为“Clear Log”,旁边有一个勾选符号。图片的作用是展示用户在保存Stable Diffusion Webui文件夹内容时的选项,用户可以选择将所有内容保存在Google云端硬盘中,或者选择特定的文件类型进行保存。

此选项将整个 Stable Diffusion Webui 文件夹保存在我们的 Google 云端硬盘中。默认位置是 AI_PIC > stable-diffusion-webui。安装模型和其他的方式没有什么不同。下面是文件夹路径:

  • 模型:AI_PICS/stable-diffusion-webui/models/Stable-diffusion
  • Embeddings 嵌入(路径:AI_PICS/embeddings)
  • Lora 模型(路径:AI_PICS/Lora)
  • Upscalers 升级器(路径:AI_PICS/ESRGAN)
  • Hypernetworks 超网络(路径:AI_PICS/hypernetworks)

七、从 URL 安装模型

我们可以使用 Model_from_URL 字段从 URL 安装模型。目前,我们只能安装 V1 模型。

图片内容:图片显示了一个安装模型的界面,上方提示用户从URL安装模型,下方有两个选项:Model_from_URL和Save_a_copy_in_Google_Drive。用户需要在Model_from_URL字段中输入模型的URL,并选择是否在Google云端硬盘中保存模型的副本。图片作用:该界面是文档中介绍如何从URL安装模型的部分,用户需要根据文档中的指导填写相应的信息。图片中的选项和提示帮助用户理解如何操作,确保模型能够正确安装和保存。

在 Google 云端硬盘中保存副本

图片显示了一个复选框,标记为“Save_a_copy_in_Google_Drive”,并已勾选。这表明用户选择了在Google云端硬盘中保存模型的副本。在上下文中,这对应于从Google云端硬盘中保存模型副本的选项,说明用户可以将模型保存在Google云端硬盘的AI_PICS/models文件夹中,以便下次启动笔记本时自动加载。

我们可以选择使用 Save_a_copy_in_Google_Drive 在 Google 云端硬盘中保存模型的副本。它们将保存在模型加载位置。 AI_PICS/models 。

下次启动笔记本时,我们在 Google Drive 中保存的模型将自动加载。

仅当我们使用推荐的设置时才使用此选项:在 Google 云端硬盘中保存小模型和图像。

从 HuggingFace 安装模型

下面是从 HuggingFace 安装 DreamShaper 的示例输入

https://huggingface.co/Lykon/DreamShaper/resolve/main/Dreamshaper_3.32_baked_vae_clip_fix_half.ckpt

(此模型更新频繁,链接可能不正确)

从 Civita 安装模型

我们需要复制用于下载模型的 URL 链接。不要使用模型页面的 URL。

要复制下载链接,请右键单击“下载”按钮,然后选择“复制链接地址”。

图片显示了一个名为“DreamShaper”的模型的下载页面,页面顶部有一个下载按钮,旁边显示文件大小为10.13 MB。页面左侧展示了一个像素化的羊驼图像,右侧则展示了两个色彩鲜艳的羊驼图像。页面底部有用户评论和评分信息。图片在上下文中用于说明如何从Civita安装模型,具体步骤是复制用于下载模型的URL链接,通过右键单击“下载”按钮并选择“复制链接地址”来获取链接。

SD 模型下载器

一般来讲我们下载模型时非常复杂的,需要先从模型网站下载到本地再上传云盘,那为什么不一次性到位呢?于是乎,我根据前面下载模型的代码改写了一个 SD 模型下载器。任何时候都可以下载模型。

图片显示了一个带有“Open in Colab”文字的图标,背景为亮黄色。该图标位于文档中介绍如何从URL安装SD模型下载器的部分,提示用户可以点击该图标在Google Colab中打开链接。这表明用户可以通过这种方式在云端环境中运行代码,从而下载SD模型。

https://colab.research.google.com/github/metafeng/Binder/blob/master/SD_%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E5%99%A8.ipynb

# 使用apt命令安装aria2下载工具
!apt install aria2

# 导入google.colab库的drive模块,用于在Google Colab环境中挂载Google Drive
from google.colab import drive
# 挂载Google Drive到'/content/drive'路径
drive.mount('/content/drive')

# 定义一个名为downloadModel的函数,该函数接受一个名为url的参数
def downloadModel(url):
  # 检查url中是否包含'huggingface.co'
  if 'huggingface.co' in url:
    # 从url中获取文件名
    filename = url.split('/')[-1]
    # 使用aria2c工具下载文件,指定参数并设置输出文件名
    !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M {url}  -o {filename}
  else:
    # 如果url中不包含'huggingface.co',则假定为civitai的链接,并使用aria2c工具下载文件
    !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M {url}

# 定义一个名为download_models的函数,该函数接受两个参数:url和types,其中types的默认值为"models"
def download_models(url, types="models"):
  # 检查types参数是否为'lora'
  if types == 'lora':
    # 如果是'lora',则切换当前目录到'/content/drive/MyDrive/AI_PICS/Lora'
    %cd /content/drive/MyDrive/AI_PICS/Lora
  else:
    # 如果不是'lora',则切换当前目录到'/content/drive/MyDrive/AI_PICS/models'
    %cd /content/drive/MyDrive/AI_PICS/models
  # 输出下载模型的进度提示
  print('⏳ Downloading models ...')
  # 调用downloadModel函数,传入url参数,开始下载模型
  downloadModel(url)

url = 'https://civitai.com/api/download/models/171904'
download_models(url,'lora')

从 C 站获取到下载链接,替换掉单元格中的链接,直接就会下载到我们的谷歌云端硬盘中。

根据我们的选择,Lora 模型会下载到对应的 /AI_PICS/Lora 文件夹,Checkpoint 模型则会下载到 /AI_PICS/models 文件夹。

图片显示了一个Google Colab的代码片段,用于从CivitAI网站下载Lora模型。代码中定义了一个URL变量,并调用download_models函数下载模型。下载完成后,显示了下载结果,包括下载速度和文件路径。图片在上下文中起到示例作用,展示了如何使用Google Colab从CivitAI下载Lora模型,并将其保存到指定文件夹中。

这个链接是 Lora 文件,我指定类型后自动下载到了 Lora 文件夹里面。

图片显示了Google云端硬盘中的文件夹内容,具体位于“AI_PICS”下的“Lora”文件夹。文件夹中包含多个Lora模型文件,如“v2_lora_RollingClockwise.ckpt”和“v2_lora_PanRight.ckpt”等,文件大小均为73.9 MB。此外,还有一个名为“FF-LLama-Generator-lora.safetensors”的文件,文件大小为109.1 MB。图片在上下文中起到展示Lora模型下载路径的作用,帮助读者了解如何将Lora模型下载到对应的文件夹中。

八、从 URL 安装扩展

我们可以使用此字段安装任意数量的扩展。我们将需要扩展的 Github 页面的 URL。

例如,如果要安装 Civita 模型扩展,请输入以下内容。

https://github.com/civitai/sd_civitai_extension

我们还可以安装多个扩展。 URL 需要用逗号分隔。例如,以下 URL 安装提示词插件,汉化插件和反推插件

https://github.com/Physton/sd-webui-prompt-all-in-one,https://github.com/VinsonLaro/stable-diffusion-webui-chinese,https://github.com/toriato/stable-diffusion-webui-wd14-tagger

图片内容:图片展示了三个GitHub链接,分别指向不同扩展的安装地址。第一个链接是“https://github.com/VinsonLaro/stable-diffusion-webui-chinese”,第二个链接是“https://github.com/Physton/sd-webui-prompt-all-in-one”,第三个链接是“https://github.com/toriato/stable-diffusion-webui-wd14-tagger”。这些链接对应于上下文中提到的“汉化”、“一键提示词”和“反推”扩展。图片作用:图片中的链接与上下文中的扩展安装地址相对应,帮助读者快速找到并安装这些扩展,从而实现SD云端环境的优化配置。

但是反推插件没有起作用,估计是 1.6.0 版本还没兼容。

九、webui 的额外参数

我们可以使用 Extra_arguments 字段向 Web-UI 添加额外的参数。

图片展示了额外的Web-UI参数设置,具体为“-disable-model-loading-ram-optimization”。这表明用户可以自定义额外参数以优化模型加载过程。在上下文中,这部分内容与“webui的额外参数”相关,说明用户可以通过设置这些参数来增强Web-UI的性能和功能。

例如,如果我们使用 lycoris 扩展,则可以方便地使用额外的 webui 参数 --lyco-dir 在 Google 云端硬盘中指定自定义 lycoris 模型目录。

其他有用的参数是

  • --api 允许 API 访问。对于某些应用程序很有用,例如 PhotoShop AUTOMATIC1111 插件。

十、此笔记本可供选择安装的插件

图片显示了一个列表,列出了多个插件选项,包括ControlNet、Deforum、Regional_Prompter、Ultimate_SD_Upscale、Openpose_Editor、ADetailer、AnimateDiff和text2video等。这些插件选项在文档中被提及,用于描述SD云端环境中的可用插件。图片中的这些选项与上下文中的讨论内容紧密相关,展示了用户可以安装的多种插件,以增强SD(Stable Diffusion)模型的功能。

ControlNet

ControlNet 插件可以复制输入图像的构图和姿势等。 ControlNet 在 SD 社区中掀起了一场风暴,因为我们可以用它做很多事情。

比如之前做过的光影文字图就主要是用 Controlnet 实现的:

图片展示了一个使用Stable Diffusion和ControlNet生成艺术字的过程。输入图像为一个跳舞的年轻女性,标注了OpenPose关键点检测结果。通过Stable Diffusion和ControlNet,根据输入提示“全身,一个年轻的女性,头发高光,餐厅外跳舞,棕色眼睛,穿着牛仔裤”,生成了一张艺术字图像。图片在上下文中说明了OpenPose编辑器插件的功能,展示了如何通过标注和生成技术实现艺术字创作。

图片内容:图片展示了一位长发蓝眼的女性角色,她穿着白色衬衫和深蓝色裙子,站在户外的走廊上,背景中可以看到另一位女性角色和一些建筑物。图片下方有一个小图,显示了一位穿着红色短裤的女性站在海边,旁边有一个彩色的线条图案,下方有“换动作”的字样。图片作用:这张图片出现在文档中讨论Openpose编辑器插件的部分,展示了使用该插件编辑图像的效果。图片中的女性角色和海边场景可能用于说明Openpose编辑器如何改变图像中的动作或姿势,而彩色线条图案则可能代表了编辑过程中使用的控制点或轨迹。

Openpose 编辑器

Openpose 编辑器插件可让我们编辑 openpose 控制图像。它对于使用 ControlNet 操纵图像生成的姿势非常有用。它与 ControlNet 一起使用。

Deforum – 使用 SD 制作视频

我们可以使用 Deforum 插件制作带有文本提示的视频。

图片显示了Deforum插件的界面,左侧标签栏中突出显示了“Keyframes”选项,右侧则提供了视频生成的相关设置,包括“Interrupt”和“Generate”按钮。图片在上下文中起到解释和指导的作用,帮助用户了解如何使用Deforum插件制作带有文本提示的视频。

Regional_Prompter 区域提示器

区域提示器插件允许我们对图像的不同区域使用不同的提示词。它是一个非常有价值的插件,用于控制对象的构图和放置位置。

图片显示了一个名为“Regional Prompter”的插件界面,其中突出显示了“Use common prompt”选项。该选项被选中,表明用户可以选择使用通用提示词。此外,界面还提供了其他设置选项,如“Divide mode”(分割模式)和“Generation mode”(生成模式),以及“Divide Ratio”(分割比例)和“Base Ratio”(基础比例)等参数。在上下文中,这个插件被描述为一个有价值的工具,用于控制图像中对象的构图和放置位置。因此,图片中的“Use common prompt”选项在上下文中起到说明用户是否选择使用通用提示词的作用。

a man and a woman, a man with black hair

BREAK

a man and a woman, a woman with blonde hair

一个男人和一个女人,一个有黑色头发的男人

BREAK

一个男人和一个女人,一个有金色头发的女人

图片中,一位黑发男子和一位金发女子并肩站立。男子穿着灰色西装外套,内搭黑色T恤,表情严肃;女子则穿着白色高领毛衣,金色卷发自然垂落,双臂交叉,面带淡然表情。背景为灰色,突显人物形象。图片内容与上下文中的“一个男人和一个女人,一个有黑色头发的男人”及“一个男人和一个女人,一个有金色头发的女人”描述相符,展示了不同发型的男女形象,用于说明区域提示器插件的功能。

After Detailer

After Detailer 插件会在我们生成图像时自动修复脸部和手部。

图片显示了ADetailer插件的设置界面,其中启用了ADetailer功能,并选择了模型“face_yolov8n.pt”。在上下文中,ADetailer插件用于自动修复生成图像中的脸部和手部。图片中的设置界面与上下文中的描述紧密相关,展示了如何启用和配置ADetailer插件以实现图像修复功能。

图片中,一位女性坐在一个色彩斑斓的糖果上,背景是渐变的紫色和粉色。她的表情愉悦,穿着一件色彩鲜艳的连衣裙,脚上穿着白色高跟鞋。这张图片展示了After Detailer插件在修复图像时的效果,通过对比原始图像和启用插件后的图像,可以直观地看到After Detailer插件在自动修复脸部和手部方面的显著效果。

原始图像脸是崩的

图片中,一位女性坐在一个彩虹色的漩涡背景前,她穿着一件色彩斑斓的连衣裙,脚上穿着白色高跟鞋。背景的漩涡由多种鲜艳的颜色组成,营造出一种梦幻般的氛围。图片在上下文中展示了After Detailer插件的效果,说明该插件在生成图像时自动修复脸部和手部,通过对比原始图像和启用插件后的图像,可以直观地看到修复效果。

启用 After Detailer 后脸被修复了

AnimateDiff

AnimateDiff 插件允许我们根据文本提示词创建短视频。我们可以使用任何 SD 模型和 LoRA。

图片显示了一个名为“AnimateDiff”的界面,其中包含一个下拉菜单,选择“mm_sd_v15_v2.ckpt”作为Motion module。界面中还显示了“Enable AnimateDiff”选项已勾选,以及设置为32帧和8帧每秒(FPS)。此外,界面底部提供了多种保存格式选项,包括GIF、MP4和PNG。该界面用于创建短视频,允许用户根据文本提示词使用SD模型和LoRA进行动画生成。在上下文中,这张图片展示了如何启用和配置“AnimateDiff”插件,以创建基于文本提示的短视频。

图片中是一位穿着银色紧身盔甲的女性,她的头发是银色的,整体造型显得非常未来感和科幻。这张图片展示了After Detailer插件在修复原始图像脸崩问题上的效果。在上下文中,图片被用来说明After Detailer插件在修复图像细节方面的强大功能,与之前提到的原始图像脸崩问题形成对比,突显了插件的修复能力。

text2video 文字转视频

Text2video 允许我们使用名为 Modelscope 的模型根据文本提示创建短视频。

图片显示了一个名为“text2video”的界面,左侧是模型选择和参数设置区域,右侧是生成的短视频预览。左侧的“Model”选项被选为“ModelScope”,“t2v”被选为模型类型。在“Prompt”框中输入了“a lion and a man in a suit fighting”。右侧预览区显示了一段短视频,视频中有一只狮子和一个穿着西装的男人在打斗。这个界面用于根据文本提示词创建短视频,展示了“text2video”插件的功能。

图片中,一位穿着黑色西装、打着领带的男子正弯腰在草地上捡起地上的物品。他的头发蓬松,显得有些凌乱。图片展示了在使用After Detailer插件修复图像前后的对比效果,具体来说,这张图片展示了在修复前,图像中的人物脸部细节模糊,而在修复后,脸部细节得到了显著改善。

十一、最后的话

总而言之,Google Colab Pro 在我看来是使用 SD 的最佳选择。它只需要 10 美元,就可以获得稳定的 GPU 计算资源,灵活方便地使用 SD 软件和模型,完全不受限制。

Colab 最大的优势在于可以无缝连接谷歌云端硬盘,可以长期保存生成的图片、Lora 模型和其他模型,省去每次运行前等待下载的时间。安装扩展和模型也极为方便,只需复制链接即可高速下载到云盘指定位置。

此外,今天介绍的这个笔记本中安装各种插件也是灵活可控自由选择,每次根据不同选择来添加,文字转视频、细节修复等。我们甚至可以选择不同的 GPU 类型来获得更强大的计算能力。

相比其他云平台,Colab Pro 的可定制性更强,使用更为灵活方便。如果你想高效便捷地进行云端 SD 跑图,我认为 Colab Pro 将是最佳之选。