lllusterious：想要统治动漫艺术生成的人工智能模型

2025-01-14 08:09 loading...

币安交易所是全球加密货币交易所龙头，在手机上即可买卖比特币等数字货币！

币圈网报道：

卓越非凡基于Stable Diffusion XL的文本到图像模型在人工智能艺术社区中已经占据主导地位，以至于最大的人工智能艺术模型中心Civitai不得不创建一个单独的类别来处理其庞大的资源生态系统。

这一切都发生在三个月内。成功背后的秘密？以一种扭曲的方式回归基本。

虽然SD 3.5和Flux等较新的模型依赖于冗长的自然语言描述，小野马AIIllustrious的开发人员采取了不同的方法，利用Danbooru标签帮助他们的模型理解概念，而无需重新发明复杂的字幕系统。

该模型在Danbooru庞大的标记动漫图像库上的训练使其在理解视觉概念方面具有优势。

Danbooru系统中的每个标签都代表特定的元素，如角色特征、服装、姿势或背景，从而可以精确控制生成的图像，而不会在冗长的描述上浪费宝贵的标记。

这些标签已经存在多年，并已成为艺术/动漫爱好者进行图像分类的标准。

当涉及到理解照片的特征时，该模型非常准确和高效。

参与专注于NSFW人工智能内容的服务器的Discord成员Vishnu告诉记者：“这就像有一个艺术家，他完全理解你想要什么，而不必用段落来解释。”解密“你只需要知道正确的标签。”

Illustrious的核心是使用旧的好东西SDXL架构使用复杂的双编码器系统，结合CLIP ViT-L和OpenCLIP ViT-bigG来理解单词并将其与视觉等价物相关联。

该模型能够以令人印象深刻的1536×1536分辨率处理和生成图像，能够扩展到2048×2048甚至3744x3744，而不会造成明显的质量损失。

就上下文而言，最初的SDXL处理全高清分辨率（1024x1024）。

深潜

创造卓越的旅程是有条不紊、深思熟虑的。最初的训练阶段产生了0.1版本，以1024×1024的分辨率处理了7.5M张图像，每批处理192张图像。

该团队仔细平衡了学习率，运行了20个epoch（人工智能研究其100%数据集的过程），以建立坚实的基础。一旦结果足够令人满意，团队就开始增加数据集的大小和用于下一次迭代的分辨率。

在高级训练阶段，卓越真正开始闪耀。1.0版本将数据集扩展到1000万张图像，并将分辨率提升到1536×1536。

尽管他们将批处理大小减少到128，但他们引入了复杂的标签操作策略和寄存器令牌，这些根本性的变化定义了模型的卓越性能。

2.0版本的最后改进阶段更进一步。该团队以相同的高分辨率处理2000万张图像，但批量大小更大，为512张，他们采用了一种多字幕方法，大大提高了文本与图像的对应性。

结果是最好的外富众所周知的发电机，具有良好的微调能力、快速的附着力、美观的外观和高质量的输出。

对于更精通技术的人来说，卓越的开发人员还引入了很多有趣的技术就像“无退出令牌”方法一样，确保在训练过程中永远不会排除特定的令牌；准注册令牌的实现，使模型能够处理未知或奇怪的概念；余弦退火调度器，用于学习率；多级衰减系统和输入扰动噪声增强，将一个简单的人工智能模型变成一个强大的引擎。

Illustrious不需要任何额外的步骤来运行。

安装过程与任何其他SDXL型号相同。下载检查点并将其放入相应的文件夹中，具体取决于您使用的UI。

Windows和Linux

MacOS

Mac用户也有类似的路线。然而，一些流行的面向macOS的UI需要额外的步骤。

加载模型后，有三件事需要考虑。

不要使用自然语言。记住要依赖Danbooru标签，并坚持旧的SDXL提示风格，以获得更好的结果。
不要使用Pony LoRas。由于模型使用了不同的方法，因此最好使用Illustrious Loras来获得最佳结果。
尽量不要使用最初的Illustrious模型，而是选择一些最受欢迎的曲调。最初的Illustrious模型是一个基础模型，非常适合专注于你想要实现的结果的微调。它与SDXL、Pony或Flux相同。微调往往会产生更好的结果。