AI+Matte Painting大神教你如何驯服AI绘画

　　目前，AI绘画已经或多或少地进入到了游戏或影视的开发流程之中，但要准确地还原出创作者的意图，提升创作者的愿景，还需要更多的人工控制与探索。

　　今天，将为大家带来Mazz大神的AI创作流程分享，适合本身具有数字绘画基础及AI使用经验的朋友进行参考~

　　本教程是一个工作流详解，主要讲述如何在创作中，利用Stable Diffusion进行图像生成、图像融合、添加细节和放大的工作。

　　画面元素：背景为森林及阳光，中景为主要人物、石头和各种物品，前景为植物及土地。

　　找到森林和石头的图片素材，在Photoshop中进行合成，加入光线，粗略处理成想要的构图和透视角度。

　　注意，此时不需要在意任何画面细节。生成的图片即使有一些错误也不需要修补。

　　首先需要确定人物动作。这里我在草图的基础上，用Clip Studio Pro中的3D人物模型进行姿态调整。你也可以使用其他3D Pose类软件生成人物姿态。

　　然后我们需要使用ControlNet的Openpose功能，生成人物姿态。

　　为了控制人物的色彩，可以用一张色彩合适的图片放入img2img中，将Denoising strength调至0.9以上，作为色板使用。当然，你也可以画出基本色稿放入img2img中，或是使用ControlNet Color等插件来控制色彩。

　　在此过程中需要进行img2img反复迭代，并且适时加入背景中的森林和光线元素，以便将来合成时人物与背景更易于融合。

　　人物大致确定以后，使用photoshop进行简单融合，再使用img2img继续生成画面。此过程依然需要反复迭代，并配合inpainting和inpainting sketch进行调整。

　　现在我们要让老人带上天狗面具。由于Stable Diffusion没有合适的模型和Lora可以方便地生成天狗面具，所以我为此训练了专用Lora。

　　Lora在使用时需要使用inpainting sketch进行重绘，或是使用Photoshop剪裁并简单手绘好面具后进入img2img重绘。注意重绘区域要小，以免Lora的风格污染画面的其他元素。

　　绘制Stable Diffusion不能很好地识别和绘制的特殊物品，最直接的方法就是自制Lora。

　　方法仍然是：在画面局部使用Photoshop加入素材或使用Inpaiting Sketch绘制物体，再进行多次img2img迭代，得到满意的效果后，在Photoshop中进行融合，最后整体再使用img2img再次生成。

　　在绘制局部物体的时候，可以根据需要使用不同的模型和Lora，而不必担心整体画风发生改变。

　　修正背景：由于AI无法理解物体的遮挡关系，所以背景中的树木会出现错位现象，我们需要手动修复树干被遮挡后的连续性。

　　再针对重要的物体分别通过img2img进行放大生成，放大倍数为1920/512=3.75。

　　Stable Diffusion等AI绘图工具，目前还无法应对有元素丰富的复杂画面。特别是对画面有精确要求的时候，使用单一的img2img不能生成令人满意的效果。

　　本工作流的核心在于，每一个环节只让AI做一件事，提升AI对指令的精确理解。此外，这个工作流与传统绘画中“从整体到局部”的流程相似，对于习惯于手绘的画师比较友好。另外，由于90%的工作由作者本人把控，AI并没有过多的自由发挥，对作者而言，这体现了创作的本质。