06：stable diffusion生成赛博朋克风格机甲美女，如何选择LoRA和大模型

前言

上一篇文章写了如何使用stable diffusion生成CG美女，这篇文章主要来写如何生成赛博朋克机甲风的美女。

思路

首先还是选择大模型，在根据自己对图片的描述生成text prompt之后，看看是否符合自己的预期，然后再决定选择一些LoRA模型来进行细节提升。

在大模型选择方面，可以选择上一篇文章CG风格的大模型，也可以选择Realistic真人风格的大模型，我这里选择的是RealisticGanMix大模型，根据模型提供的设置生成了下面的图片。

1. text prompt：(masterpiece, best quality:1.2),illustration,absurdres,highres,extremely detailed,1 girl,white short hair,eye highlights,dress,short puffy sleeves,frills,outdoors,flower,fluttering petals,upper body,depth of field,(:d:0.8),chromatic aberration abuse,pastel color,Depth of field,garden of the sun,shiny,breasts,
2. Negative PromptEasyNegative_EasyNegative,signature,watermark,user name,blurry,bad feet,sketches,bad anatomy,bad hands,worst quality,low quality,normal quality,lowres,text,error,missing fingers,extra digit,fewer digits,cropped,bolood on face,

采样器推荐Restart，采样步数20，CFG scale设置为6。

在后面的过程中，又换了一个大模型XXMix_9realistic_v4.0。

photo of beautiful (n4t3mm:0.99), a woman as a movie star, turtleneck sweater, black jacket, (trousers), movie premiere gala, dark moody ambience (masterpiece:1.2) (photorealistic:1.2) (bokeh) (best quality) (detailed skin:1.2) (intricate details) (nighttime) (8k) (HDR) (cinematic lighting) (sharp focus), (looking at the camera:1.1), ((closeup portrait:1.2)), (earrings), colorful outfit

EasyNegative,ng_deepnegative_v1_75t,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),((watermark)),

使用上面的正向和负向prompt生成了以下图片：

使用DPM++ SDE Karras采样器，CFG设置为7，步数为30。

我们验证了基础大模型生成的图片，是满足我们的需求的。接着就找一些关于赛博朋克、机甲风格的关键词。例如赛博朋克，发光，机械耳机，斜侧特写，全身白色机甲，发光机械猫耳朵、复杂的机甲结构等等。再添加一些画质和人物特写，生成以下prompt：

(best quality:1.3),(masterpiece:1.2),16k,1girl,blue eyes,blurry background,cyberpunk,glowing,headphones,Oblique side close-up,Full body white mecha,Luminous mechanical cat ears,Half exposed chest,Complex mecha structure,The side of the waist is exposed,A huge headphone receiver,A super complex and precision structured robotic arm,medium breasts,cleavage,solo,upper body,Mecha,Hard surface,Realistic materials,Luminous earphones,Glowing mecha,Multi light source mecha,night,Urban background,neon lights,skyscrapers,Neon light background,Cyberpunk background,Cyberpunk,Neon lighting effect,Neon light background,Cyberpunk background,Cyberpunk,Neon lighting effect,Neon light background,Cyberpunk background,Cyberpunk,Neon lighting effect,

生成的图片如下：

整张图片赛博朋克的背景很nice，但是机甲差点意思，我们就使用一些LoRA模型，来微调大模型生成图片的细节。

LoRA

第一个LoRA模型是超写实赛博朋克美女模型，权重为1，用来微调赛博朋克元素细节。

第二个LoRA模型就是Add More Details模型，权重0.8，用来微调人物的细节。

结语

这就是我在学习stable diffusion时，使用Realistic和一些LoRA模型生成赛博朋克机甲风格图片的实践。

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！