ControlNetのPreprocessorの出力画像一覧(AUTOMATIC1111/stable-diffusion-webui使用時)

ControlNet便利です。
例えば特定のポーズや配置の人物を出したり人物だけを残して背景をすり替えたりできます。
基本的には入力画像を与えて書き直すimg2imgと似ているのですが、
入力画像に意図的にノイズや変換を加えて狙った画像を出そうとする試みでしょうか。

本記事ではCotrolNetのPreprocessorの出力画像の一覧をまとめました。
AUTOMATIC1111/stable-diffusion-webuiの拡張機能としてCotrolNetを使用しています。

↑この部分

基本情報

元の絵

元の絵のPrompt

((1gentleman), little beard, short brown hair), (masterpiece, realistic:1.3), indoors, Horrible cave, ((many monsters:1.3)).

(worst quality, low quality:1.4), (depth of field, blurry:1.2), (greyscale, monochrome:1.1), 3D face, cropped, lowres, text, jpeg artifacts, signature, watermark, username, blurry, artist name, trademark, watermark, title, multiple view, Reference sheet, curvy, plump, fat, muscular female, strabismus,bad anatomy,column lineup,symmetry, naked, bad body, 3 more hands, 3 more legs,((multi human:1.7)), ((girl:1.7)), ((woman:1.7)), ((female:1.7)).

none

特に加工しない。元の絵そのまま。

invert (from white bg & black line)

Canny

depth_leres

urllib.error.HTTPError: HTTP Error 429: Too Many Requests
が発生。何故？ダウンロード先のURLが違うのかなぁ。今回は断念。

depth_midas

depth_zoe

inpaint_global_harmonious

元の絵そのまま。

linart_anime

linart_anime_denoise

lineart_coarse

lineart_realistic

lineart_standard (from white & black line)

mediapipe_face

mlsd

normal_bae

normal_midas

openpose

openpose_face

openpose_faceonly

openpose_full

openpose_hand

scribble_hed

scribble_pidine

scribble_xdog

seg_ofade20k

No module named pywintypesが発生したので
requirements.txtの最期の行ににpypiwin32を追記した上でwebui.batを起動しなおしました。

seg_ofcoco

seg_ufade20k

shuffle

softedge_hed

softedge_hedsafe

softedge_pidinet

softedge_pidisafe

t2ia_color_grid

t2ia_sketch_pidi

t2ia_style_clipvision

RuntimeError: Expected 3D (unbatched) or 4D (batched) input to conv2d, but got input of size: [257, 1024]

画像サイズが合わないようなので今回は断念。

threshold

tile_resample

元の絵そのまま。

まとめ

たくさんありますね。
うまく活用していきたいものです。

おわり