?
中國科商網
[AI繪畫]Embedding/Textual inversion模型訓練記錄
發(fā)布日期: 2023-08-18 00:43:00 來源: 嗶哩嗶哩

前言:

本人所使用的是秋葉aaaki大佬23年7月左右的Webui整合包進行AI訓練的,比較適合萌新。


(相關資料圖)

雖然秋葉大佬已經在視頻里進行了比較詳細的教學,但由于是比較早期的Webui,一些操作和布局不太一樣,所以本篇記錄一下自己的訓練過程。

1、設置參數

首先是啟動后頁面的webui中“設置”里的“反推設置”參數。

根據陳二哈是個技術宅大佬視頻所說(/video/BV1N44y1X71h/?spm_id_from=pageDriver&vd_source=17cf6a5a912b0a39a628030a5814462c),反推設置里的“評分閾值”含義:數字越低則對訓練圖的細節(jié)保留越多,建議。

其次是“設置”里的“訓練”模塊。

勾選紅框后防止訓練時候出現(xiàn)顯存不夠爆炸的情況。

2、圖片處理

首先打開“訓練”模塊,找到“圖像預處理”,把所需要訓練的圖片源目錄和目標目錄填上。

之后設置寬度高度,本人是3070顯卡,8gb顯存,所以圖片保持512*512,少于8gb的需要調低,不然爆顯存,具體多低請自己調試(有人1066 6gb顯存的顯卡調450*450,可以參考一下)

選項勾選

1、一般不勾選“保存原始尺寸”

2、“創(chuàng)建水平翻轉副本”在圖片素材過少的時候勾選,“過少”本人理解是指只有幾張或者十幾張的時候。

3、“分割過大的圖像”一般不選,會把圖像分割破壞,導致訓練效果不理想。

4、“自動面部焦點剪裁”字面意思,把圖片調整到臉部周圍進行裁剪。

其中的參數“焦點面部權重”字面意思,越高裁剪部分向臉部越近,低了會出現(xiàn)截半張臉的情況。其他兩項隨便調整即可。簡單來說,三項可以看作調整裁剪框的上下左右移動。想要知道效果如何需要自己調試幾下。

5、“自動按比例裁剪縮放”字面上是縮放,但是實際操作無法將所有的圖片都處理,貌似有一個寬高范圍,并且處理以后的圖片大部分不全是512*512,不推薦使用。

6、“使用BLIP生成標簽(自然語言)”和“使用Deepbooru生成標簽”可以隨便用哪個,生成圖片的對應文本標簽描述,但是有人反映BLIP可能會錯誤。

似乎總結下來,“自動面部焦點裁剪”必選,但是我自己目前也沒玩清楚。

3、創(chuàng)建嵌入式模型

輸入模型名稱,注意目錄里(sd-webui-aki\embeddings)不能有相同名稱的模型,即使勾選了“覆蓋同名嵌入式模型文件”也沒用,實測不會重新覆蓋。

“每個詞元的向量數”人物訓練為6左右,畫風為12左右,圖片越多調越高。

“初始化文本”可不填,網上說是模型調用的時候會調用里面的初始化文本?

4、文生圖部分tag設置

正向tag

訓練的時候可以不填很復雜,一般我用“1girl, high quality,"Embedding模型名字””。這里的"Embedding模型名字”指的是創(chuàng)建模型時填入的名稱,目的是為了訓練過程中的出圖效果能監(jiān)控到。

反向tag

我用的為“l(fā)owres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, extra fingers, fewer fingers, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry“。

5、訓練模型

準備階段

在訓練之前我們需要將網頁中“外掛VAE模型”選為“無”,不然的話會導致模型訓練出鬼圖。

可以看到我們的SD模型與秋葉大佬網盤默認的模型不同,這是因為默認的模型訓練會出鬼圖,需要下載這個“"模型。沒有的可以通過該鏈接下載。

鏈接:/s/170EwlO0IE140AFZQnwexRQ?pwd=m0bn?

提取碼:m0bn?

訓練設置

1、刷新一下,刷新后才能在列表里看到創(chuàng)建的Embedding模型,選擇模型。

2、”嵌入式模型學習率“,建議默認即可,太大效果不好但速度快,太小容易過擬合但速度慢,可以在前期調大一點,后期小一點。

3、把圖片數據處理后的數據集目錄路徑復制進去。

4、“提示詞模板”畫風選擇style_;人物選擇subject_。

5、“最大步數”默認10w,但是目前經過測試5000以下的效果最好,建議不超過1w。

6、勾選保存模型的PNG圖片和從文生圖選項卡中讀取參數。

7、點擊”訓練嵌入式模型“

6、訓練過程

訓練過程中可以通過觀察訓練結果來及時調整“學習率”,如果錯過某個階段的訓練也可以在“sd-webui-aki\textual_inversion”中找到相應日期下的模型文件夾查看每個階段的效果圖、模型還有各階段模型的loss值。

需要注意的是,loss值越低不代表效果越好,以此表為例,我的500效果圖比7000好,具體哪個模型好還是需要看相應的圖片效果。

7、模型轉移

最后,篩選結束以后,將你想要的階段模型轉移。從”sd-webui-aki\textual_inversion\“日期”\“模型名”\embeddings“中將模型復制到“sd-webui-aki\embeddings”。不需重啟啟動器即可使用。

8、模型使用測試

打開“文生圖”,將你想測試的階段模型tag寫進正向tag中或者點開模型列表,點擊想選的模型。然后生成即可進行抽卡辣!

9、個人感覺

測試了幾次之后感覺效果將就用,但是對于AI作畫網站上的那種模型來說精美程度還是差的很多。我的訓練圖大部分是集中在臉上的,導致隨機抽卡許多下身的tag權重過低,雖然可以調高想要的tag權重,但是適配程度很低,出圖很怪,所以還是太吃訓練圖了。

訓練速度問題,本人3070速度為1-2it/s,一般是一個半小時左右一萬步,期間顯卡cuda滿載,所以一般只能聊聊天百度查查東西,看視頻都比較卡,大家可以參考一下。

關鍵詞:

相關內容

?