第 1章　AIGC基礎(chǔ) 1

1.1 身邊的AIGC 1

1.1.1　圖像生成和編輯類(lèi)工具 1

1.1.2　文字提效類(lèi)工具 2

1.1.3　音頻創(chuàng)作類(lèi)工具 4

1.2 神經(jīng)網(wǎng)絡(luò) 4

1.2.1　人工神經(jīng)元 5

1.2.2　激活函數(shù) 6

1.2.3　人工神經(jīng)網(wǎng)絡(luò) 7

1.2.4　損失函數(shù) 9

1.2.5　優(yōu)化器 9

1.2.6　卷積神經(jīng)網(wǎng)絡(luò) 10

1.3 多模態(tài)模型 13

1.3.1　認(rèn)識(shí)模態(tài) 14

1.3.2　典型多模態(tài)模型 15

1.3.3　參數(shù)量 16

1.3.4　計(jì)算量 17

1.4 小結(jié) 17

第 2章　圖像生成模型：GAN和擴(kuò)散模型 19

2.1 圖像生成模型的技術(shù)演化 19

2.1.1　第 一代圖像生成模型：VAE 20

2.1.2　第二代圖像生成模型：GAN 20

2.1.3　第三代圖像生成模型：基于流的模型 21

2.1.4　第四代圖像生成模型：擴(kuò)散模型 21

2.1.5　第五代圖像生成模型：自回歸模型 22

2.2 舊畫(huà)師GAN 22

2.2.1　生成對(duì)抗原理 22

2.2.2　生成能力的進(jìn)化 24

2.2.3　GAN時(shí)代的圖生圖 28

2.2.4　GAN的技術(shù)應(yīng)用 30

2.3 新畫(huà)師擴(kuò)散模型 31

2.3.1　加噪過(guò)程：從原始圖像到噪聲圖 32

2.3.2　去噪過(guò)程：從噪聲圖到清晰圖像 33

2.3.3　訓(xùn)練過(guò)程和推理過(guò)程 35

2.3.4　擴(kuò)散模型與GAN 36

2.4 擴(kuò)散模型的U-Net模型 37

2.4.1　巧妙的U形結(jié)構(gòu) 37

2.4.2　損失函數(shù)設(shè)計(jì) 41

2.4.3　應(yīng)用于擴(kuò)散模型 43

2.5 擴(kuò)散模型的采樣器 43

2.5.1　采樣器背后的原理 44

2.5.2　如何選擇采樣器 45

2.6 訓(xùn)練一個(gè)擴(kuò)散模型 46

2.6.1　初探擴(kuò)散模型：輕松入門(mén) 46

2.6.2　深入擴(kuò)散模型：定制藝術(shù) 50

2.7 小結(jié) 52

第3章　Stable Diffusion的核心技術(shù) 53

3.1 圖像的壓縮器VAE 53

3.1.1　從AE到VAE 54

3.1.2　圖像插值生成 58

3.1.3　訓(xùn)練餐廳評(píng)論機(jī)器人 60

3.1.4　VAE和擴(kuò)散模型 61

3.2 讓模型聽(tīng)話的CLIP 62

3.2.1　連接兩種模態(tài) 62

3.2.2　跨模態(tài)檢索 64

3.2.3　其他CLIP模型 67

3.2.4　CLIP和擴(kuò)散模型 68

3.3 交叉注意力機(jī)制 69

3.3.1　序列、詞符和詞嵌入 69

3.3.2　自注意力與交叉注意力 71

3.3.3　多頭注意力 72

3.4 Stable Diffusion是如何工作的 77

3.4.1　Stable Diffusion的演化之路 77

3.4.2　潛在擴(kuò)散模型 78

3.4.3　文本描述引導(dǎo)原理 80

3.4.4　U-Net模型實(shí)現(xiàn)細(xì)節(jié) 82

3.4.5　反向描述詞與CLIP Skip 86

3.4.6 圖生圖實(shí)現(xiàn)原理 87

3.5 小結(jié) 90

第4章　DALL·E 2、Imagen、DeepFloyd和Stable Diffusion圖像變體的

核心技術(shù) 91

4.1 里程碑DALL·E 2 91

4.1.1　DALL·E 2的基本功能概覽 91

4.1.2　DALL·E 2背后的原理 94

4.1.3　unCLIP：圖像變體的魔法 97

4.1.4　DALL·E 2的算法局限性 97

4.2 Imagen和DeepFloyd 98

4.2.1　Imagen vs DALL·E 2 98

4.2.2　Imagen的算法原理 99

4.2.3　文本編碼器：T5 vs CLIP 100

4.2.4　動(dòng)態(tài)閾值策略 103

4.2.5　開(kāi)源模型DeepFloyd 104

4.2.6　升級(jí)版Imagen 2 107

4.3 Stable Diffusion圖像變體 107

4.3.1 圖生圖vs圖像變體 107

4.3.2　使用Stable Diffusion圖像變體 108

4.3.3　探秘Stable Diffusion圖像變體模型背后的算法原理 110

4.4 小結(jié) 112

第5章　Midjourney、SDXL和DALL·E 3的核心技術(shù) 113

5.1 推測(cè)Midjourney的技術(shù)方案 113

5.1.1　Midjourney的基本用法 113

5.1.2　各版本演化之路 114

5.1.3　技術(shù)方案推測(cè) 117

5.2 SDXL的技術(shù)方案與使用 120

5.2.1　驚艷的繪圖能力 120

5.2.2　使用級(jí)聯(lián)模型提升效果 122

5.2.3　更新基礎(chǔ)模塊 123

5.2.4　使用SDXL模型 124

5.3 更聽(tīng)話的DALL·E 3 126

5.3.1　體驗(yàn)DALL·E 3的功能 126

5.3.2　數(shù)據(jù)集重新描述 127

5.3.3　生成數(shù)據(jù)有效性 128

5.3.4　數(shù)據(jù)混合策略 129

5.3.5　基礎(chǔ)模塊升級(jí) 131

5.3.6　擴(kuò)散模型解碼器 133

5.3.7　算法局限性 133

5.4 小結(jié) 134

第6章　訓(xùn)練自己的Stable Diffusion 135

6.1 低成本訓(xùn)練神器LoRA 135

6.1.1　LoRA的基本原理 135

6.1.2　LoRA的代碼實(shí)現(xiàn) 136

6.1.3　用于圖像生成任務(wù) 138

6.2 Stable Diffusion WebUI體驗(yàn)圖像生成 139

6.2.1　本地AI圖像生成模型 140

6.2.2　開(kāi)源社區(qū)中的模型 142

6.2.3　體驗(yàn)AI圖像生成功能 143

6.2.4　將多個(gè)模型進(jìn)行融合 144

6.2.5　靈活的LoRA模型 146

6.3 Stable Diffusion代碼實(shí)戰(zhàn) 150

6.3.1　訓(xùn)練數(shù)據(jù)準(zhǔn)備 151

6.3.2　基礎(chǔ)模型的選擇與使用 154

6.3.3　一次完整的訓(xùn)練過(guò)程 155

6.4 小結(jié) 157