|
|
|
老手请自动略过，本文仅针对不熟悉炼丹过程中各个步骤开启时机的新人 群里找到个文档，但是步骤中个参数开启/关闭的对比看着太费眼所以自己整理成图表了： 表格中背景色为深色的格子，表示此参数较上一阶段发生了变化，需要注意
/ F/ l( d. C) e* [精细步骤如下（原文档没留下姓名） DF模型：首先准备好预习练好的模型，或成品模型，和质量很好的SRC人脸集和随机DST人脸集（多人，人脸全扔进dst里边即可，只能拿来训练，若要合成请训练完成后，删除掉多余人脸只留下单人）。所有成品模型训练的原SRC不是自己所用的SRC，liae模型均删除xx_SAEHD_inter_AB.npy文件当作预训练模型处理。xx_SAEHD_inter_AB.npy前面的xx是你自己的模型名字。除去真脸选项均可按照下方来练
9 Z3 K; k2 @0 L& `第一快速成型阶段：
. o. P" ]( B% x( a B' R8 ~开启：遮罩训练:Masked training ,
: Y! x+ U% c. }开启或关闭：SRC随机反转:Flip SRC faces randomly，(SRC素材不足的开，足够的和有脸部特征，比如美人痣之类的不要开SRC反转。) C0 w/ B' N( Z2 p5 H5 e8 p D
开启：DST随即反转：Flip DST faces randomly，- j ?' s( b/ X, t1 L4 j( r( n& A) a
BS值：推荐4或8（根据实际情况而定）3 r g& d- {% \
关闭：眼嘴优先:Eyesand mouth priority) V3 y5 Y P9 O- ~2 n
关闭：侧脸优化Uniform yaw distribution of samples
' E6 }2 }; @8 G9 r关闭：模糊遮罩边缘Blur out mask
0 a# S/ D5 d2 g8 F' n b开启：模型和优化器运行在GPU上：Place models and optimizer on GPU- T1 ]( x& I2 [" H; z* X9 y
开启：启用AdaBelief 优化器?：Use AdaBeliefoptimizer?
4 }* w1 }$ S% k5 D$ I0 J9 f. q关闭：学习率下降Use learning rate dropout
9 t4 L5 e+ ~; h. ^$ T, C开启：样本随机扭曲：Enable random warp of samples，6 n$ B0 b* F; d+ c
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：00 h" C( Q$ p1 e, K3 X
关闭：GAN强度 GAN power 选择值：0
2 I) @. P: R' Q2 y/ \# K关闭：真脸强度True face' power 选择值：0
9 J* D8 C d$ G关闭：背景风格强度 Background style power 选择值：0* a8 i. R: O/ F: R
关闭：颜色转换模式 Color transfer for src faceset 选择值：none+ U4 p; ^5 C" M
开启：梯度剪裁：Enable gradient clipping! K1 s0 B5 Z$ y
关闭：启用预训练
1 v) \3 g, Y8 G9 {loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1，并模型自动保存3-4次时的loss值显示下降速度很慢，或者反弹时可以停止。* K) ?- f0 x. m9 H) ^
& ]& ]. ~! o: B: e# z( |4 J第二精确处理阶段：2 I6 ?1 U M0 U) e, u8 ]
开启：遮罩训练:Masked training
6 H9 h9 d, @' T开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。6 z' L9 I' f4 A. k* O. d8 V; P
开启：DST随即反转：Flip DST faces randomly
8 n, ?$ m! l- T L) bBS值：推荐8或16（根据实际情况而定）
. X& H: ]. V- N* U7 X0 G开启：眼嘴优先:Eyes and mouth priority
$ A% K+ J% k9 f) ?' Z1 p关闭：侧脸优化Uniform yaw distribution of samples
e1 O, @* G: Q0 @关闭：模糊遮罩边缘Blur out mask
/ |. V. P/ B1 q F1 B开启：模型和优化器运行在GPU上：Place models and optimizer on GPU \! S7 H7 R9 Q. B- s" I
开启：启用AdaBelief 优化器?：Use AdaBeliefoptimizer?3 @- h" {8 X. N0 t! K7 D
关闭：学习率下降Use learning rate dropout2 o% l# C" u/ _9 ?
开启：样本随机扭曲：Enable random warp of samples
3 T& o: s" H3 c. n关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：00 I, n% t9 }$ u$ f
关闭：GAN强度 GAN power 选择值：0$ @5 |# s, D. g+ @5 p* r
关闭：真脸强度True face' power 选择值：0& {/ k8 d6 n6 Q/ h3 r# I7 ~) z
关闭：背景风格强度 Background style power 选择值：0
! [/ Z6 j2 {2 l( Z! x8 j& N关闭：颜色转换模式 Color transfer for src faceset 选择值：none
, t- [( S! \ Y6 J* s3 _7 d开启：梯度剪裁：Enable gradient clipping% \ Y! F* C6 h0 k% F2 p
关闭：启用预训练
- b' }8 ]6 Q: z保持参数训练loss值降的很少，或反弹停止。, r u, d+ p& k* G& y4 j) v
8 X8 b) t' B) S$ W
第三精确处理阶段：
' f Y: S$ D# @# ~4 ~% i开启：遮罩训练:Masked training 3 x6 l) j, Q2 J2 W8 D& H( _# m$ y! ^
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
" N; G5 y L" E, H开启：DST随即反转：Flip DST faces randomly
" B( p$ a6 r; X( I g, P7 u! o- L- P# _BS值：推荐8或16（根据实际情况而定）0 J! j5 d' N$ E! h# ^" L4 A
关闭：眼嘴优先:Eyesand mouth priority) u# @+ u( G. L
开启：侧脸优化 Uniform yaw distribution of samples
4 P }" A7 i: e: p7 E. P关闭：模糊遮罩边缘Blur out mask0 T; n6 j0 t3 C2 Q( X" d
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU. T' f8 @% h- M* i/ C
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?关闭：学习率下降 Use learning rate dropout.
8 M- P+ b& W/ z4 g9 Q开启：样本随机扭曲：Enable random warp of samples
/ Q. S, P: l, [关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
" r! c+ _" x t: C关闭：GAN强度 GAN power 选择值：09 x: ^5 R% e; p0 P# x
关闭：真脸强度True face' power 选择值：0
' S# [8 A+ ?+ v0 l1 _, w$ g* e关闭：背景风格强度 Background style power 选择值：0 z5 M' P% _6 W6 _
关闭：颜色转换模式 Color transfer for src faceset 选择值：none
- O0 G, D9 a" S9 t开启：梯度剪裁：Enable gradient clipping
* T' B. Z) `# o0 A9 r关闭：启用预训练
6 L+ `8 b" q0 P8 q3 r8 J训练loss值降到0.3及以下，或降的很少或反弹，停止。: s9 c+ L' d! X' k8 k
8 E; s8 Y; x4 Y- _第四精确处理阶段：1 g, Q6 z1 K7 c) r. Y# g0 d
开启：遮罩训练:Masked training ; {- C( W/ s, ~% k" O8 ^$ K" q# ^1 |/ D
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。! j" o m% B2 v8 U7 i* S1 Q# W8 N
开启：DST随即反转：Flip DST faces randomly
; }* N l* p, W J: C5 W. v6 |BS值：推荐8或16（根据实际情况而定）
- d$ \ A) o! A1 ]: W; A关闭：眼嘴优先:Eyesand mouth priority5 u9 K w% a/ W7 W. d
开启：侧脸优化 Uniform yaw distribution of samples" p' ]0 t" \; I* D/ S
关闭：模糊遮罩边缘Blur out mask9 W& u; h `) K
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU* W* \1 {! z! a
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
. l ]7 T7 U1 e7 s2 R {开启：学习率下降 Use learning rate dropout# b- Z/ `) M. p P4 d+ E
开启：样本随机扭曲：Enable random warp of samples
8 p) y4 n6 _- k1 Z* c" D- a关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0- C# m) ~3 n& z4 e' P) d
关闭：GAN强度 GAN power 选择值：0
( P i) F& R: b3 D M9 @关闭：真脸强度True face' power 选择值：0
' y. ?9 [( C; A: ^1 {5 r3 f/ z- z关闭：背景风格强度 Background style power 选择值：0
* y% @' E# |' x. \0 u) K# q关闭：颜色转换模式 Color transfer for src faceset 选择值：none; }' ~/ W, L8 v- `1 g B
开启：梯度剪裁：Enable gradient clipping6 l& _4 b/ i$ S* T! I# l) r" d
关闭：启用预训练- p6 C' o4 [) G3 \* A/ y
训练loss值降到0.1及以下，或降的很少或反弹，停止。' E9 ]( y, B+ h. e
4 w9 w% w [& Q, p+ Z* ]
第五精确优化阶段：
- }; P6 o% f7 _/ M$ v0 _3 s" O这时loss值已经下降很慢，或者下降不下去并且看起来不足够像SRC，进行这一步9 g, o$ X; ]: r! Q& u, Z& S$ F
开启：遮罩训练:Masked training ; T* m( c4 q, I5 ]! l: @$ r# ]9 w
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
* A6 l+ ]( w8 P! b7 T开启：DST随即反转：Flip DST faces randomly
2 k( ~. ], F. W$ Y5 S5 t) IBS值：推荐8或16（根据实际情况而定）
6 w3 }& {. |3 u# q关闭：眼嘴优先:Eyesand mouth priority8 A5 s# K1 X% i4 I1 f3 ]1 t
关闭：侧脸优化Uniform yaw distribution of samples
$ q: O4 [6 O: ?0 \开启：模糊遮罩边缘Blur out mask
4 T5 n/ H/ Q+ v6 e9 @开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
: b8 i" r! N1 K开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?' r) P0 R; k, G# l* \
关闭：学习率下降Use learning rate dropout
* |0 d$ P! m% r: T! G5 J; N关闭：样本随机扭曲：Enable random warp of samples
# z) T5 T% w# |: J开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01* @, l& S4 c4 x) N6 G) z( i2 k7 x
关闭：GAN强度 GAN power 选择值：0+ N2 x5 A C$ D, `
开启：真脸强度 True face' power 推荐值：0.01; f1 [( v3 e. {% F+ Z
开启：背景风格强度 Background style power 推荐值：0.01( |- v; u) p2 S5 I: l" O0 _( E. {9 C
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
# E3 Z! I) T0 y3 v, D开启：梯度剪裁：Enable gradient clipping
/ ]5 O1 M% e6 S& S! q关闭：启用预训练
: X0 l* J" \2 J8 k& e（此阶段开启：模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了：真脸强度 True face' power，如果RSC脸型没有DST脸大，就会出现SRC脸下巴，下面又有个DST的下巴，或者SRC侧脸边上又有个DST的侧脸。开启这两个参数，会让融合的更好。）" i+ w2 l$ r' C* T$ L
此阶段loss值下降过慢或下不去后停止
; J4 W8 K8 k9 y9 k. o# Q* H) H9 C2 I. g+ S( b+ N
第六精确优化阶段：
9 C: g# X" S I( V9 }4 w& H* f开启：遮罩训练:Masked training
) w- K- v* m X; r& N开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。' h5 l/ Y! l% w' I1 Y
开启：DST随即反转：Flip DST faces randomly8 L4 B; [; G5 [7 s) h+ q
BS值：推荐8或16（根据实际情况而定）
: R. V# N* W( c: i4 I# |5 T6 Z开启：眼嘴优先:Eyes and mouth priority
$ x% m+ m% Q) A关闭：侧脸优化Uniform yaw distribution of samples5 G3 ^( I9 e+ {4 q( Q2 X% K) m9 V; E9 f
开启：模糊遮罩边缘Blur out mask
; O7 T: `7 q" J开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
+ f5 l+ C9 i+ y; l6 ?开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?- a2 n3 n$ m5 w( C
关闭：学习率下降Use learning rate dropout, {( p. e$ d, [+ I- }: h
关闭：样本随机扭曲：Enable random warp of samples
$ E! P1 [5 c# @4 d: J Y. a开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01& T1 ]) m& a( _3 J
关闭：GAN强度 GAN power 选择值：0
j; G: T) `- x0 k) A& G0 N开启：真脸强度 True face' power 推荐值：0.01
0 f/ T G6 ?% s% @ e开启：背景风格强度 Background style power 推荐值：0.01
) R( S+ ~% q; v# Y开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct# F2 ?/ | r' X* B
开启：梯度剪裁：Enable gradient clipping$ A: J. s! L- P& t- v' ]9 z
关闭：启用预训练
( P& P$ P3 w6 k- w3 `此阶段loss值下降过慢或下不去后停止, S. Q, D" c5 Z8 n y
* j/ S5 y8 U- M
第七精确优化阶段：* L5 `+ O( G4 o% j& N, n$ c" e
开启：遮罩训练:Masked training
' s, `" H. ~8 i6 Q' l1 G* \开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
5 C/ ^7 u' z+ Q- [# M) g0 y% H开启：DST随即反转：Flip DST faces randomly
! q+ @. P% r6 r% LBS值：推荐8或16（根据实际情况而定）
' O' t2 D) o7 F# R+ o6 U关闭：眼嘴优先:Eyesand mouth priority/ W7 M2 i( J) t, \
开启：侧脸优化 Uniform yaw distribution of samples
/ S# a Z! F5 M% v* \8 g U& G% d. n开启：模糊遮罩边缘Blur out mask3 Y: H! r8 ?, D+ D8 Z
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU* m$ m. f* C5 x4 v+ E
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?: u7 [3 F8 @- t. n
关闭：学习率下降Use learning rate dropout: n8 N' l/ d# ~! ?& M8 ?. j7 R) i
关闭：样本随机扭曲：Enable random warp of samples
& X, [/ h* q) W+ h* Y1 H开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01( I' l/ |# ^* W X+ u8 w
关闭：GAN强度 GAN power 选择值：0. @8 v! h/ a& h$ q% D' U6 Q4 K
开启：真脸强度 True face' power 推荐值：0.01
& U& M* U5 j# Q/ z, J0 T开启：背景风格强度 Background style power 推荐值：0.010 Z& M5 a6 T4 w7 j, R( L3 ^
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
1 Z' k1 T" H& v开启：梯度剪裁：Enable gradient clipping
) L2 s9 c: N( D2 s! ?% y) @关闭：启用预训练
9 `4 G/ F/ ^4 v. \此阶段loss值下降过慢或下不去后停止# r! {" I% D2 h/ B
) V; ?! |# M2 ^1 w
第八精细处理阶段：- h$ [6 N5 @2 _; L+ f1 m
开启：遮罩训练:Masked training
# A; w9 J2 e n1 {4 Q# g开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
9 a6 p% E [0 h; @5 s( B开启：DST随即反转：Flip DST faces randomly
1 R& l- L" @& k+ n8 |; Q, bBS值：推荐16（根据实际情况而定）" s) l2 P, t" ? l6 l' f0 C
关闭：眼嘴优先:Eyesand mouth priority
/ W# Z) O$ t: e* n0 `关闭：侧脸优化Uniform yaw distribution of samples" ]6 x9 u; Y2 Z# `( ?
关闭：模糊遮罩边缘Blur out mask) i7 }6 l, |& z
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU$ f& l, ]5 P b
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
3 I6 ?1 o" T( U开启：学习率下降 Use learning rate dropout
' W# `4 [9 L* d( y关闭：样本随机扭曲：Enable random warp of samples
2 Y# M3 k& m/ h8 c& J+ i关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 选择值：0
7 T! _" N! H8 y$ l$ j$ m( S5 d B开启：GAN强度 GAN power 推荐值：0.01
f9 \ o8 \ z关闭：真脸强度True face' power 选择值：01 m) c5 n* P- N/ v
关闭：背景风格强度 Background style power 选择值：07 E0 o3 {; f9 G; `
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct' q2 x# \) f6 a& e# R, K m
开启：梯度剪裁：Enable gradient clipping5 \ T8 R/ n0 ^! @6 v
关闭：启用预训练5 A3 W j5 M$ u% O
此阶段注意备份，以免崩溃。代送次数最少2W-3W，根据实际情况而定。
/ k0 S0 {" l) J4 e9 i7 ~1 N3 v2 g+ m
完成阶段：
r. [# r4 K0 f r2 Z! G$ A所有阶段完成后平时换视频使用以下参数8 T9 {" l- h0 l$ G7 D
开启：遮罩训练:Masked training ( x" I+ m4 c2 A. u) i
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
s$ _0 e4 d& p h$ i/ g3 ? `开启：DST随即反转：Flip DST faces randomly
/ @/ _" s* |" g) vBS值：推荐8或16（根据实际情况而定）
3 [. T8 E6 W, p* {开启：眼嘴优先:Eyes and mouth priority
, N& O- z. o9 J7 d5 o开启：侧脸优化 Uniform yaw distribution of samples
' C- X7 Y0 t" i0 o0 d开启：模糊遮罩边缘Blur out mask3 p4 P s5 c- K- f' [
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU* F& @, e/ ]1 }: G& ]
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?' G+ }( s( h2 ~) q9 B" ^
关闭：学习率下降Use learning rate dropout3 t7 Z2 P( W" p2 |
关闭：样本随机扭曲：Enable random warp of samples
; l/ ]8 K. q+ D) f* O开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0.01
0 E6 W9 S* b7 m& O$ z0 S x关闭：GAN强度 GAN power 选择值：0
1 K( s! x m4 L" ?1 k关闭：真脸强度True face' power 选择值：0
, ?2 R' l1 x$ l) X7 i开启：背景风格强度 Background style power 选择值：0.01
. o8 v5 A/ D) b$ B! x2 @2 M2 O开启：颜色转换模式 Color transfer for src faceset 选择值：rct或lct
+ [3 s# i+ O4 P6 {8 v$ b; H" m开启：梯度剪裁：Enable gradient clipping$ V( h0 `( a2 j, F4 g
关闭：启用预训练
! a8 s% D) U, s0 p |
评分
-
查看全部评分
Zhatv换脸论坛免责声明
全站默认解压密码：zhatv.cn
【Zhatv】论坛里的文章仅代表作者本人的观点，与本网站立场无关。
所有文章、内容、信息、资料，都不保证其准确性、完整性、有效性、时效性,请依据情况自身做出判断。
因阅读本站内容而被误导等其他因素所造成的损失责任自负,【Zhatv】不承担任何责任。
|
发表于 2023-1-31 12:41:50
提升卡
置顶卡
沉默卡
变色卡
照妖镜
楼主
