轻量投影/MLP BF16 微调
调整了一些参数默认值
This commit is contained in:
@@ -71,3 +71,11 @@ python3 psnr_score_for_challenge.py --gt_video unitree_g1_pack_camera/case1/unit
|
||||
- 优先 BF16:稳定性好于 FP16
|
||||
- 只做半精度,不做 INT 量化:保持 PSNR
|
||||
- VAE 尽量 FP32:最影响画质的模块
|
||||
|
||||
BF16 projector比FP32 projector更准的可能原因:
|
||||
- 数值路径更一致:主干在 BF16 下做 attention/MLP,projector 若是 FP32 会在进入主干前被 downcast,导致“先高精度非线性→再截断”的分布偏移;直接 BF16 算 projector 反而让输出
|
||||
分布更贴近主干的计算习惯。
|
||||
- 训练分布匹配:训练时你是 precision:16,projector 长期在低精度环境下被优化;推理用 FP32 反而可能偏离训练时的统计特性。
|
||||
- LayerNorm/Softmax 敏感:Resampler/MLP 里 LN/Softmax 对精度很敏感,FP32 计算后再降精度,数值边界更容易“硬截断”;BF16 全程计算可能更平滑。
|
||||
|
||||
这也解释了为什么你看到 BF16 projector 反而更准。
|
||||
Reference in New Issue
Block a user