embedder权重改成bf16
似乎因为权重的处理更慢了,整体速度反而变慢了一点点
This commit is contained in:
@@ -78,4 +78,7 @@ BF16 projector比FP32 projector更准的可能原因:
|
||||
- 训练分布匹配:训练时你是 precision:16,projector 长期在低精度环境下被优化;推理用 FP32 反而可能偏离训练时的统计特性。
|
||||
- LayerNorm/Softmax 敏感:Resampler/MLP 里 LN/Softmax 对精度很敏感,FP32 计算后再降精度,数值边界更容易“硬截断”;BF16 全程计算可能更平滑。
|
||||
|
||||
这也解释了为什么你看到 BF16 projector 反而更准。
|
||||
这也解释了为什么你看到 BF16 projector 反而更准。
|
||||
|
||||
embedder:
|
||||
改成 autocast only(权重 FP32,预处理 FP32,仅主干 BF16)
|
||||
Reference in New Issue
Block a user