embedder权重改成bf16

似乎因为权重的处理更慢了,整体速度反而变慢了一点点
This commit is contained in:
2026-01-18 19:03:21 +08:00
parent fde3c7445d
commit 44379f3e31
5 changed files with 28 additions and 3 deletions

View File

@@ -78,4 +78,7 @@ BF16 projector比FP32 projector更准的可能原因
- 训练分布匹配:训练时你是 precision:16projector 长期在低精度环境下被优化;推理用 FP32 反而可能偏离训练时的统计特性。
- LayerNorm/Softmax 敏感Resampler/MLP 里 LN/Softmax 对精度很敏感FP32 计算后再降精度数值边界更容易“硬截断”BF16 全程计算可能更平滑。
这也解释了为什么你看到 BF16 projector 反而更准。
这也解释了为什么你看到 BF16 projector 反而更准。
embedder
改成 autocast only权重 FP32预处理 FP32仅主干 BF16