终触发loss spike，训练曲线突然飙升。团队祭出的主要补救措施是两招。第一招叫Anticipatory Routing。它本质上就是在路由阶段使用稍早版本的参数，把骨干网络和路由网络的更新解耦，打破两者之间的恶性循环。第二招是SwiGLU Clamping。它直接把SwiGLU的数值范围钳制在[-10, 10]以内，从源头压制异常值，虽然暴力但很有效。当前大模型训练已进入硬件底层、编译器栈、
接
当前文章：http://rf5ph.qiaoruohe.cn/git/9o7shy.html
发布时间：05:57:54
