Advanced LLMs 2: Normalizations, FFNs & RoPE

Pre-Norm / Post-Norm 与 RMSNorm 的推导、激活函数与 SwiGLU FFN,以及 RoPE 的旋转矩阵与长度外推(PI / NTK-aware / YaRN)。

2026-09-22 · 5 min · 875 words · Xiyuan Yang