基座模型架构
Advanced LLMs 1: Attentions
从 MHA、MQA/GQA、MLA 到稀疏注意力（LongFormer / StreamingLLM / NSA / DSA / MSA）、线性注意力（Mamba / Gated DeltaNet）与 Flash Attention。
Model Architecture
基座模型架构
Advanced LLMs 2: Normalizations, FFNs & RoPE
Pre-Norm / Post-Norm 与 RMSNorm 的推导、激活函数与 SwiGLU FFN，以及 RoPE 的旋转矩阵与长度外推（PI / NTK-aware / YaRN）。
Advanced LLMs 3: Decoding
Prefill 与 Decode 两个阶段的 FLOPs 与 Memory-Bound 分析，以及 Speculative Decoding、Multi-Token Prediction。
Advanced LLMs 4: Optimizers
预训练优化器与训练稳定性。
Advanced LLMs 5: Mixture of Experts
MoE 的路由、负载均衡与训练。