Above All

Target

• 学习 LLM 最核心的技术，始终 follow 时代的前沿，同时 top down 学习对应的基础知识
• 从数学和理论角度研究模型架构，数据等等多维度对模型 scale 的影响
• 增强 AI 时代的工程能力，体会高效的系统架构设计

Outlines

• Infra: LLM-Codebase，从源代码出发进行深度的剖析和解读
• Theory:
  • Model Architecture: 新架构设计，attn 的新组件等等
  • Training Recipes:
    • Pre-training: 预训练数据配比，训练管线，常见优化器
    • Mid-training: 中训练基本原理和数据配比
    • Post-training: 后训练算法和前沿

Update Outlines

• 2026-09-18: 完成 llm/model_arch/Attentions 章节前半部分更新 (Simple Attention, Sparse Attention)
• 2026-09-18: 新增加 report 章节，记录大厂技术报告