Optimizer

Optimizers

Classical optimizers for LLM pretraining. (SGD, Adam, MUON)

2026-09-30 · 1 min · 2 words · Xiyuan Yang