Advanced LLMs 1: Attentions
从 MHA、MQA/GQA、MLA 到稀疏注意力(LongFormer / StreamingLLM / NSA / DSA / MSA)、线性注意力(Mamba / Gated DeltaNet)与 Flash Attention。
从 MHA、MQA/GQA、MLA 到稀疏注意力(LongFormer / StreamingLLM / NSA / DSA / MSA)、线性注意力(Mamba / Gated DeltaNet)与 Flash Attention。