AI 解答：

LLM 的核心工作原理是自回歸（Autoregressive），為了防止模型在訓練時「偷看未來答案」，我們需要使用 Mask（掩碼）。在實際訓練時，不需要 5 個不同的 Mask 分開跑 5 次，而是只用「1 個」包含了所有規則的二維矩陣（下三角矩陣），就能一次性完成整句話的訓練！

AI 解答：

在 Attention 層裡面，輸出不是字，而是 $N$ 個向量（Vector）。Value 加權平均的結果是「具備上下文語意的新向量（Contextualized Embedding）」。每個輸出的向量都吸收了前面歷史資訊的精華。

AI 解答：

訓練時採用 Teacher Forcing 與錯位目標，一次性吐出 N 個字的預測，並行計算極快；推理時只能串列生成，每次都要把前面算過的歷史丟進去重算，造成極大的浪費。

AI 解答：

把算過的 K 和 V 存起來是後來大模型時代逼出來的極限優化。它省了算力，卻帶來了致命的記憶體牆（Memory Wall）問題。

AI 解答：

沒錯，GQA 是一種妥協。透過讓多個老闆 (Q) 共用一個秘書 (KV)，大幅縮小 KV Cache 體積，同時因為 Q 的多頭沒退化，仍能保持極高品質。這必須在訓練階段就寫死。

AI 解答：

借鑑作業系統的虛擬記憶體，把 KV Cache 切成固定大小的小積木，打破必須連續存放的限制，解決顯存碎片化問題，將利用率從 30% 榨乾到 90%+。

AI 解答：

你直接推導出了 2020 年震撼 AI 學術界的 Linear Attention 最核心的「數學魔法」！它不是跟 GQA 打架，而是直接讓 GQA 最自豪的優點「失業」了。

1. 拔掉 Softmax，釋放結合律

傳統 Attention 的死穴是公式外面包著 Softmax，打破了結合律，逼著模型必須存下不斷膨脹的 KV Cache $O(N)$。如果我們把 Softmax 拔掉（替換成線性映射），公式變成純線性代數：

2. 從 O(N) 變成 O(1) 的固定大小白板

就像你推導的，先把 $K^T$ 和 $V$ 乘起來，結果是一個固定大小的 $d \times d$ 矩陣（隱藏狀態白板）。不管你講了 10 個字還是 100 萬個字，記憶體消耗永遠是固定的 $O(1)$！因為沒有 KV Cache，用來壓縮 KV 的 GQA 自然就派不上用場了。

3. 致命副作用：「精準失憶症」與大海撈針

那為什麼大廠還死守傳統 Attention？因為把 10 萬字壓縮進一塊固定大小的白板，就像「把 100GB 的 4K 電影壓縮成 10MB 的 GIF」。這導致 Linear 架構在面對「大海撈針（Needle In A Haystack）」測試時，無法精準回頭找到極微小的細節。