核心思想： 使用神經網絡來近似 Q-value 函數 $Q(s, a)$。輸入是狀態 $s$，輸出是每個可能動作 $a$ 的 Q-value。

兩大創新：

• 經驗回放 (Experience Replay): 將智慧體的經驗 (state, action, reward, next_state) 存儲起來，訓練時隨機抽樣，打破了數據間的相關性，使訓練更穩定。
• 目標網絡 (Target Network): 使用一個獨立的、更新較慢的網絡來計算目標 Q-value，減少了自舉(bootstrapping)時的目標不穩定問題。

優點： 樣本效率(Sample efficiency)相對較高，因為它可以重複利用過去的經驗。

缺點： 無法處理連續動作空間，且對於隨機策略的學習效果不佳。

Actor-Critic (A2C/A3C) 作為橋樑: 在純粹的策略梯度和 PPO 之間，出現了 Actor-Critic 方法。它結合了價值學習和策略學習：

PPO (Proximal Policy Optimization) 核心思想： 策略梯度的主要問題是更新步長難以選擇，太大會導致策略崩潰，太小則學習太慢。PPO 透過一個 “裁剪(Clipping)” 機制來限制每次策略更新的幅度，確保學習過程的穩定性。

優點： 穩定性高，易於實現，能處理連續和離散動作空間。

缺點： 樣本效率通常低於 DQN 等 off-policy 方法。

三大核心組件：

優點： 極高的樣本效率，因為大部分學習都在模型內部進行。能夠解決需要長期規劃的任務。

缺點： 實現複雜，且模型可能會與真實世界存在偏差(Model bias)。

行為克隆 (Behavior Cloning – BC):

• 方法： 收集一組專家的 (state, action) 數據對，然後訓練一個分類或回歸模型。
• 問題： 共變異數偏移 (Covariate Shift)。如果智慧體遇到一個專家從未見過的狀態，它的行為可能是災難性的，並且這個錯誤會被累積，導致離專家的軌跡越來越遠。

數據集聚合 (DAgger – Dataset Aggregation):

• 方法： 一種互動式的改進。首先用專家數據訓練一個初始策略。然後，用這個策略去運行，記錄下智慧體訪問的狀態。接著，請專家標註在這些新狀態下應該採取的動作。將這些新數據加入訓練集，重複此過程。
• 優點： 透過讓專家 “糾正” 智慧體的錯誤，有效地緩解了共變異數偏移問題。

核心思想： 專家的行為之所以 “好”，是因為它在某個我們不知道的獎勵函數下是最優的。IRL 的目標就是找到這個獎勵函數。

與 GAN 的聯繫 (Generative Adversarial Imitation Learning – GAIL):

GAIL 將 IRL 問題巧妙地轉化為一個生成對抗網絡 (GAN) 問題。

優點： 比 BC 更具泛化能力。學到的獎勵函數可能比專家本身更優化，從而可能學到超越專家的策略。

缺點： 計算成本高，且通常需要大量的專家數據。