放弃反向传播后，Geoffrey Hinton参与的前向梯度学习重磅研究来了

Ref

我們知道，在人工智能領域里，反向傳播是個最基本的概念。

反向傳播（Backpropagation，BP）是一種與最優化方法（如梯度下降）結合使用的，用來訓練人工神經網絡的常見方法。該方法計算對網絡中所有權重計算損失函數的梯度。這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。

簡而言之，BP 的核心思路其實就是負反饋，我們試圖用這種方式實現神經網絡系統面對給定目標的自動迭代、校准。隨著算力、數據和更多技術改進的提升，在 AI 領域人們使用反向傳播訓練的多層神經網絡在部分任務上已經足以與人類競爭。

很多人把這項技術的發現歸功於深度學習先驅、2019 年圖靈獎得主 Geoffrey Hinton，但 Hinton 本人表示，自己的貢獻在於明確提出了反向傳播可以學習有趣的內部表徵，並讓這一想法推廣開來：「我通過讓神經網絡學習詞向量表徵，使之基於之前詞的向量表徵預測序列中的下一個詞實現了這一點。」