Facebook

OpenAI 剛剛發佈的最新的語言模型「OpenAI-O1」！！

該模型經過強化學習訓練，可以進行複雜的推理。 O1 在回答之前會先進行思考，它可以在回應使用者之前產生一個長的內部思考鏈。這種「思考鏈」（chain of thought）方法在各種推理密集型任務（例如程式碼生成、數學問題解決和科學推理）中顯著提高了效能，讓 O1 在許多這些領域中都超越了人類專家。

人們一思索，上帝就發笑

https://vimeo.com/...

六項重點

1.#卓越的推理能力： O1 在需要複雜推理的任務中表現出色。它在競爭性程式設計問題（Codeforces）中排名第 89 個百分點，在美國數學奧林匹克（AIME）資格考試中名列前 500 名學生，並且在物理、生物和化學問題（GPQA）的基準測試中超過了人類博士級的準確度。

2.#強化學習與思考鏈： O1 經過一種大規模強化學習演算法的訓練，該演算法教導模型如何在高度資料效率的訓練過程中使用其思考鏈來進行有效思考。這種方法與傳統的 LLM 預先訓練不同，並且 o1 的效能在更多強化學習（訓練時間計算）和更多思考時間（測試時間計算）的情況下會持續提高。

3.#超越GPT4o的效能基準： 在大多數推理密集型基準測試中，O1 明顯優於其前身 GPT-4o。值得注意的是， O1 在 2024 年的 AIME 考試中平均解決了 74% 的問題，使其在全國排名前 500 名學生之列。此外， O1 在 GPQA 鑽石標準（一項測試化學、物理和生物專業知識的困難智慧基準測試）中的表現也超過了人類博士級專家。

4.#思考鏈改進推理的可見性： O1 採用類似於人類在回答困難問題之前可能會長時間思考的「思考鏈」方法。透過強化學習，O1 學會改進其思考鏈並完善其使用的策略，從而提高其推理能力。該文件提供了 O1 -preview 在解決複雜問題時所使用的思考鏈的示例，與 GPT-4o 相比，其推理能力有了顯著的飛躍。

5.#人類偏好和特定領域的優勢： 人類評估者通常更喜歡 O1 -preview 而不是 GPT-4o，尤其是在資料分析、程式碼生成和數學等需要強大推理能力的任務中。然而，在某些自然語言處理任務中，o1-preview 並不總是首選，這表明它可能並非所有用例的理想選擇。

6.#安全性和一致性： O1 利用思考鏈為改進一致性和安全性提供了新的機會。透過將行為政策整合到模型的思考過程中，OpenAI 旨在更強健地灌輸人類價值觀和原則。初步評估表明，這種方法在減少越獄行為和提高對安全邊界的遵守方面有希望。

---因為自已科學家出走，另外開一家 AI 安全公司

總結

O1 及其「思考鏈」推理方法代表著人工智慧能力的重大進步，尤其是在需要複雜問題解決的領域。雖然在安全性和一致性方面仍然存在挑戰，但 O1 的開發及其持續的改進有望在科學、程式碼生成、數學和其他領域開闢新的可能性。隨著 OpenAI 繼續迭代該模型，我們可以預期會出現更多創新應用和對人工智慧推理能力的更深入了解。