關於 OpenAI Sora 我依舊只是略懂 - Botsnova official blog

ref
目前我有一個習慣，每當有一個全新超炫砲模型出現在眼前時，我第一件事通常都是先跑去 Jim Fan 的 Twitter 上看看他是否已經有針對該模型做了 review，不出所料，針對 Sora 他已經在第一時間就寫下關於這個模型的有趣 insights。

+

@davecode - RT 英偉達科學家@DrJimFan如何評價Sora？ 1/Sora 是一個數據...

他推文中所提到的「資料驅動的物理引擎」是什麼呢？根據 Jim Fan 的說明，Sora 是一個端到端的 Diffusion Transformer Model，它可以直接將文字或圖片輸入轉化成影片像素輸出。通過對大量影片數據的梯度下降學習（gradient descent），Sora 在神經網絡的參數中隱性的學習到了一個物理引擎該有的運作方式。

Sora 是一個可學習的模擬器或者說是 「世界模型」。當然，它在運作時不會明確啟用 UE5 在背後做些什麼，但 OpenAI 在訓練過程中極有可能是將 UE5 生成的（文本 – 視頻）成對資料作為合成數據添加到訓練集中。

+

Yann LeCun朝“世界模型”理论迈一步，Meta开源“像人一样学习”的图像模型 | 最前线-36氪

Sora 的創新之處在於它不依賴於傳統的物理引擎或是預先編寫的規則來模擬物理互動和環境變化。相反，Sora 透過分析和學習大量的視頻數據，使得模型能夠理解和重現從簡單到複雜的物理現象和互動，這一過程完全是資料驅動和學習得來的。

--- 所以 sora 在創造無窮無盡的小世界。每一個小世界有自已的物理引擎。

先構建小世界，再用 UE5 呈現出來。

這個運作方式。改一改主詞。
可以做各式各樣新穎、有趣的