轉)

OpenAI's NEW "AGI Robot" STUNS The ENITRE INDUSTRY (...

以OpenAI為基礎智能合作開發的機器人

好啦，接下來不只是文轉圖設計領域，連勞動力都要失業了。

第三物流的揀貨，打包，分類看起來可以做了。

之前是用人去寫，寫的再多，再細。只是一小部分。

用 AI 產生一個模型，用模型去帶動。比人寫的快多了，功能也更多。

https://hao.cnyes.com/...

需要強調的是：你看到的這一切，只用到了一個神經網路。

所有這些，全是機器人自學的！

神經網路
+

@davecode - ref Elon Musk 展示了 FSD V12 的運作，將其比作人腦的運作，...

Figure創辦人Brett Adcock表示，影片中Figure 01展示了端對端神經網路框架下與人類的對話，沒有任何遠端操作。並且，機器人的速度有了顯著的提升，開始接近人類的速度。

---因為模型，動作有限性，比起 對話的模型，文產圖的模型來的單純多了。

Figure 01現在可以做到以下這些：

●描述其視覺體驗
●規劃未來的行動
●反思自己的記憶
●口頭解釋推理過程

他接著解釋道，影片中機器人的所有行為都是學到的（再次強調不是遠端操作），並以正常速度（1.0x）運作。

在具體實現過程中，他們將機器人攝影機中的圖像輸入，並將機載麥克風捕獲的語音文字轉錄到由OpenAI訓練的大型多模態模型中，該模型可以理解圖像和文字。該模型對整個對話記錄進行處理，包括過去的圖像，從而獲得語言回應，然後透過文字轉語音的方式將其回復給人類。

此外，該模型負責決定在機器人上運行哪些學習到的閉環行為以完成給定的命令，從而將特定的神經網路權重加載到GPU上並執行策略。

---這些用程式來寫，效率慢，而且無法快速迭代進化。

學習的低階雙手操作，所有行為均由神經網路視覺運動transformer策略驅動，將像素直接對應到動作。這些網路以10hz 的頻率接收機載影像，並以200hz的頻率產生24-DOF 動作（手腕姿勢和手指關節角度）。

這些動作充當高速“設定點”，以供更高速率的全身控製器追蹤。這是一個有用的關注點分離

他表示，即使在幾年前，自己還認為人形機器人規劃和執行自身完全學得行為的同時與人類進行完整的對話是幾十年後才能看到的事情。顯然，現在已經發生太多變化了。

---同感，以為人工智慧很遠，需要好幾代的程式設計師努力，才能進入科幻小說/預言 的世界

生成式AI 的競爭正走向長文字、多模態，各家科技公司和機構也沒有忘記投資下個熱點——具身智能。

具身智能，對於電腦視覺、機器人等領域來說是一個很有挑戰的目標：假設AI 智能體（機器人）不僅能接收來自資料集的靜態影像，還能在三維虛擬世界甚至真實環境中四處移動，並與周圍環境互動，那我們將迎來技術的一次重大突破，從識別圖像等機器學習的簡單能力，轉變到學習如何通過多個步驟執行複雜的類人任務。

---脫離電腦，手機。有自已的移動，揶動，改變自已的能力。

該公司的產品Figure 01，據稱是世界上第一個具有商業可行性的自主人形機器人，身高1.5 米，體重60 公斤，可承載20 公斤貨物，採用電機驅動。它的可工作時長是5 小時，行走速度每秒1.2 米，可以說很多指標已經接近人類。

--有一天機器人可以做模具組模，那就是另一個新世界了。

+

只用 13 天，OpenAI 做出了能聽、能說、能自主決策的機器人大模型

+ 人寫的機器人。

@davecode - RT Mobile ALOHA：一個可以模仿人類自主學習的機器人作業系統。 由坦...

+ 之前貼的機器人的報導。

论学手艺，波士顿动力机器人可不是他们的对手

+

Jensen Huang LEAVES Audience SPEECHLESS With Robot A...