Ddavid
AI
六萬多台幣,128 GB RAM + 2TB SSD 的 AI 桌機,據說內顯也有 RTX 4060 等級。可以用來跑那些比較巨大的公開 LLM 模型,沒跑模型時想拿來打遊戲也綽綽有餘XD
我暫時沒這種打算要買XD
Framework Desktop 開箱 – ihower { blogging }
The Framework Desktop is a beast
掰噗~
沒錯沒錯
沃夫☆既然已身在煉獄 越獄吧
也有一説是32GB就足夠了(看要跑的LLM),主要的點在記憶體頻寬
Ddavid
沃夫☆既然已身在煉獄 越獄吧 : 32GB 不可能啦。gpt-oss-120b 從數據量上 32GB RAM 硬跑就不可能啊,就算真能跑起來也是慢到不可接受啊。
誰會買這種東西只是為了跑個 20b 啊XD
Ddavid
話是這樣說,我的筆電比這還貴卻遠遠跑不動 120b XDDD
要不是公司有部份補助我也買不下手,畢竟也不可能公司用買桌機XD
Ddavid
是有看到真的有人硬跑:「Just got it to run with the 8GB 4060 +offload to 32GB RAM +CPU +swap - somehow works with minimal hiccups but not the fastest (def <25t/s) but usable」
有一篇整理寫:
gpt-oss-20b 最少 16GB RAM 推薦 32GB RAM + GPU
gpt-oss-120b 最少 80GB RAM 推薦 128GB RAM + 80GB GPU
不過 120b 用 64GB 嘗試的還是蠻多的。
沃夫☆既然已身在煉獄 越獄吧
看到swap就覺得用mac mini 是拿壽限在跑
Ddavid
沃夫☆既然已身在煉獄 越獄吧 : RAM 不夠還是乖乖別硬來,機子各方面都會燒得很爽,該吃的電也不會省,還要忍受產生結果的慢速XD
載入新的回覆