是有看到真的有人硬跑:「Just got it to run with the 8GB 4060 +offload to 32GB RAM +CPU +swap - somehow works with minimal hiccups but not the fastest (def <25t/s) but usable」 有一篇整理寫: gpt-oss-20b 最少 16GB RAM 推薦 32GB RAM + GPU gpt-oss-120b 最少 80GB RAM 推薦 128GB RAM + 80GB GPU 不過 120b 用 64GB 嘗試的還是蠻多的。
六萬多台幣,128 GB RAM + 2TB SSD 的 AI 桌機,據說內顯也有 RTX 4060 等級。可以用來跑那些比較巨大的公開 LLM 模型,沒跑模型時想拿來打遊戲也綽綽有餘XD
我暫時沒這種打算要買XD
Framework Desktop 開箱 – ihower { blogging }
誰會買這種東西只是為了跑個 20b 啊XD
要不是公司有部份補助我也買不下手,畢竟也不可能公司用買桌機XD
有一篇整理寫:
gpt-oss-20b 最少 16GB RAM 推薦 32GB RAM + GPU
gpt-oss-120b 最少 80GB RAM 推薦 128GB RAM + 80GB GPU
不過 120b 用 64GB 嘗試的還是蠻多的。