Sean Liu on Facebook

ref
由 OpenAI所提出擁有 2,048 token-long與 175 billion parameters的 GPT-3就可說是降維度打擊了那些傳統的 NLP/NLU模型訓練方式與服務，首先我還不知道未來這類 LLMs 有沒有機會與場景讓服務提供商之外的開發者去客製化的進行訓練，雖然這做的難度極高且不見得具有合理性，畢竟GPT-3 光是訓練資料集就有 45T的資料，要是用 AWS S3 host的話每月約莫要付出 $1,012.50 USD的儲存費用，而每一個的資料傳輸費用就需要耗費約莫 $225 USD，更不用提 GPT-3 在模型訓練上使用了 Tesla V100 cloud instance 就耗費超過 $4.6 million

有篇網誌用最低階的雲端 GPU算力每小時需要的成本去做對比，要燒掉 $4.6 million的算力成本需要耗時 355年，光就訓練成本來看就知道這已經不是新創甚至許多網路巨頭之外組織可以玩得起的戰場了，所以接下來的發展沒有意外的話應該就是網路巨頭們如 Microsoft、Google與 Meta各自會開出自己的 LLMs，然後開發者們以 API介面的方式進行使用，然後把 LLMs當作如同 HTTP般的網路基礎建設，並在其之上發展出各式的應用。

+

@davecode - Ref 2023 年 2 月 23 日 — 由聯發科技集團轄下的前瞻技術研究單位...

資本是武器。