神無 kei
華為(Huawei)於 2025 年 10 月正式發表了名為 SINQ(Sinkhorn-Normalized Quantization)的開源量子化技術,這項突破性方法能將大型語言模型(LLM)的記憶體使用量削減 60~70%,使其能在低成本、低性能的硬體上順利運行
AIモデルのメモリ使用量を60~70%も削減し安価で低性能なハードウェアでも動作するようにできるオープン...

华为发布开源技术SINQ:可大幅降低大模型硬件需求!一张4090就能跑-太平洋科技
載入新的回覆