8G 显存怎么跑本地大模型？

16G 显存的取舍我写过一篇，这回把档次再往下压：手里只有一张 8G 的卡——RTX 3070、4060、2060 Super，或者 4070 Laptop 这 …

现在总有人说，本地部署模型可能越来越没必要了——在线模型那么便宜，调用一次没几个钱，何必自己折腾硬件。之前这话大 …

先说结论：

• 24G 卡追求质量：Q8SLIM，22.3 GiB 全进显存，29 tok/s，这是 7900XTX 上能摸到的最高参数规格。
• 24G 卡追求速度：IQ4_XS，39.6 tok/s，质量验证 …

对于手头只有一台最低配 MacBook Air（M4，16G 统一内存，256G 硬盘）的朋友来说，能不能本地跑一个 9B 模型，还能不能用起来？答案是可以 …