总有人说本地模型没意义。这种考量如果只从自己的需求出发，可能过于武断，甚至有些自大。不同的人、不同的场景，有不同 …

先说结论：

• 24G 卡追求质量：Q8SLIM，22.3 GiB 全进显存，29 tok/s，这是 7900XTX 上能摸到的最高参数规格。
• 24G 卡追求速度：IQ4_XS，39.6 tok/s，质量验证 …

低配机器的本地模型，绕不开一个矛盾：模型越小跑得越快，但能力也越弱。在一些不具备大显存独显的设备上，"超小模型"（参 …

此前已对比过 Ollama、oMLX、MoXing 三条推理路线，关注的是推理速度。但推理速度只是工程问题，真正决定模型是否可用的是模型本身 …

对于手头只有一台最低配 MacBook Air（M4，16G 统一内存，256G 硬盘）的朋友来说，能不能本地跑一个 9B 模型，还能不能用起来？答案是可以 …