'利用超强的小模型 OmniCoder-9B 试试 TurboQuant 量化 KV Cache: 2-bit 挑战 FP16'
Wed 15 April 2026
·
LLM
最近几天让孩子们进行各种模型运行的探索,这个过程正好简单来测试 8 种 KV Cache 量化方案,看看对于降低显存和内存占 …
最近几天让孩子们进行各种模型运行的探索,这个过程正好简单来测试 8 种 KV Cache 量化方案,看看对于降低显存和内存占 …