64GB内存跑284B模型:llama-modchip v2.4.0的CPU推理路线
llama-modchip v2.4.0 将 DeepSeek-V4-Flash 284B 压缩至 56.56 GiB,在 64GB 内存的 16 核 Zen 5 CPU 上实现 44.36 tok/s 预填充和 9.06–9.95 tok/s 无损解码,无需 GPU。
从 OOM 到零 swap 的量化转码
标准 UD-IQ1_S 构建的 DeepSeek-V4-Flash 磁盘体积为 76.87 GiB(82.5 GB),超过 64GB Linux 系统约 62.5 GiB 的可用内存,会触发页面缓存抖动或 OOM。llama-modchip v2.4.0 通过转码将其降至 56.56 GiB,有效位宽 1.71 bpw。压缩对象包括 256 个路由 MoE 专家(主要采用 IQ1_S,1.5625 bpw)和 MLA 注意力投影(Fractal-64,3.75 bpw)。峰值 VmRSS 在 256K 上下文下为 57.61 GiB,模型加 KV 缓存完全驻留内存。默认不丢专家,6 个路由专家加 1 个共享专家逐层计算,日志余弦相似度等于 1.00000。
预填充提速 77%
预填充阶段的单列量化矩阵-向量循环被替换为多列分块:ZMM AVX-512BW 寄存器、32KB L1D、1MB L2、64MB L3 的 {8,4,3,2} 调度。在 16 核 Zen 5(Ryzen 9 9955HX)上,预填充速度从 25.0 tok/s 提升到 44.36 tok/s。MQA8 FlashAttention 采用寄存器驻留,_MM_HINT_NTA 提示用于 MoE 专家流式读取,减少冷权重对热 KV 缓存行的 L3 逐出。解码基准:无损 Top-6 为 9.06–9.95 tok/s;Top-5 L2 为 9.87–10.15;Top-4 配合 SwiGLU 为 10.41–10.74。
1.64 MB drafter 与快速上下文恢复
Stockfish-PVS v2 是一个 1.64 MB 的 L2/L3 Zobrist n-gram drafter,与 /dev/shm 的 KV 槽快照配合,针对 40 工具 Claude Code 提示的恢复时间为 13.1–32.6 ms。自推测解码将 284B 模型的解码速度拉高到 11.5–14.7 tok/s。deepseek4 的循环/MLA 状态有 O(1) 推测回滚修复。
30B 模型与混合硬件
Nemotron-3.5-30B-A3B 经 Fractal-64/MXFP4/Q4_0 压缩后磁盘 14.35–17.59 GiB,可在 16–32GB 内存设备运行,16 核 Zen 5 下 CPU 解码 25.0–60.4 tok/s;Vulkan 混合模式(Ryzen 9 7945HX3D + RX 9070 XT 16GB)为 80.8 tok/s;Threadripper PRO 7985WX 上为 111.6 tok/s。Quickstart 提供 ./modchip chat,Windows 批处理会检测 CPU 核心、内存和显存,自动计算 --n-cpu-moe 分割。