MacBook Neo 跑本地模型 —— 4B 加 4bit 刚刚好

「MacBook Neo 倒是能跑 mlx 格式的 qwen3.5-4b，mlx 通常是 4bit 量化嘛」。一台用 A18 Pro 的入门 Mac，能在本机跑一个能对话的模型，靠的是量化把体积压下来，4B 这个尺寸刚好落在它吃得下的范围。

同一天我还翻到 r/LocalLLaMA 上一份实测，标题就叫 MLX is not faster，作者拿 MLX 和 llama.cpp 做了对比，结论是 MLX 并不更快。能跑和跑得快，是两件事。

这让我想起 2024 年底的判断。当时我说「边际效益递减的关系，对于 7B-13B 大小的本地大模型，再往上追加内存容量帮助甚微」，所以「我预判将长期保持 16GB，并且给出了本地大模型 eval rate 的证据」。那时讨论的是 16GB 够不够；现在轮到入门机，用更小的模型和更狠的量化，回答的还是同一个问题：本地模型先看尺寸和量化，内存是后面的事。