本地跑 DeepSeek 14B —— M4 Pro 上 MLX 比 GGUF 快

「好吧，试了一下 DeepSeek 的 14B 大小的蒸馏模型」，结论是能打：日常问答接近网页版 GPT-4o 和 o1 mini 的水平，而且整个模型就跑在桌上那台 Mac mini 里。

比模型大小更影响体验的是格式。「mlx 比 gguf 格式的性能要好得多，14b 在 24GB 内存的 M4 Pro 可以达到 27 tokens/s」，这个速度已经不用盯着光标等字了。可惜我手头只有 16GB 的 M3 和 24GB 的 M4 Pro，再大的参数量测不了。

本地跑的理由很朴素：「特别是 OpenAI o1 需要 ChatGPT Plus 订阅，然后 DeepSeek 官网常常进不去」。至于满血版，内存需求是 768GB 这个量级，我的第一反应是「或者 12 台 64GB 内存 的 M4 Pro Mac mini？」。12 乘 64 刚好凑满，听着荒唐，账倒是算得通。