3B、7B、14B —— 参数不是越大越好

本地跑模型，参数量不是唯一变量。3B、7B、14B 之间，内存占用、推理速度和效果一起变。

「但是 3B、7B 跟 14B，是不是参数量越大，效果就越好呢」。

「标配 16GB 内存的原因那段，好像有一点逻辑问题，思维跳跃了」：内存和参数量之间，还隔着推理速度。

「如果可以的话，当然 70B 的模型最好，但是推理速度要达到可以接受的水平」。4-bit 量化下，3B 占 2GB 左右，7B 占 4GB，14B 占 8GB；70B 要 40GB 上下，16GB 的机器放不下。M4 的 120GB/s 带宽跑 14B，速度先被带宽卡住；14B 已经是 16GB 机器的上限。就算做一块 AI 专用内存，也终究会被破解。模型越大，占的内存越多，第一个字出来得越慢；本地推理的瓶颈先是带宽，再是容量。