首页 / 工具箱 / AI 与效率工具箱 / Ollama 本地模型实测：1.6 GiB 内存能跑什么

在 1.6 GiB 无 Swap 的云服务器上跑 Ollama 实测：qwen2.5:0.5b / 1.5b / 3b 模型的内存占用、首 token 延迟、能不能用于 DSH。

解决什么问题

云端模型 API 按 token 计费，跑批量改写、长上下文调研时成本容易失控。我希望找到一个能在 1.6 GiB 服务器上跑的本地模型，用于以下场景：

  • 离线环境下的轻量改写（标题、标签）；
  • DSH 插件里的本地 fallback（断网时仍能跑通）；
  • 个人脚本里的非关键文本处理。

实测环境

1
2
3
4
5

OS:           Ubuntu 22.04 LTS
CPU:          2 核 (Intel Xeon Platinum / AMD EPYC, 通用云)
内存:         1.6 GiB, 无 Swap
Ollama 版本:  0.3.3 (curl -fsSL https://ollama.com/install.sh | sh)
模型:         qwen2.5:0.5b / 1.5b / 3b-instruct-q4_K_M

实测结果（2026-08-24 跑分）

模型加载后 RSS首 token 延迟后续 token 速度推理 256 tokens 总耗时
qwen2.5:0.5b-instruct-q4_K_M~480 MiB0.4 s~18 t/s14 s
qwen2.5:1.5b-instruct-q4_K_M~820 MiB1.1 s~10 t/s26 s
qwen2.5:3b-instruct-q4_K_MOOM（可用不足 700 MiB，模型需求 1.9 GiB）———

3b 模型在 1.6 GiB 机器上直接 OOM——q4_K_M 量化后模型文件 1.9 GiB，加载后 RSS 已经超过总内存。

哪些场景能落地

1
2
3
4
5

✅ 标题改写、标签提取（用 0.5b，输出 30 tokens 内）
✅ Markdown 段落清洗（用 0.5b / 1.5b）
❌ 长摘要（> 512 tokens 直接 OOM）
❌ 整篇文章改写（上下文超过 2k tokens 必崩）
❌ DSH 主对话（DSH 默认是云端模型，本地仅作离线 fallback）

关键合规口径

  • Ollama 模型权重从 ollama.com 拉取，部分模型有许可证限制（如 Llama 衍生模型有月活用户门槛）；
  • qwen2.5 / qwen2 在 Apache 2.0 / Qwen License 下可商用，但单次服务用户 > 1 亿需要单独申请；
  • 本地推理的输出不带 watermark，商用前需要自己加内容审核。

缺点限制

  • 首 token 延迟高（1.5b 模型 1.1 秒）：不适合实时对话；
  • CPU 推理：这台机器没 GPU，3b 模型就过载；
  • 没有 PagedAttention：Ollama 在长上下文时内存占用线性增长，跑 8k tokens 就要 1.5 GiB；
  • 进程保活：Ollama 守护进程常驻 RSS ~30 MiB，但模型加载后才会真正吃内存。

替代方案

  • llama.cpp + Qwen2.5 GGUF：比 Ollama 更省 50–100 MiB，但需要自己写 HTTP 包装；
  • LM Studio：桌面工具，不适合服务器；
  • DeepSeek API + 缓存：成本可能反而比本地低，因为本地推理也要 CPU 时间（云厂商也是按时间收费）。

我的使用建议

我不会把本地模型当主力——云端模型按 token 计费更划算，且输出质量更高。

Ollama 的真实价值是离线 fallback：当模型 API 限流、断网、或想做 A/B 测试时，能用 0.5b 模型跑通"标题改写"这种非关键任务。

工具箱收录它是因为读者可能搜"1.6 GiB 能不能跑 AI"，这条 query 我也实测过答案。

相关