跳到主要内容

标签

Ollama

2 篇 文章

Ollama 显存不足怎么解决?从 CUDA out of memory、上下文长度到 GGUF 量化与 CPU 回退的完整排查指南

当 Ollama 报出 CUDA out of memory、模型加载失败,或者明明安装了显卡却显示主要使用 CPU 时,问题通常不只是“显存太小”。 在实际环境中,模型权重、上下文长度、KV Cache、并发请求、量化格式、其他 GPU 进程以及容器配置都会影响显存占用。错误地调整其中任何一项,都可能让原本能够运行的模型突然 OOM。 本文给出一套可复现的排查流程,适用于 Linux、Windows、WSL2、Docker,以及使用 NVIDIA GPU 的常见 Ollama 部署。AMD ROCm

21 分钟阅读 AI工具

低显存运行 Ollama 内存不足怎么办:模型量化、上下文与并发优化指南

很多人看到“Ollama 内存不足”,第一反应是显卡显存不够。实际运行本地大模型时,模型权重、KV Cache、计算缓冲区以及并发请求都会占用内存;如果模型不能完全装入显存,Ollama 还会将部分计算转移到 CPU,此时系统内存也可能成为瓶颈。 因此,解决问题不能只靠“换一个更小的模型”。正确顺序是先确认耗尽的是显存还是系统内存,再从模型参数量、量化等级、上下文长度、并发数和缓存格式几个方面逐步调整。 文中命令和参数适用于常见版本的 Ollama。不同操作系统、GPU 后端和 Ollama 版本可能存在差异,操作前可先执行 ollama --version 确认版本。 先判断:到底是哪一类内存不足 Ollama 推理主要涉及以下几类内存。 1. 模型权重 模型的参数越多、

19 分钟阅读 AI工具