Ollama 与本地模型
接入在你自己机器上运行的模型,以及它需要的开关。
Ollama 和其他服务商一样使用:在 AI → 服务商 里添加 Ollama,填入它的地址,例如 http://192.168.1.20:11434。Semestra
通过 Ollama 在 /v1 下的 OpenAI 兼容接口通信,/v1 会自动加上。不需要密钥。
私有网络开关
Ollama 通常运行在 localhost 或局域网地址上,而 Semestra 服务器默认拒绝访问私有、回环和链路本地地址,除非设置
SEMESTRA_ALLOW_PRIVATE_EGRESS=true。这个检查防止共享服务器被用来访问它自己的内网。
| Semestra 运行在哪里 | 默认值 | 需要做什么 |
|---|---|---|
用 deploy/selfhost 自部署 | true | 无 |
本地开发(pnpm dev) | false | 启动 API 时加上 SEMESTRA_ALLOW_PRIVATE_EGRESS=true |
| 托管版 | false | 只能使用公网可访问的 Ollama |
填哪个地址
这个地址是由 Semestra 服务器访问的,不是你的浏览器。
- Semestra 在 Docker 里、Ollama 在同一台宿主机上:
localhost指的是容器自己。请填宿主机的局域网地址,或使用内置的 Ollama 容器(见下文)。 - Ollama 在另一台机器上:用
OLLAMA_HOST=0.0.0.0启动,让它监听 localhost 以外的地址,然后填那台机器的地址。
内置的 Ollama 容器
自部署的 compose 文件有一个 ai-local profile,会在 Semestra 旁边运行 Ollama:
docker compose --profile ai-local up -d
docker compose exec ollama ollama pull qwen3:8b
docker compose exec ollama ollama pull nomic-embed-text在 compose 网络里它的地址是 http://ollama:11434。可以把它添加为服务商,也可以设为全实例服务商,让每个用户无需配置就能使用。
用 GPU 运行 Ollama 需要 NVIDIA Container Toolkit 和一个 compose override 文件,详见 Ollama 的文档。
能力
Ollama 的默认能力是对话、工具调用、结构化输出和向量。模型不支持工具调用时取消勾选工具调用;只有多模态模型才勾选图片。