Skip to main content
如果你希望对话保持私密,或者在没有服务提供商账户的情况下也能使用,可以在你的 Mac 或你拥有的另一台电脑上运行模型。Enconvo 内置了本地引擎,同时也支持连接 Ollama 和 LM Studio。

选择运行环境

从小模型开始

  1. 配置运行环境,然后下载或加载一个模型。
  2. 发送一条简短的纯文本消息。
  3. 确认可以正常工作后,再添加文档或工具。
  4. 先观察内存占用和响应速度,再尝试更大的模型。设置 → 本地模型 会显示这台 Mac 上的模型及其占用的内存大小。
模型大小、量化方式、上下文长度以及正在运行的其他任务都会影响内存占用。请以模型选择器中显示的实际大小为准,不要套用固定规则。

让整个任务都在本地运行

仅有本地聊天模型并不能把所有环节都留在你的 Mac 上。语音识别、文本转语音、OCR、文档解析、嵌入(Embedding)、重排(Reranking)、搜索以及 MCP 工具各自使用自己的服务提供商。Enconvo 为其中不少功能都提供了本地服务提供商,具体可查看服务提供商目录。 设置 → 本地模型 会显示哪些功能在你的 Mac 上运行,哪些在云端运行。网页搜索和其他在线服务仍需要联网,而且本地模型也依然可以调用会把内容发往外部的工具。

使用另一台电脑上的模型服务器

将服务器设置为允许来自网络的连接,并把 Enconvo 的 BaseUrl 设为那台电脑的地址。localhost 始终指代正在运行 Enconvo 的这台 Mac。如果 macOS 拦截了连接,请在 系统设置 → 隐私与安全性 → 本地网络 中开启 Enconvo 的权限。

使用其他模型服务器

对于 llama.cpp、vLLM、KoboldCpp 或 text-generation-webui 等服务器,点击 设置 → AI 模型 底部的 添加新提供商 并选择 兼容 OpenAI。将服务器地址粘贴为 Base URL;无论是否带有 /v1,甚至粘贴完整端点地址,Enconvo 都能接受。如果服务器不校验 API 密钥,将 API 密钥留空即可。

在小上下文中进行长对话

本地服务器运行模型时,使用的上下文长度往往小于模型本身支持的长度。Enconvo 会读取 Ollama、llama.cpp、LM Studio、KoboldCpp 和 text-generation-webui 实际运行时的上下文长度,并压缩对话以适配该长度。当上下文较小时,它会分段总结长对话。如果想给模型更多空间,请在服务器自身的设置中调高上下文长度。

故障排除

相关内容

Local LLM (MLX)

Enconvo 的内置引擎。

隐私与安全

逐项了解你的数据去向。