选择运行环境
从小模型开始
- 配置运行环境,然后下载或加载一个模型。
- 发送一条简短的纯文本消息。
- 确认可以正常工作后,再添加文档或工具。
- 先观察内存占用和响应速度,再尝试更大的模型。设置 → 本地模型 会显示这台 Mac 上的模型及其占用的内存大小。
让整个任务都在本地运行
仅有本地聊天模型并不能把所有环节都留在你的 Mac 上。语音识别、文本转语音、OCR、文档解析、嵌入(Embedding)、重排(Reranking)、搜索以及 MCP 工具各自使用自己的服务提供商。Enconvo 为其中不少功能都提供了本地服务提供商,具体可查看服务提供商目录。 设置 → 本地模型 会显示哪些功能在你的 Mac 上运行,哪些在云端运行。网页搜索和其他在线服务仍需要联网,而且本地模型也依然可以调用会把内容发往外部的工具。使用另一台电脑上的模型服务器
将服务器设置为允许来自网络的连接,并把 Enconvo 的 BaseUrl 设为那台电脑的地址。localhost 始终指代正在运行 Enconvo 的这台 Mac。如果 macOS 拦截了连接,请在 系统设置 → 隐私与安全性 → 本地网络 中开启 Enconvo 的权限。
使用其他模型服务器
对于 llama.cpp、vLLM、KoboldCpp 或 text-generation-webui 等服务器,点击 设置 → AI 模型 底部的 添加新提供商 并选择 兼容 OpenAI。将服务器地址粘贴为 Base URL;无论是否带有/v1,甚至粘贴完整端点地址,Enconvo 都能接受。如果服务器不校验 API 密钥,将 API 密钥留空即可。
在小上下文中进行长对话
本地服务器运行模型时,使用的上下文长度往往小于模型本身支持的长度。Enconvo 会读取 Ollama、llama.cpp、LM Studio、KoboldCpp 和 text-generation-webui 实际运行时的上下文长度,并压缩对话以适配该长度。当上下文较小时,它会分段总结长对话。如果想给模型更多空间,请在服务器自身的设置中调高上下文长度。故障排除
相关内容
Local LLM (MLX)
Enconvo 的内置引擎。
隐私与安全
逐项了解你的数据去向。