> ## Documentation Index
> Fetch the complete documentation index at: https://docs.enconvo.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 本地模型

> 在你自己的硬件上运行模型，让整个任务都留在 Mac 上完成。

如果你希望对话保持私密，或者在没有服务提供商账户的情况下也能使用，可以在你的 Mac 或你拥有的另一台电脑上运行模型。Enconvo 内置了本地引擎，同时也支持连接 Ollama 和 LM Studio。

## 选择运行环境

| 运行环境 | 最适合 | 设置方式 |
| - | - | - |
| [Local LLM (MLX)](https://docs.enconvo.ai/zh/providers/mlx.md) | 在搭载 macOS 15 或更高版本的 Apple 芯片 Mac 上，直接在 Enconvo 内运行模型 | 在设置中选择并下载模型 |
| [Ollama](https://docs.enconvo.ai/zh/providers/ollama.md) | 你已经通过 Ollama 管理的模型，无论在本机 Mac 还是服务器上 | 启动 Ollama 并设置其地址 |
| [LM Studio](https://docs.enconvo.ai/zh/providers/lm-studio.md) | 你已经在 LM Studio 中使用的模型，无论在本机 Mac 还是服务器上 | 启动 LM Studio 的服务器并设置其地址 |

## 从小模型开始

1. 配置运行环境，然后下载或加载一个模型。
2. 发送一条简短的纯文本消息。
3. 确认可以正常工作后，再添加文档或工具。
4. 先观察内存占用和响应速度，再尝试更大的模型。**设置 → 本地模型** 会显示这台 Mac 上的模型及其占用的内存大小。

模型大小、量化方式、上下文长度以及正在运行的其他任务都会影响内存占用。请以模型选择器中显示的实际大小为准，不要套用固定规则。

## 让整个任务都在本地运行

仅有本地聊天模型并不能把所有环节都留在你的 Mac 上。语音识别、文本转语音、OCR、文档解析、嵌入（Embedding）、重排（Reranking）、搜索以及 MCP 工具各自使用自己的服务提供商。Enconvo 为其中不少功能都提供了本地服务提供商，具体可查看[服务提供商目录](https://docs.enconvo.ai/zh/providers/catalog.md)。

**设置 → 本地模型** 会显示哪些功能在你的 Mac 上运行，哪些在云端运行。网页搜索和其他在线服务仍需要联网，而且本地模型也依然可以调用会把内容发往外部的工具。

## 使用另一台电脑上的模型服务器

将服务器设置为允许来自网络的连接，并把 Enconvo 的 **BaseUrl** 设为那台电脑的地址。`localhost` 始终指代正在运行 Enconvo 的这台 Mac。如果 macOS 拦截了连接，请在 **系统设置 → 隐私与安全性 → 本地网络** 中开启 Enconvo 的权限。

## 使用其他模型服务器

对于 llama.cpp、vLLM、KoboldCpp 或 text-generation-webui 等服务器，点击 **设置 → AI 模型** 底部的 **添加新提供商** 并选择 **兼容 OpenAI**。将服务器地址粘贴为 Base URL；无论是否带有 `/v1`，甚至粘贴完整端点地址，Enconvo 都能接受。如果服务器不校验 API 密钥，将 API 密钥留空即可。

## 在小上下文中进行长对话

本地服务器运行模型时，使用的上下文长度往往小于模型本身支持的长度。Enconvo 会读取 Ollama、llama.cpp、LM Studio、KoboldCpp 和 text-generation-webui 实际运行时的上下文长度，并压缩对话以适配该长度。当上下文较小时，它会分段总结长对话。如果想给模型更多空间，请在服务器自身的设置中调高上下文长度。

## 故障排除

| 问题 | 解决方法 |
| - | - |
| 模型忘记了长对话的开头部分 | 服务器运行的上下文较小。请在服务器设置中调高上下文长度，或开启新对话。 |
| 模型忽略工具或图像 | 该模型不支持它们，因此 Enconvo 会在不使用它们的情况下作答。请选择支持工具调用或图像输入的模型。 |
| 连接失败 | 查看错误信息：Enconvo 会显示服务器返回的原始消息并说明原因。请确认服务器正在运行，且地址和端口正确。 |

## 相关内容

> [card] [Local LLM (MLX)](https://docs.enconvo.ai/zh/providers/mlx.md)
>
> Enconvo 的内置引擎。

> [card] [隐私与安全](https://docs.enconvo.ai/zh/configuration/privacy-security.md)
>
> 逐项了解你的数据去向。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.