Skip to main content
当任务不只是处理文本时,电脑操作(Computer Use)可以让 Enconvo 直接操作你 Mac 上的应用。它会查看最前面的应用界面、识别可见控件、点击或向输入框填写内容、滚动列表、拖拽项目、选择文件、操作应用菜单,并在执行下一步之前等待应用响应。 适用于这类桌面任务:
  • 在 Mac 应用中填写表单
  • 在文件选择器中选取文件
  • 浏览并调整设置窗口
  • 点击工具栏按钮或菜单项
  • 在应用中完成多步骤操作
  • 读取当前窗口中可见的内容
对于网页内容,使用浏览器(Browser Use)会通过 Enconvo 浏览器扩展(Browser Companion)直接操作你自己的浏览器。在未安装该扩展的浏览器(例如 Safari)中,电脑操作会改为在屏幕上进行点击和输入。 下面的视频教程在 5 分钟内完整演示了电脑操作与使用浏览器的配置与使用:开启功能并授予两项权限、在 Chrome 中添加浏览器扩展、按住右侧 Option 键提问、观看它在 Safari、Chrome 和 Mac 应用中的操作,以及将整项任务交给它完成。

开启电脑操作

电脑操作需要两项 macOS 权限:用于点击和输入的“辅助功能”,以及用于查看屏幕的“屏幕录制”。
1

打开电脑操作设置

打开 设置 → 电脑操作,确认开关已打开。
2

检查两项权限

辅助功能 和 屏幕录制 都应显示 已启用。
3

授予缺失的权限

如果有哪项显示 必需,点击旁边的 打开,然后在 系统设置 → 隐私与安全性 的对应权限下打开 Enconvo。回到 Enconvo 后点击 刷新。如果状态仍未更新,请退出并重新打开 Enconvo。

添加浏览器扩展

1

打开使用浏览器设置

打开 设置 → 使用浏览器。浏览器扩展 会列出已安装扩展的浏览器及其连接状态。
2

安装浏览器配套程序

点击 安装浏览器配套程序,Chrome Web Store 中的扩展页面随即打开。
3

添加扩展

点击 添加至 Chrome,再点击 添加扩展程序。打开浏览器的扩展菜单并将其固定,使它保持在工具栏中可见。
4

检查连接状态

回到 设置 → 使用浏览器,对应浏览器应显示 已连接。Edge、Arc 和 Brave 的配置方式相同。
有关扩展弹出面板、支持的浏览器及故障排除,请参见浏览器扩展。

运行任务

直接说明你希望得到的结果,而不需要列出一连串点击步骤。
1

打开目标应用

将你希望 Enconvo 操作的应用或窗口置于最前。
2

按住右侧 Option 键提问

按住右侧 Option 键,说出你的需求,然后松开。尽量指明应用与页面,例如:“在 Safari 的这个页面里,找出最便宜的直飞航班”或“打开设置面板并关闭开机启动”。你也可以直接打字向智能体提出请求。
3

观察执行过程

Enconvo 正在操作的窗口边缘会流动着柔和的光晕,每次点击都会泛起光波涟漪,灵动岛也会显示每一步。当窗口不在视线内时,画中画窗口会在屏幕角落实时显示它。你可以随时接管或停止任务。
4

确认敏感步骤

涉及破坏性操作、资金交易、账户变更或修改权限的步骤时,请先确认再让 Enconvo 继续。这也包括键盘快捷键:在执行删除、发送、付款、退出应用或登出账户的快捷键之前,Enconvo 都会先询问你。
5

获取结果

Enconvo 会查看应用状态、执行操作、等待结果,并持续推进直到任务完成或需要你确认。完成后,它会把结果告诉你。

在你的浏览器中

“打开富士山和雷尼尔山的维基百科页面,告诉我哪座山更高。”
连接扩展后,使用浏览器会在后台打开自己的标签页,你当前所在的页面不会变动。扩展工作期间,浏览器会在页面顶部显示一个提示栏,请不要取消它。当智能体的这一轮任务结束时,它打开的标签页会自动关闭。作为结果交给你查看的页面、已移交给你的标签页、你固定的标签页以及你正在看的标签页会保持打开,你自己的标签页绝不会被关闭。

电脑操作能做什么

多个智能体可以同时使用电脑操作,例如在不同应用中工作的子代理。每个子代理都在各自的应用中同时操作;只有操作同一个应用的智能体才会轮流进行。即使该应用的另一个窗口在最前面,操作也会准确发往智能体所指的窗口。

选择可用应用

设置 → 电脑操作 → 应用访问 用于设置电脑操作可以查看和使用的应用。选择一种 模式:
  • 所有应用,除了:电脑操作会跳过 已屏蔽的应用 中的应用,可以使用其他所有应用。
  • 仅这些应用:电脑操作只使用 允许的应用 中的应用。在 当智能体需要其他应用时 下,选择 让我确认,以便在智能体需要某个应用时回答“允许电脑操作使用此应用吗?”,或选择 拒绝。
点击 添加应用,即可从当前打开的应用或“应用程序”文件夹中添加应用。已屏蔽的应用不会出现在截图中。密码管理器和系统登录提示始终处于屏蔽状态,显示为 密码与系统提示。PopBar、选中文本和听写保留各自独立的设置。

示例

注意安全

电脑操作处理的是真实应用与真实数据。在允许 Enconvo 提交表单、修改账户设置、删除文件、付款或发送消息前,请先核对屏幕内容。
  • 尽量让目标窗口保持可见。
  • 给出明确的目标与边界限制。
  • 在 Enconvo 操作隐私或财务页面前先进行确认。
  • 如果屏幕上正在发生的操作与你的要求不符,请立即停止任务。

设置

故障排除

相关内容

使用浏览器

在真实浏览器标签页和已登录的网站中工作。

浏览器扩展

安装并检查 Enconvo Companion 扩展。

上下文感知

Enconvo 如何理解你的屏幕与当前所在的应用。

权限

Enconvo 使用的 macOS 系统权限。