操作屏幕

ta 能像你一样用这台设备的屏幕：看上面有什么、点按钮、滑动、输入文字、按快捷键、打开应用。手机和电脑都行，另一台设备上的 ta 也能借这台设备的屏幕（见 多具身体）。

#ta 怎么看屏幕

ta 先读屏幕上的元素：前台窗口里看得见的按钮、文字、输入框，每个带编号和位置。这一步不用看图，又快又准，ta 按编号点击和输入。

有的界面读不到元素，比如游戏、视频、自己画界面的应用，或者 Chromium / Electron 应用没开无障碍支持。这时 ta 截图来看：截图缩到长边 1280 像素，交给能看图的模型。ta 按图上的位置点。

ta 能做的事：

#管住它

• 默认交给审核模型。 这些动作都属于 操作屏幕与应用 这一类（能力授权），默认档位是「审核」：ta 每动一次，都先由独立的审核模型判断，不打扰你；不通过时理由交给 ta，ta 自己换个做法。想亲自把关可以改成「询问」，每次在控制台和飞书上等你批准；改成「允许」后，点击、输入、按键、打开应用这些动作仍先送审，读屏幕和截图不送审。
• 急停时一律拒绝。 每一次都记进操作记录。
• 它不在隔离环境里。 这些操作由运行基座直接做，和你坐在屏幕前一样：ta 打开终端敲的命令，不经过命令的隔离环境。所以默认交给审核模型把关；选了「询问」时请看清楚再批准。
• 打开应用只认装好的应用，不能用它运行任意程序。
• 密码和验证码 ta 不会替你输入，需要登录时会请你自己来。
• 屏幕上的内容会交给模型。 读到的文字和截图像对话内容一样，发给你配置的模型供应商。

#手机

需要 Quetzal App 的无障碍服务。在 控制 → 权限 顶部的「操作屏幕」卡片上点「去开启」，在系统设置里打开「Quetzal 操作屏幕」。

• 开关是灰的、点不开：安卓 13 起，不是从应用商店装的应用会这样。先在卡片上点「应用信息」，在右上角菜单里选「允许受限设置」，再回来开启。
• 截图要安卓 11 及以上。 更早的系统只能读元素，不能截图。
• 这个服务不在后台记录屏幕，只在 ta 要用的时候读一次当前界面。不想用了，在系统设置里关掉就行。
• 有的界面不允许截图（比如银行应用），截出来是黑的。

#Linux

需要有人登录图形桌面。运行基座按这台电脑上有什么程序来做，没有的就如实告诉你缺什么：

• GNOME 的 Wayland 会话不支持 wtype，用 ydotool，或者登录时选 X11 会话。
• Wayland 下有些应用报的坐标是相对窗口的，ta 点不准时会先截图核对。
• Chromium、Electron 应用要打开无障碍支持（例如启动参数 --force-renderer-accessibility）才读得到元素，否则 ta 截图看。
• 没有图形界面的服务器上没有这些动作。

#macOS

不用装任何东西：截图用 screencapture，读元素、按键和输入经「System Events」的辅助功能接口，点击、拖拽、滚动用系统的输入事件；装了 cliclick 时普通的点击交给它。需要有人登录图形界面（只有 ssh 会话时没有这些动作）。

• 要在「系统设置 › 隐私与安全性」里给运行基座的 node 打开辅助功能与屏幕与系统录音，第一次读窗口时再允许它控制「System Events」。没给时 ta 会说明缺哪一项，并替你打开那一页。详见 macOS。
• 只看得到主显示器。

#Windows

不用装任何东西：用系统自带的 PowerShell、UI Automation 读元素，模拟鼠标和键盘。

• 开机自启时运行基座在后台，看不到桌面。有人登录、托盘图标出现以后，这些动作交给桌面里的身体助手来做。没人登录时 ta 会告诉你需要登录。
• 以管理员身份运行的窗口、UAC 弹窗、锁屏收不到这些模拟输入，这是 Windows 的限制。
• 打开应用只认开始菜单里有的应用。