MaaPipelineEditor

主题

kqcoxn
2118
7.6m

AI 服务 ​

概述 ​

AI 服务为 MaaPipelineEditor 提供智能节点配置预测功能。通过结合 OCR 识别结果、节点上下文和流程分析，AI 可以自动推断节点的识别和动作配置，大幅提升配置效率。

功能特性 ​

智能节点预测 ​

  • 自动截图识别：自动获取当前设备画面并进行 OCR 识别
  • 上下文分析：分析前置节点的连接关系、识别类型和动作类型
  • 配置推断：基于节点名称、OCR 结果和上下文，智能推断最合适的识别和动作配置
  • 字段验证：自动校验 AI 生成的配置，过滤无效的类型和字段组合

实时进度反馈 ​

在 AI 预测过程中，会显示详细的进度阶段，MPE 采用如下工作流实现 AI 节点生成功能：

收集上下文 → 截图 → 识别 → 构建提示词 → AI 生成 → 解析结果 → 应用配置

历史记录追溯 ​

所有 AI 对话都会保存到历史记录面板，包括：

  • 用户提示词（简化显示）
  • 实际发送的完整消息
  • AI 响应内容
  • 推理依据说明
  • Token 用量统计：显示输入/输出 tokens 数量，支持查看估算值标识
  • 图片缩略图预览：点击可查看完整设备截图
  • 提示词详情：可展开查看实际发送给 AI 的完整提示词
  • 回复折叠展示：默认显示 300 字符，支持展开/收起完整回复

AI 流程探索模式 ​

AI 流程探索模式提供了一种引导式的智能工作流构建方式，特别适合寻路等流程类任务。

核心特性 ​

  • 目标驱动：输入任务目标描述，AI 自动推断执行步骤
  • 引导式操作：每步预测 → 审核 → 确认，用户完全掌控流程
  • 实时预览：Ghost 节点预览 AI 推荐的节点配置
  • 智能命名：AI 自动为节点生成有意义的名称
  • 状态追踪：清晰的状态流转（未开始 → 预测中 → 待审核 → 执行中 → 已完成）
  • 灵活控制：支持执行动作、重新生成、确认方案、跳过步骤等操作

使用流程 ​

  1. 点击画布右下角的 机器人图标 🤖 打开流程探索面板
  2. 输入任务目标描述（如："从主界面导航到设置页面"）
  3. 可选：选择起始节点（默认为新节点）
  4. 点击 开始探索
  5. AI 预测下一步节点配置，显示为 Ghost 节点
  6. 在 Ghost 节点旁审核预测结果：
    • 执行动作：在设备上执行该节点的动作
    • 重新生成：让 AI 重新预测
    • 确认：接受该节点并进入下一步预测
  7. 重复步骤 5-6，直到完成整个流程
  8. 点击 完成探索 保存所有已确认的节点

前置条件 ​

✅ 已连接到本地服务（LocalBridge）
✅ 已连接到设备（ADB 或 Win32 控制器）
✅ 已配置 AI API（URL、Key、Model）

提示

与普通的单节点 AI 预测不同，流程探索模式专注于 多步骤流程的引导式构建，AI 会根据目标描述和当前上下文持续预测下一步，直到您认为流程已完成。

配置步骤 ​

1. 打开配置面板 ​

点击顶部工具栏的齿轮图标 ⚙️，打开配置面板，滚动到 AI 配置 部分。

2. 填写 API 配置 ​

需要配置以下三个字段：

API URL ​

  • OpenAI 兼容的 API 端点地址
  • 示例：https://api.openai.com/v1/chat/completions
  • 或使用第三方兼容服务（DeepSeek、通义千问等）

API Key ​

  • 你的 API 密钥
  • ⚠️ 安全提示：API Key 将以明文存储在浏览器 LocalStorage 中，请勿在公共设备上使用

模型名称 ​

  • 使用的模型名称
  • 成功率与生成质量取决于模型，您可以自行尝试并调整至最合适的模型

3. 测试连接 ​

配置完成后，点击 测试 按钮验证 API 配置是否正确。测试成功后会显示 AI 的简短回复。

4. 注意事项 ​

CORS 跨域问题

浏览器直接调用 API 可能遇到 CORS 跨域限制。建议使用支持 CORS 的 API 中转服务，或使用以下方式解决：

  • 使用支持 CORS 的 API 代理服务
  • 使用浏览器扩展（如 CORS Unblock）临时解决
  • 优先选择支持 CORS 的 API 提供商

使用方法 ​

1. 前置条件 ​

使用 AI 预测功能前，需要确保：

✅ 已连接到本地服务（LocalBridge）
✅ 已连接到设备（ADB 或 Win32 控制器）
✅ 已配置 OCR 功能（设置 MaaFramework 路径）
✅ 已配置 AI API（URL、Key、Model）

2. 触发预测 ​

  1. 在工作流面板中选中需要配置的节点
  2. 为节点命名，最好与行为有关（可以当做提示词使用，生成后再改回实际想保留的节点名）
  3. 在右侧字段面板的工具栏中，点击 机器人图标 🤖
  4. 等待 AI 分析完成（通常需要 3-10 秒，取决于您的 API 服务商）
  5. 预测结果会自动填充到节点配置中

3. 查看推理依据 ​

点击顶部工具栏的 AI 对话历史 按钮，可以查看：

  • AI 的完整推理过程
  • 为什么选择该识别类型
  • 为什么选择该动作类型
  • 具体的参数推断依据

4. 手动调整 ​

AI 预测结果仅供参考，建议根据实际情况进行调整节点字段

最佳实践 ​

1. 合理命名节点 ​

节点名称是 AI 推断的重要依据，建议使用清晰、准确的命名：

✅ 推荐：

  • 点击开始按钮
  • 识别主界面
  • 滑动到底部
  • 输入用户名

❌ 不推荐：

  • 节点1
  • 测试
  • aaa

2. 保持流程连贯 ​

AI 会参考前置节点的配置，因此：

  • 按顺序配置节点，让 AI 理解完整流程
  • 前置节点配置越完整，后续节点预测越准确

3. 确保 OCR 可用 ​

  • 设备画面清晰，避免模糊
  • OCR 模型配置正确
  • 测试 OCR 功能正常工作

4. 验证预测结果 ​

  • 不要盲目信任 AI 预测
  • 根据实际运行效果调整配置
  • 查看 AI 对话历史了解推理依据

5. 模板图片需手动处理 ​

AI 无法自动生成模板图片，对于 TemplateMatch 类型：

  • AI 会设置 template: [""] 占位
  • 需要手动截图并填入图片路径
  • 可使用截图工具辅助

常见问题 ​

Q1: AI 预测失败，提示 "请先连接到本地服务与设备" ​

原因：LocalBridge 未连接或设备未连接。

解决方案：

  1. 确保 LocalBridge 已启动并连接
  2. 在连接面板中连接到设备（ADB 或 Win32）
  3. 检查设备连接状态指示器

Q2: AI 预测失败，提示 "请先在配置面板中设置 AI API" ​

原因：AI API 配置不完整。

解决方案：

  1. 打开配置面板
  2. 填写完整的 API URL、API Key 和模型名称
  3. 点击测试按钮验证配置

Q3: AI 预测失败，提示 "OCR 识别失败" ​

原因：OCR 功能未正确配置或识别超时。

解决方案：

  1. 检查 MaaFramework 路径是否正确
  2. 确认 OCR 模型文件存在
  3. 测试单独的 OCR 识别功能
  4. 检查设备画面是否正常

Q4: AI 生成的配置不符合预期 ​

原因：AI 基于有限的上下文进行推断，可能存在偏差。

解决方案：

  1. 查看 AI 对话历史，了解推理依据
  2. 手动调整不准确的字段
  3. 优化节点名称，提供更明确的意图
  4. 确保前置节点配置准确

Q5: API 调用遇到 CORS 错误 ​

原因：浏览器跨域限制。

解决方案：

  1. 使用支持 CORS 的 API 代理服务
  2. 安装浏览器 CORS 扩展（开发环境）
  3. 选择官方支持 CORS 的 API 提供商

Q6: 预测速度太慢 ​

原因：网络延迟或模型处理时间长。

优化方案：

  1. 选择国内访问友好的 API 服务（DeepSeek、通义千问）
  2. 使用更快的模型（如 gpt-4o-mini）
  3. 确保网络连接稳定

相关文档 ​