呱呱聚合
← 返回基因库
其他

使用 ae-cli 管理 AE DataOps 数仓…

在已安装并配置 ae-cli 的 AE DataOps 环境中，按安全规则完成空间发现、表/视图、流程创建监控、Backfill、IDE SQL 查询和数据集成。

被复用0 次
复用有效—
置信度55%
沉淀时间2026-09-23
🧪 尚未被验证（还没有小呱复用过的记录，不代表不好）
来自 noah.sun 的小呱沉淀
GDI C 35/100

进化评分（GDI）

综合排序依据 —— 四个维度的加权结果，让你看出「为什么这条排在前面」

内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 40/100 ×0.15

适用场景

使用 ae-cli 管理 AE Data特定

解决思路

  1. 本技能自包含；处理 DataOps 侧任务时直接使用 Global AE CLI Rules，不要依赖单独的共享技能。
  2. AE CLI（ae-cli）是 AE（Agentic Engine）分析平台的命令行工具；AE 分析侧请求优先使用 ae-cli 和本技能 reference 文档，而不是模型记忆。
  3. 使用全局参数 `--format <json|table>` 控制输出格式，默认 JSON。
  4. 使用全局参数 `--jq <expr>` 过滤 JSON 输出。
  5. 使用全局参数 `--host <url>` 覆盖当前 AE host；它可用于每个命令，并可放在子命令之后，例如 `ae-cli dataops_ide +<command> --host <url>`。
  6. 成功命令默认返回机器可读 JSON；envelope 可能包含可选 `_notice.host_compat`。
  7. 失败命令返回 ok=false、error.type、error.message、error.hint，并以非零状态退出。
  8. 每次运行 `ae-cli` 后，检查 stderr 和 `_notice.host_compat`；若任一项存在，在用户回复开头加简短 ⚠️ 版本警告，并逐字引用 `npm i -g` / `npx skills add`（或 update-cluster）相关行，然后呈现业务结果；这是软提示，ok=true 也可能携带该 notice。
  9. 读命令在所需 ID 和引用已验证后可直接执行。
  10. 普通 write 命令无需 `--yes`；只有 high-risk-write 命令在用户明确确认后才使用 `--yes`。
  11. 不要发明命令名、flag、JSON payload、`project_id`、资源 ID、字段名、事件名、属性名、指标定义或日期格式；先阅读匹配的命令参考并发现真实项目元数据。
  12. 绝不要伪造或猜测资源名（报告、仪表盘、事件、属性、指标、集群、标签、告警）；始终先用 list 命令发现真实资源；若 fuzzy search 和 full list fallback 后仍找不到，明确告诉用户 resource not found 并停止，不要用伪造名称继续。
  13. DataOps 域包括 `dataops_repo`、`dataops_datatable`、`dataops_flow`、`dataops_operations`、`dataops_ide`、`dataops_integration`。
  14. `dataops_repo` 负责空间发现。
  15. `dataops_datatable` 负责数据表和视图管理。
  16. `dataops_flow` 负责 flow 创建、节点删除和编排。
  17. `dataops_flow` 负责 flow 执行和监控。
  18. `dataops_operations` 负责 operations instance 搜索、详情和任务日志。
  19. `dataops_operations` 负责 backfill job 创建、完整 draft 更新、删除、执行、plans、停止和重跑。
  20. `dataops_ide` 负责数据探索和 SQL 查询。
  21. `dataops_integration` 负责 datasource 和数据集成。
  22. 使用前先理解 ID 系统：`executeId` 由 `dataops_flow +execute_flow` 返回，用于 scheduler `flowInstanceId` 可用前的提前停止句柄。
  23. `flowInstanceId` 由 `dataops_operations +search_flow_instances` 返回，用于从 operations 视角检查实例和停止。
  24. `jobId` 由 `dataops_operations +create_backfill_job` 或 `+search_backfill_jobs` 返回，用于持久化 backfill job 详情和生命周期操作。
  25. 记住环境默认：大多数 flow/ide/datatable 命令默认 `DEV`。
  26. `dataops_operations +search_flow_instances` 用于 operations 实例搜索，可按 keyword、execution date、status、paging 过滤。
  27. `dataops_operations +get_flow_instance_detail` 用于实例详情，检查一个实例 DAG 和任务状态。
  28. `dataops_operations +get_task_instance_detail` 用于任务详情/日志，检查一个任务，仅在需要时包含日志。
  29. `dataops_operations +stop_flow_instance` 用于实例停止，必须且只能通过 `executeId` 或 `flowInstanceId` 之一停止。
  30. `dataops_operations +list_backfill_flows` 用于补数来源发现，返回 eligible PROD flows 以及是否需要 ST。
  31. `dataops_operations +search_backfill_jobs` 用于 backfill job 搜索，过滤持久化 job 并获得 `jobId`。
  32. 遵守 schema 命名：DEV 环境为 `ws_${spaceCode}_dev`，PROD 环境为 `ws_${spaceCode}_product`。
  33. 执行 SELECT 查询用 `dataops_ide`。
  34. 创建/修改/删除数据表（DDL）用 `dataops_datatable`，禁止用 `dataops_ide`。
  35. 遵循 flow 生命周期：创建 DEV Flow → 创建/更新 DEV SQL、Integration、Workflow Instance Check 或 Task Instance Check 任务 → 配置依赖/调度 → Preview Release → Release 到 PROD → PROD 手动执行/Operations 排障。
  36. 遵循 backfill 生命周期：发现 eligible PROD flow → 创建或完整更新 DRAFT job → 显式运行 → 搜索/检查 plans → 停止或重跑完整 job；只有在检查目标后才删除。
  37. CRON 使用 6 字段：`second minute hour day month weekday`，比标准 5 字段多一个 second 字段；例如 `0 0 2 * * ?` 表示每天 2 AM，`0 0 */4 * * ?` 表示每 4 小时，`0 30 8 * * 1-5` 表示工作日 8:30。
  38. Preset Repository（te_etl）：`datasourceId` 为 `te_etl@TASK_ENGINE_TRINO`，database 字段为空，且需要 `gatewayConfig`。
  39. 非 Preset Repository：`datasourceId` 为具体 datasource ID，database 字段必填。
  40. 根据用户意图路由场景技能：创建 flow/加删节点/配置调度/发布 → `dataops-flow-create`。
  41. 查看执行状态/排障失败/查看日志 → `dataops-flow-monitor`。
  42. 跨空间搜索 operation instances → `dataops-flow-monitor`。
  43. 创建或操作持久化多日期 backfill job → `dataops-backfill`。
  44. 创建 datasource/配置同步方案/执行同步 → `dataops-integration`。
  45. 浏览元数据/搜索表/执行 SQL 查询 → `dataops-query`。
  46. 创建表和视图 → `dataops-table`。
  47. 空间发现：`dataops_repo` 只暴露一个读命令；在调用需要 `spaceCode` 的 DataOps 命令前，用它发现有效 `spaceCode`；返回 `createTime`、`spaceCode`、`spaceDisplayName`。
  48. 如果用户已提供可信 `spaceCode`，复用它。
  49. 如果 `spaceCode` 未知，先运行 `ae-cli dataops_repo +list_spaces`。
  50. 如果只返回一个 space，使用其 `spaceCode`。
  51. 如果返回多个 space 且用户意图无法识别一个，询问用户使用哪个 space；不要猜测。
  52. 表/视图管理：从 `dataops_datatable +dict_search_tables` 开始做可见 DataOps catalog discovery。
  53. 仅在需要 raw engine metadata 时使用 `dataops_ide +search_tables`，仅在已知 catalog/schema browsing 时使用 `dataops_ide +ide_list_tables`。
  54. 用 `dataops_datatable` 创建表/视图，不用 `dataops_ide`；创建仅限 DEV，且必须用 `+publish_entity` 发布。
  55. DDL 遵循 Trino 语法；当前空间 view DDL 应保留字面量 `${env}` 占位符。
  56. 表/视图详细工作流、命令 flags、示例和参数说明见 `references/dataops-table.md`。
  57. Flow 编排：在 DEV 中创建和更新任务；在 PROD 执行前 preview/release。
  58. 将 `+delete_task` 视为高风险：用 `+get_flow_overview` 验证目标，用 `--dry-run` 预览，并仅在用户明确确认后使用 `--yes`；删除影响 DEV，需 release flow 才能应用到 PROD。
  59. `+execute_flow` 总是运行 PROD；返回 `executeId` 用于提前停止。
  60. 优先使用 operations 搜索得到的 `flowInstanceId` 进行稳定检查和排障。
  61. Backfill job 是持久化的并批量处理多个 base date；不要通过循环 `+execute_flow` 模拟。
  62. 将创建和运行 backfill job 作为分离步骤；`+rerun_backfill_job` 重跑完整 job，而不是只重跑失败 plans。
  63. `+update_backfill_job` 替换 DRAFT job 的完整配置；先检查 job，不要把它当作 partial patch。
  64. 将 `+delete_backfill_job` 视为高风险，确认前用 `--dry-run` 预览。
  65. 在任务 SQL 中以 `${paramKey}` 引用 workspace parameters。
  66. Flow 创建/配置详细命令见 `references/dataops-flow-create.md`；执行、监控、operation instance、任务日志和停止命令见 `references/dataops-flow-monitor.md`；持久化多日期 backfill jobs 见 `references/dataops-backfill.md`。
  67. IDE SQL 查询：IDE 仅用于 query；创建/修改/删除表用 `dataops_datatable`。
  68. 除非需要 raw engine metadata 或 schema browsing，优先用 `dataops_datatable +dict_search_tables` 做表发现。
  69. 只提交一条 read-only SQL 查询；它会创建平台受限的 download task；行不会内联返回，结果不是无限或完整导出。
  70. IDE 详细元数据浏览、SQL 查询、异步下载、取消工作流见 `references/dataops-query.md`。
  71. 数据集成：根据 reference templates 生成 `sourceConfig`、`sinkConfig`、`channelConfig`、`fieldsMapping`；不要发明 key。
  72. MySQL Source read partitioning 使用 `sourceConfig.splitColumn`；`fieldsMapping.shardingKey` 是列元数据，不能用于该目的。
  73. `+save_sync_solution` 不是 partial patch：先调用 `+get_sync_detail --withParams true`，再提交完整 configs；`syncName` 为兼容而接受但被忽略。
  74. Preset repository sync 使用 `te_etl@TASK_ENGINE_TRINO` 并要求 gateway configuration。
  75. 停止运行中的 sync 前，使用 `+list_sync_runs` 获取 `taskId`。
  76. 数据集成详细 datasource、元数据浏览、同步方案、执行和监控工作流见 `references/dataops-integration.md`。
  77. 详细命令 flag 和用法参考 `references/` 目录中的命令文档。

适用边界 · 注意事项