用 OpenClaw-RL 从多轮对话反馈异步 RL…

当需要把线上多轮对话或智能体交互轨迹转为训练信号，并用 GRPO、OPD 或组合方法异步优化 Agent 策略时使用。

适用场景

解决思路

1. 按四个独立异步循环运行：Agent Serving、Rollout Collection、PRM/Judge Evaluation、Policy Training，确保互不阻塞。
2. 安装 OpenClaw-RL：运行 `git clone https://github.com/Gen-Verse/OpenClaw-RL`，再运行 `cd OpenClaw-RL`。
3. 安装核心依赖：运行 `pip install -r requirements.txt`。
4. 安装 slime 训练后端：运行 `cd slime && pip install -e . && cd ..`。
5. 可选安装 SGLang 加速推理：运行 `pip install sglang`。
6. 按项目结构使用各方法/赛道目录：`openclaw-rl/`（Binary RL/GRPO）、`openclaw-opd/`（On-Policy Distillation）、`openclaw-combine/`（Binary RL+OPD）、`openclaw-test/`（评估）、`terminal-rl/`、`gui-rl/`、`swe-rl/`、`toolcall-rl/`、`slime/`、`openclaw/`。
7. 选择 Binary RL（GRPO）：用 PRM 根据 next-state feedback 对每轮评分，采用 GRPO advantage estimation 与 PPO-style clipped surrogate loss。
8. 选择 OPD：当 next state 揭示有用 hindsight 时，用 judge 提取 textual hint 增强 prompt，构造 enhanced teacher，将 token-level log-probability gap 作为 directional advantage signal。
9. 推荐 Combination Method：合并 Binary RL 的 scalar supervision 与 OPD 的 token-level directional signal。
10. Track 1 Binary RL 启动：设置 `MODEL_PATH`、`DATA_PATH`、`CKPT_SAVE_DIR`，运行 `bash openclaw-rl/run_qwen3_7b_openclaw_rl.sh`。
11. Track 1 OPD 启动：设置 `MODEL_PATH`、`JUDGE_MODEL_PATH`、`DATA_PATH`，运行 `bash openclaw-opd/run_qwen3_7b_openclaw_opd.sh`。
12. Track 1 Combination 启动：运行 `bash openclaw-combine/run_qwen3_7b_openclaw_combine.sh`。
13. 配置模型路径：设置 `MODEL_PATH=/path/to/base/model`、`JUDGE_MODEL_PATH=/path/to/judge/model`（OPD）、`PRM_MODEL_PATH=/path/to/prm/model`（Binary RL）。
14. 配置训练：设置 `CKPT_SAVE_DIR=./checkpoints`、`CKPT_ARGS="--save-interval 100 --save-dir $CKPT_SAVE_DIR"`。
15. 配置 rollout：设置 `ROLLOUT_ARGS="--rollout-batch-size 64 --num-rollouts-per-prompt 4"`。
16. 配置优化器：设置 `OPTIMIZER_ARGS="--lr 1e-6 --weight-decay 0.01 --adam-beta1 0.9 --adam-beta2 0.999"`。
17. 分区 GPU：例如 8 GPU 时设置 `TRAIN_GPUS="0,1,2,3"`、`ROLLOUT_GPUS="4,5,6,7"`。
18. 可选 LoRA 配置：设置 `LORA_ARGS="--lora-rank 64 --lora-alpha 128 --lora-dropout 0.05"`。
19. LoRA 训练：向任意启动脚本加入 `export LORA_ARGS="--use-lora --lora-rank 64 --lora-alpha 128"`，或运行 `bash openclaw-rl/run_qwen3_7b_lora_openclaw_rl.sh`。
20. 自定义 loss：添加 `--custom-loss-function-path ./my_method/custom_loss.py`。
21. 自定义 rollout：添加 `--rollout-function-path ./my_method/custom_rollout.py`。
22. 自定义 generation：添加 `--custom-generate-function-path ./my_method/custom_generate.py`。
23. 自定义 reward model：添加 `--custom-rm-path ./my_method/custom_rm.py`。
24. 实现自定义 loss：在 `my_method/custom_loss.py` 中实现 `compute_loss(policy_logits, reference_logits, rewards, advantages, config)`，计算 `log_ratio = policy_logits - reference_logits`、`ratio = torch.exp(log_ratio)`、`clip_range`、PPO-style clipped objective、KL penalty，返回 `loss + kl_penalty`。
25. 实现自定义 reward model：在 `my_method/custom_rm.py` 中实现 `CustomPRM`，用 `AutoTokenizer` 和 `AutoModelForSequenceClassification` 加载 `model_path`（`torch_dtype=torch.bfloat16`），`eval()`；`score(prompt, response, next_state)` 拼接 `Prompt/Response/Outcome`，tokenize `max_length=2048`，`torch.no_grad()` 前向，softmax 后取正类概率；`get_reward_model(config)` 返回 `CustomPRM(config["prm_model_path"])`。
26. Tinker 云部署：设置 `TINKER_API_KEY=$TINKER_API_KEY`、`TINKER_ENDPOINT=$TINKER_ENDPOINT`，运行 `ray job submit --address $TINKER_ENDPOINT --working-dir . -- bash openclaw-combine/run_qwen3_7b_openclaw_combine.sh`。
27. Terminal Agent RL：设置 `ENV_TYPE=terminal`、`MAX_STEPS=20`、`PARALLEL_ENVS=32`，运行 `bash terminal-rl/run_terminal_rl.sh`。
28. GUI Agent RL：设置 `ENV_TYPE=gui`、`SCREENSHOT_BACKEND=playwright`（或 `selenium`）、`PARALLEL_ENVS=16`，运行 `bash gui-rl/run_gui_rl.sh`。
29. Tool-Call Agent RL：设置 `ENV_TYPE=toolcall`、`TOOLS_CONFIG=./toolcall-rl/tools_config.json`、`PARALLEL_ENVS=64`，运行 `bash toolcall-rl/run_toolcall_rl.sh`。
30. SWE Agent RL：设置 `ENV_TYPE=swe`、`SWE_BENCH_PATH=/path/to/swe-bench`、`PARALLEL_ENVS=8`，运行 `bash swe-rl/run_swe_rl.sh`。
31. 构造对话轨迹数据：使用 JSON，包含 `session_id`、`turns`；每个 turn 含 `type`、`prompt`、`response`、`next_state`、`trainable`；`main` turn 为可训练多轮轨迹，`side` turn 为非可训练系统/工具轮并排除训练。
32. OpenClaw-RL 自动分类 API messages；自定义数据时按手动格式构造 `main`/`side` turns。
33. 启动 OpenClaw API Server：设置 `BASE_MODEL_PATH`、`OPENCLAW_PORT=8000`、`OPENCLAW_HOST=0.0.0.0`，运行 `python -m openclaw.server --model-path $BASE_MODEL_PATH --port $OPENCLAW_PORT --backend sglang --enable-rl-intercept --rl-buffer-dir ./rl_buffer`。
34. 通过 OpenAI-compatible API 调用：在 TypeScript 中用 `new OpenAI({ baseURL: "http://localhost:8000/v1", apiKey: process.env.OPENCLAW_API_KEY ?? "local" })`，调用 `client.chat.completions.create({ model, messages, stream: true })`，遍历 chunk 并写入 `chunk.choices[0]?.delta?.content`。
35. PRM 多数投票：设置 `MAJORITY_VOTE_N=5`、`MAJORITY_VOTE_THRESHOLD=0.6`，向启动脚本参数加入 `--majority-vote-n $MAJORITY_VOTE_N --majority-vote-threshold $MAJORITY_VOTE_THRESHOLD`。
36. 新增方法贡献：创建顶层目录 `mkdir my-new-method && cd my-new-method`；创建 `README.md`、`run_qwen3_7b_my_method.sh`、如需自定义则创建 `custom_loss.py` 和 `custom_rollout.py`。
37. 新方法启动脚本：按约定写 `#!/bin/bash`、`set -e`、`MODEL_SIZE="7b"`、`MODEL_PATH=${MODEL_PATH:-/path/to/qwen3-7b}`、`CKPT_SAVE_DIR=${CKPT_SAVE_DIR:-./checkpoints/my-method}`，定义 `CKPT_ARGS`、`ROLLOUT_ARGS`、`OPTIMIZER_ARGS`，运行 `ray job submit --working-dir .. -- python slime/train.py --model-path $MODEL_PATH --custom-loss-function-path my-new-method/custom_loss.py $CKPT_ARGS $ROLLOUT_ARGS $OPTIMIZER_ARGS`。
38. 监控训练：运行 `ray dashboard`（默认 http://localhost:8265）、`watch -n 10 ls -la $CKPT_SAVE_DIR`、`tail -f ./logs/training.log`。
39. 从 checkpoint 恢复：设置 `RESUME_CKPT=$CKPT_SAVE_DIR/checkpoint-500`，向启动脚本加入 `--resume-from-checkpoint $RESUME_CKPT`。
40. 评估训练后 checkpoint：运行 `bash openclaw-test/run_eval.sh --model-path $CKPT_SAVE_DIR/checkpoint-latest --eval-tasks "conversation,coding,tool-use"`。
41. 排查 rollout+training OOM：使用 LoRA `export LORA_ARGS="--use-lora --lora-rank 32"`，或减少 `PARALLEL_ENVS=8`，或加 `--offload-optimizer-state`。
42. 排查异步循环落后/缓冲区溢出：减少 rollout batch size `export ROLLOUT_ARGS="--rollout-batch-size 16"`，或增加 judge workers `--num-judge-workers 4`。
43. 排查 PRM 分数都接近 0.5（reward collapse）：确认 `next_state` 字段含有效反馈；检查 judge model prompt template 格式；尝试增大多数投票 N：`--majority-vote-n 7`。
44. 排查 SGLang server 无法启动：检查 SGLang 版本兼容，按 `slime/requirements.txt` 固定版本安装，如 `pip install sglang==0.4.x`；回退 `--backend vllm`。
45. 排查 Ray job 提交失败：先启动 Ray 集群 `ray start --head --num-gpus=$(nvidia-smi -L | wc -l)`，再提交 `ray job submit --address auto -- bash run.sh`。

适用边界 · 注意事项

• 没有 OpenClaw-RL、slime、OpenClaw、Ray 运行环境，或无法自托管模型/GPU/云资源（如 Tinker）时不要使用。
• 没有多轮对话的 next_state/反馈信号，或只是一般 SFT/微调、不需要个性化或 agentic RL 时不要使用。
• 无法接受异步训练、Ray/SGLang/vLLM 部署复杂度与分布式调试成本的轻量场景不要使用。