需要把普通视频改成一镜到底的 4K AI-VFX…

给 Claude 一段视频和想要的 VFX 改动，先完整读懂每一帧和音频，再生成可锁定人物/动作/运镜且按时间码改变画面的 Seedance 4K reference-to-video 提示词并重渲。

适用场景

解决思路

1. Stage 0：确认且只确认两项输入：原视频（本地文件或公开 URL）和要做的 VFX/改动；任一缺失先追问，不要自行编造改动，也不要处理无法访问的片段。
2. 两项输入齐了后，用一句话说明将要做什么（如“Reading every frame...”），然后连续执行 Step 1–5，不中途反复确认；但在 Step 6 生成前必须停下等待用户同意。
3. 如果视频是本地文件，调用 upload_asset，传 filename、mime_type（mp4 用 video/mp4）、size_bytes；把原始字节 PUT 到返回的 presigned_url；保存返回的 public_url 到 state.clip_url。若用户已给公开 URL，跳过上传，直接把 state.clip_url 设为该 URL。
4. 调用 probe_media 读取 state.clip_url 的 duration、fps、dimensions、aspect ratio；用 duration × fps ≈ 总帧数 ≈ 25 × sheet 数 校验 Step 3 的全帧抽取；据此选择输出 aspect_ratio 和 duration，并与源视频匹配。
5. 用本地 ffmpeg 按源帧率抽取视频的每一帧，不抽样、不丢帧；在相对工作目录操作，不用绝对系统临时路径；先 mkdir -p frames sheets，再执行 `ffmpeg -i INPUT -vsync 0 frames/f_%05d.png`。
6. 把帧拼成每张 25 帧的 contact sheet（5×5），每帧缩小并盖上帧号；命令：`ffmpeg -i INPUT -vf "scale=480:-1,drawtext=text='%{n}':x=4:y=4:fontsize=20:fontcolor=yellow:box=1:boxcolor=black@0.5,tile=5x5" sheets/sheet_%03d.png`。`drawtext=text='%{n}'` 用于盖帧号，`tile=5x5` 每张覆盖连续 25 帧；如果本地 ffmpeg 不支持 drawtext，退回 `scale=480:-1,tile=5x5`。确认 sheet 数与 Step 2 probe 对得上，每一帧都必须落在 sheet 上。
7. 对 Step 3 产生的每一张 contact sheet：先用 upload_asset 上传图片拿到 URL，再对这张 sheet URL 调用 analyze_media，query 要读出这 25 帧的完整推进；提取 subject/identity（脸、头发、体型、特征）、exact motion & gestures（逐拍动作，引用盖上的帧号，如 “raises right hand around frame 0048, snaps fingers around frame 0072”）、camera move（static/pan/push-in/handheld/orbit 及时间）、framing（景别、主体位置、headroom）、lighting（方向、硬度、色温、时间）、palette（主色/情绪）、wardrobe/props/setting（服装、物件、背景）。
8. 把所有 sheet 的读取串起来，理解整条时间线从开始到结束，不能只看抽样中间段。
9. 必读音频：调用 transcribe_audio 获取 speech + timestamps（说了什么、何时说），以便提示词保留对话和 lip-sync 节拍。
10. 同时调用 analyze_media 分析音频（或视频 URL），理解 NON-speech audio：music、sound effects、ambience、tone、rhythm/beats；把音频理解折进提示词，有人说话时保留 dialogue + lip-sync，需要时把 VFX 改变卡在音频 beat / sound cue（如 snap、hit、downbeat），而不是只给裸时间戳。
11. 把全帧读取和音频读取合成一份对原片的忠实描述，作为 Step 5 的素材。
12. 写一个 Seedance 提示词：忠实且穷尽地描述原片（锁定元素）+ 用户要求的改动并按时间码 + 用 @Video1 token 引用输入片段；Step 4 读到但省略的细节，Seedance 都可能自由改动。
13. 用模板填充 [SLOTS]：`Re-render this exact shot @Video1 in cinematic 4K. LOCK the original: [SUBJECT/IDENTITY — face, hair, build, wardrobe], performing [EXACT GESTURES, beat by beat]. Keep the SAME camera move ([CAMERA: static / pan / push-in / handheld], [timing]), the SAME framing ([SHOT SIZE + subject position]), the SAME lighting ([direction, hardness, color temp, time of day]) and the SAME palette ([dominant colors / mood]). CHANGE: [the VFX], time-coded — at [t0]–[t1]s [what the scene looks like before the change], then at [t2]s [the change triggers / VFX appears] and [how the scene reads after]. Everything not described by the change stays identical to @Video1. Photorealistic, high detail, consistent identity throughout.`
14. 给改动加时间码，让 Seedance 知道它相对锁定动作何时发生，例如 “at 0–3s the plaza is unchanged as the subject raises their hand; at 3s on the finger snap the plaza dissolves into an open desert, sand and heat-haze replacing the buildings while the subject, camera move, and framing stay identical”；改动子句越强、越具体，Seedance 越不会忽略。
15. Step 6 生成前必须过 agreement gate，绝不可以在没有本 session 明确批准时调用 generate_reference_video；在一条消息里展示：完整 Step 5 提示词原文、生成配方（provider seedance，model standard，resolution 4k，以及 Step 2 选出的 aspect_ratio 和 duration）、用 estimate_cost 对 Step 7 的 generate_reference_video 调用估价并报价；若估价报错，说明成本未知并标明 4K standard 是最高价档，不能静默跳过数字。
16. 展示后等待：用户 approve，则原样进入 Step 7；用户 revise，则按修正更新 Step 5 提示词（如需要可重读特定 sheet）并重新展示 gate；用户 abort 或不回答，则不生成，绝不把沉默当批准。只有用户在本 session 明确预先授权花费时才可跳过该 gate；仅提供片段和改动不算预先授权。
17. 调用 generate_reference_video 时使用精确 4K 配方：provider=seedance；seedance_model=standard（4k 必需，fast/mini 上限 720p）；resolution=4k；reference_videos=[state.clip_url]（原片作为 motion/style anchor，Seedance 最多接受 3 个视频）；reference_images 可选，仅在有风格/生物/身份锚点时传；prompt=Step 5 提示词（用 @Video1 引用输入片段，无最大长度，尽量穷尽）；aspect_ratio=auto（或匹配 Step 2 源片）；duration 匹配源片，或设置 auto_duration=true。
18. 不要传 negative_prompt（seedance 不支持，会拒绝调用）；不要传任何 fps 参数（不存在）。
19. 若调用内联返回，直接拿到 4K 视频 URL；若返回 { task_id, status: running/background }，用 task_status(task_id) 密集轮询，直到 completed/failed/cancelled；完成后把 4K 视频 URL 返回给用户。
20. 注意输出 CDN 可能在 session 内被 egress 阻止下载，所以交付 URL 本身，不要尝试在本地拉取字节。
21. 若片段太长/太大：上传大文件仍可；如果 Seedance 因 duration 拒绝，裁剪到真正需要的片段，或设 auto_duration=true 并匹配更短 duration。
22. 若读取中找不到脸/主体：对主体可见帧所在的特定 sheet（用盖上的帧号定位）重新跑 analyze_media，或在不缩小的情况下重建 sheet 以保留细节；不要把抽取退化成抽样，每一帧仍要落在 sheet 上。
23. 若 ffmpeg 缺失或 drawtext 不可用：运行环境需要本地 ffmpeg；如果构建缺少 drawtext filter，退回 plain `scale=480:-1,tile=5x5`（sheet 不带帧号，但仍读每一帧）。
24. 若身份/镜头漂移（输出中脸、房间或运镜不同）：说明提示词描述不够穷尽；回到 Step 4–5，从 contact-sheet 读取中补上缺失的锁定细节（更多脸、动作、运镜、光线）；Seedance 只保留提示词点名的东西；重渲会产生新花费，必须带修订提示词重新过 Step 6 gate 再发。
25. 若 4k 被拒/输出降级：确保 seedance_model=standard（fast/mini 上限 720p）且 resolution=4k；如果错误参数调用已经完成并被计费，修正后的调用是第二次渲染，重新过 Step 6 gate 再发；如果调用直接被拒绝（未计费），可在原批准下重发修正调用。
26. 若语音/音频未保留或改动不卡拍：同时运行 transcribe_audio（语音+时间）和 analyze_media 分析音频（音乐/SFX/环境声），在提示词中描述对话 + 口型节拍，并把时间码改动钉到正确音频 cue/beat 上，使重渲同步。
27. 若 Seedance 忽略请求的改动：加强 Step 5 的时间码改动子句，使其更具体并明确时间锚定（“at Ns the change triggers”）；修订提示词是新的、未被批准的提示词，重渲是新花费，发之前重新过 Step 6 gate。
28. 若任务长时间运行后失败：如果已经跑了几分钟才失败，内容已通过安全审核，失败属基础设施问题；重发同一个调用（用户的 Step 6 批准覆盖重试这个相同且已批准的调用，无需重新过 gate）。
29. 总体 recap：本地 ffmpeg 抽每一帧 → 拼成每张 25 帧（5×5）contact sheet 并分析每张 → 理解音频（转写语音 + 分析音乐/SFX/环境声）→ 写穷尽且忠实 Seedance 的提示词，锁定原片并把改动按正确音频节拍加时间码 → agreement gate：展示提示词 + 配方 + estimate_cost 并等待批准 → 通过 generate_reference_video（seedance / standard / 4k，原片作为 reference_videos，提示词用 @Video1，不传 negative_prompt）重渲同一镜头为 4K。

适用边界 · 注意事项

• 没有 Pika MCP、本地 ffmpeg 或 Seedance 4K reference-to-video 可用/付费权限时不适用。
• 用户只给视频和改动、但未在本次会话明确批准 4K 生成花费时，不要跳过 agreement gate 生成。
• 无法访问原视频、也无法上传或给出公开 URL 时不要继续。