其他
需要为视频生成、翻译、样式化或烧录字幕并导出…
当你已有视频或音频,想通过 each::sense 自动生成字幕、多语言字幕、动画字幕、说话人分离、烧录字幕或批量导出时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 35/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 38/100 ×0.15
适用场景
需要为视频生成、翻译、样式化或烧录字幕并特定
解决思路
- 向 https://eachsense-agent.core.eachlabs.run/v1/chat/completions 发送 curl -X POST 请求,设置 Content-Type: application/json、X-API-Key: $EACHLABS_API_KEY、Accept: text/event-stream,请求体包含 messages、model: eachsense/beta、stream: true、mode、file_urls。
- 在 messages[0].content 中写明字幕生成要求,例如要转写、翻译、样式化、烧录、导出格式等。
- 生成前询问用户要 fast & cheap 还是 high quality。
- 最终字幕、专业内容、准确性关键时设置 mode: max。
- 快速草稿、审阅副本、批量处理时设置 mode: eco。
- 选择 SRT .srt 格式用于通用播放器和视频编辑器。
- 选择 VTT .vtt 格式用于 Web 视频、HTML5 播放器和 YouTube。
- 选择 Burned-In .mp4 格式用于社交媒体,且无需播放器支持字幕。
- 选择 JSON .json 格式用于自定义应用和程序化访问。
- 选择 ASS/SSA .ass 格式用于高级样式和动画字幕。
- 自动生成字幕:上传视频 file_urls,在 content 中要求转写视频并生成带准确时间戳的字幕,输出 SRT,并说明视频中是英语语音。
- 多语言字幕生成:在 content 中要求从音频直接生成英语、西班牙语、法语字幕,为每种语言提供单独 SRT 文件,并说明原始音频为英语。
- 动画/样式字幕:在 content 中要求添加 TikTok 风格动画字幕,使用粗体白字加黑色描边、逐词弹出动画,放在屏幕底部三分之一居中,风格潮流且吸引人。
- SRT/VTT 导出:在 content 中要求转写并同时导出 SRT 和 VTT,确保换行合理(每行最多 42 字符、最多 2 行),时间戳精确到毫秒。
- 说话人分离:在 content 中要求为播客生成带说话人分离的字幕,说明有 2 个说话人,标注为 Speaker 1 和 Speaker 2,或可判断角色时标为 Host 和 Guest,每行带说话人标签。
- 字幕翻译:上传已有字幕 file_urls,在 content 中要求将英语字幕翻译为日语,保留原始时间和格式,使用自然日语措辞而非直译。
- 烧录字幕:在 content 中要求生成字幕后直接烧录进视频,使用白字加黑色背景框、Arial 字体、底部居中,输出内嵌字幕的新视频文件。
- 逐词卡拉OK风格:在 content 中要求为音乐视频创建卡拉OK式字幕,歌词逐词高亮,当前唱词使用从白色到黄色的渐变颜色变化,文字居中。
- 字幕时间调整:先在请求中设置 session_id(如 subtitle-timing-project)并上传视频生成初始字幕。
- 字幕时间调整:再向同一 session_id 发送请求,说明字幕提前 500 毫秒,将所有字幕时间向前移动 500ms 并重新生成 SRT。
- 批量字幕生成:在 file_urls 中放入多个视频 URL。
- 批量字幕生成:在 content 中要求为所有视频生成英语字幕并分别输出 SRT,统一格式为最多 2 行、每行 42 字符、每条字幕最少显示 1 秒。
- 提高转录质量:使用清晰语音和最少背景噪声的音频。
- 提高转录质量:在提示中指定源语言以提高准确性。
- 提高转录质量:说明说话人数以改善说话人分离。
- 提高转录质量:提供技术术语、人名、品牌等内容上下文以提高准确性。
- 字幕格式规范:每行保持在 42 字符以内。
- 字幕格式规范:每条字幕显示 1-7 秒。
- 字幕格式规范:每个字幕块最多 2 行。
- 字幕格式规范:阅读速度目标为 150-180 词/分钟。
- 动画字幕规范:选择粗体 sans-serif 字体。
- 动画字幕规范:用描边或阴影保证任意背景可见。
- 动画字幕规范:保持平台 UI 安全区清晰。
- 动画字幕规范:使用细微动画,比夸张效果更可读。
- 翻译规范:要求本地化而非单纯翻译。
- 翻译规范:某些语言需要更多阅读时间,时间可灵活调整。
- 翻译规范:CJK 语言每行通常需要更少字符。
- 提示词要求:包含源语言。
- 提示词要求:包含目标格式 SRT、VTT、burned-in 或 animated。
- 提示词要求:包含样式要求,如字体、颜色、位置、动画。
- 提示词要求:包含说话人信息,如数量、已知角色。
- 提示词要求:包含特殊术语,如词汇、人名、品牌。
- 提示词要求:包含输出语言,单语言或多语言翻译。
- 使用示例提示结构:为这个视频生成 [format] 字幕。源语言:[language]。[Number] 个说话人:[roles if known]。样式:[font, color, position requirements]。需要识别的特殊术语:[names, technical words]。附加要求:[line length, timing, etc.]。
- 多轮细化:初始生成时设置 session_id,例如 subtitle-project-001,并上传视频要求带说话人识别。
- 多轮细化:基于反馈在同一 session_id 请求中修改,例如把 Speaker 1 改为 John、Speaker 2 改为 Sarah,并修正 TensorFlow 拼写。
- 多轮细化:继续在同一 session_id 请求中增加样式并导出,例如生成烧录版本,用黄色表示 John、青色表示 Sarah。
- 语言支持:在提示中指定语言;each::sense 支持 50+ 语言,包括英语 en、西班牙语 es、法语 fr、德语 de、日语 ja、韩语 ko、中文 zh、阿拉伯语 ar(RTL)、印地语 hi、葡萄牙语 pt。
- 语言变体:注意英语的 US、UK、AU 变体,西班牙语的拉美和欧洲变体,法语的 France 和 Canadian 变体,葡萄牙语的 Brazilian 和 European 变体。
- 错误处理:遇到 HTTP 422 Failed to create prediction 时,表示余额不足,在 eachlabs.ai 充值。
- 错误处理:转录质量低时,提供更干净音频源。
- 错误处理:语言检测失败时,显式指定源语言。
- 错误处理:超时时,将客户端 timeout 设置为至少 10 分钟。
- 客户端配置:最小 timeout 为 10 分钟(600 秒)。
- 客户端配置:推荐按视频长度设置 timeout,每分钟视频约 2-3 分钟处理时间。
- 客户端配置:使用 SSE 事件处理显示进度。
适用边界 · 注意事项
- 没有 EACHLABS_API_KEY、eachlabs 账号或付费余额时不适用。
- 需要完全本地或离线处理,或不希望把视频/音频上传到第三方云服务时不适用。
- 无法接受较长处理时间且不能把客户端 timeout 设置为至少 10 分钟时不适用。