返回博客
官小西

digital-human-koubo 拆解:一张照片到口播成片的完整 pipeline

直播间里那位介绍课程的主播并不存在。2026 年 10 月,一个开源仓库放出了这条 27 秒的带货广告:脸、声音、直播间背景、花字、价格动画全部由 AI 生成,人类的输入只有一张照片和一句话——「用这个数字人做一条 30 秒直播间广告,卖上手课,10 节课 99 元」。作者公布的生成成本是 482 个平台积分。

这个仓库叫 digital-human-koubo,作者 Berryxia,MIT 许可,2026-10-26 创建,截至 2026-10-28 有 1129 Star、268 Fork。两天千星在当下的 GitHub 不算稀奇,稀奇的是它验证了一条路线:数字人口播视频可以不依赖 SaaS 订阅,也不依赖本地 GPU,而是由 Agent 编排「云端生成 API + 本地剪辑脚本」跑完整条生产链。

不是应用,是一份流程知识

clone 下来只有 55MB,没有 package.json,也没有 src/。整个仓库就是两个 Agent Skill 文件夹:digital-human-koubo(主流程)和 finance-explainer(风格 A 的剪辑引擎),每个都是 SKILL.md 流程书加 Python/Shell 脚本加 Remotion 视频模板。

驱动它需要一个满足三个条件的 Agent:能装 Skill、能接远程 MCP、能在本机执行命令。Claude Code 和 Codex 都满足,作者的全部示例视频就是用 Claude Code 做的。

这个粒度选择是整个仓库最有价值的判断。内容生产链被拆成三层:流程知识放 skill(写稿规范、切段规则、质检清单、踩坑处理),算力放云端 API(Grok Video 1.5 生成口播、GPT Image 2.5 合成场景),质检与组装放本地脚本(ffmpeg、whisper.cpp、Remotion)。换生成模型不用改流程,换剪辑模板不用动生成,升级质检只改脚本。

同样是 Agent 驱动的视频生产,我们此前拆解过的 OpenMontage 用 12 条管线和 500+ 技能做一个通用制作工作室;koubo 只做口播这一个体裁,把每个环节抠到可复算。两条路线的取舍,放在文末评分里说。

架构:生成在云端,质检与组装在本地

digital-human-koubo 架构:Agent 与 Skill 在左,Renoise 云端生成在中,本地质检与组装在右

云侧只有一个依赖:Renoise。它是 2026 年出现的 AI 生成聚合平台,把 Grok Video、GPT Image、Seedance、Kling 等模型收进一个积分池,MCP 端点(https://renoise.ai/api/public/mcp)走浏览器 OAuth 授权,全程不用复制 API key。koubo 用到其中两个模型:Grok Video 1.5 生成对口型的口播片段,GPT Image 2.5 合成场景图和四视图。README 还写了 Wan 3.0 和 OmniHuman(用你自己的录音驱动口型)的用法,但截至 2026-10-28,Renoise 官网的模型列表里没有这两家,真要用得先确认平台支持。

本机侧四个依赖:ffmpeg、Python 3(numpy/Pillow)、Node 18+(Remotion)、whisper.cpp。全部是 CPU 任务,没有显卡要求,这是「生成在云、组装在本地」拆分带来的直接好处。

人设固定在 persona.json 里:参考图在 Renoise 的 material id、实测语速 5.4 字/秒、全屏 720p 与画中画 480p 两档分辨率、给 Grok 的英文提示词模板(末尾特意写了 no subtitles, no on-screen text,因为 Grok 偶尔会自作主张往画面里烧字幕),外加一组按镜头类型的动作库(全屏出镜、画中画讲解、vlog 自拍、景深中景各一套表演指令)。除了默认的白背心数字人,other_hosts 里还有用户本人数字人和两个动物主播(橘猫店长、柴犬),多主播接力和多语言都在这一层解决。

九步流水线,三道闸门

九步流水线:环境检查到剪辑渲染,三道红色闸门分别是报价确认、首段确认、双质检

流程从环境检查(doctor.sh,缺什么列多种装法)开始,经内容诊断、写稿、报价、生成、下载、质检、修音,到 Remotion 渲染出片。值得逐个说的是这些环节里的工程细节。

写稿切段是第一处。每段台词不超过 15 秒(Grok 单段上限),时长按 ceil(字数 / 5.4 + 1.0) 估算后夹在 4–15 秒之间,5.4 字/秒是实测语速;日韩语按 7 字/秒,拉丁语系按 2.6 词/秒。超过 15 秒的段直接报错,逼你拆稿,而不是静默截断。

然后是三道闸门,全部对着「生成式内容烧钱且不可退」这个事实设计:

  1. 报价闸门。build_tasks.py 先算出「段数 · 秒数 · 预估积分」,调 estimate_cost 核对余额,用户确认才调 create_tasks。每个任务带 idempotencyKey(格式 dh-<工程名>-<段号>-v1),重跑不会重复扣费。
  2. 首段闸门。批量生成前先拍第 1 段,音色口型看过再放行剩余段落;生成按每 10 个任务一批提交。
  3. 质检闸门。每段 whisper 回听转写、和稿子比对;每段抽 4 帧检查 Grok 有没有私自烧字幕。SKILL.md 里的原话是「提示词写了也挡不住」,所以只能靠抽帧兜底,中招就重拍那一段。

回听环节还藏着一个 whisper 的坑:带 --prompt 原文 会漏掉前半句,所以对齐提示用中性的「以下是普通话的句子。」。这类只有跑过才能知道的细节,仓库里至少有六处,全部写回了文档。

下载环节也有工程量:Renoise 的美国 CDN 并行下载经常断成半截,rangedl.py 把每个文件切成 6 段 Range 并发下载、断点续传,下完再用 ffmpeg 解码校验一遍。

修音是多段生成能不能「像一次录完」的关键。voicefx/unify.py 做四件事:22 个 1/3 倍频程中心频点(100 Hz–12.5 kHz)的能量向参照组中位数靠拢(±4 dB,走 ffmpeg 的 firequalizer);去齿音(deesser)加三段 EQ 收刺耳频段;按原始混响长短补同一间「房间」;统一到 -18 LUFS。作者给出的实测数字:齿音段间差从 13.2 dB 收到 5.9 dB。剪辑时数字人视频轨全程静音、人声单独铺轨,避免几毫秒的错位叠出梳状滤波。

积分账单:按「秒 × 分辨率」计费

三条实测片子的积分成本柱状图:27 秒广告 482 积分,教程 3250,多主播片 3409

单价(仓库文档标价,实际以 Renoise 实时报价为准):Grok Video 720p 17 积分/秒,480p 10 积分/秒(画中画用,便宜四成),GPT Image 2.5 2k 约 23 积分/张。

作者公开的三条实测账单:

成片 生成内容 积分
直播间广告 · 9:16 · 27 秒 1 张场景图 + 5 段 720p 口播 482
保姆级教程 · 16:9 · 4 分 36 秒 32 段口播(全屏 720p / 画中画 480p) 约 3250
多主播多语言 · 16:9 · 5 分 55 秒 30 段新片段 + 7 张场景图,复用 17 段旧片段 约 3409

第一条的账能对上:482 = 23(场景图)+ 459(27 秒 × 17 积分/秒)。按这个单价,一条 3 分钟成片的生成成本在 2000–3500 积分区间。

需要提醒的是定价黑盒:Renoise 的 MCP 页面没有公布积分对法币的价格,只写了「与官网同价」「生成不可取消不可退款」「账号限 300 请求/分钟」三条约束。积分值多少钱,注册后在官网定价页才看得到。这得益于生成前强制报价的闸门设计,风险被框在「你确认过的那一单」里。

此前我们横向对比过 8 款开源 AI 视频生成工具,那一批的计价单位是「一段素材」,koubo 把计价粒度压到了「秒 × 分辨率」,细到写稿阶段就能算出整条片子的账单,这是 pipeline 化对成本控制的真实贡献。

48 个组件背后的 25 支视频

48 个包装组件不是拍脑袋列的。作者逐帧拆了 25 支头部博主的视频(MrBeast、Mark Rober、MKBHD、影视飓风、何同学、Johnny Harris、Vox、Kurzgesagt、半佛仙人、差评、毕导等),拆解报告放在 references/research/,提炼成 playbook 规则写进 skill:前 30 秒每 3–5 秒出现一个新视觉事件;前 3 秒直接给命题、不放 Logo;BGM 从头铺到尾,音效只给事件(中文口播头部每分钟 1–3 个);单机位数字人最便宜的节奏手段是按句子边界做跳切推近(1.0× / 1.18× / 1.32×)。

组件在 Remotion 模板里按 pack 数组声明,触发点写「段:词」(比如 "3:积分" 表示第 3 段说到「积分」这个词时出现),9:16 自动适配,渲染前由 check_edit.py 做一遍静态检查。

其中景深字 TextBehind(大字放在人和背景之间,三层合成)是全仓库唯一的功能性平台绑定:逐帧人像分割用的是 macOS Vision(personmask.swift,首次运行时 swiftc 编译),Windows 和 Linux 没有现成替代。48 个组件里,这一个在非 macOS 机器上出不来。

Windows 本机部署:能跑,四个坑

我们最初的问题就是「能不能在 Windows 上跑」。读完代码的答案:能。生成在云端,本机只剩 CPU 任务;官方文档连 winget 命令都给了,doctor.sh 还专门识别 Git Bash(把 MINGW/MSYS 判定为 win)并按 Windows 列安装建议;whisper.cpp 有官方 Windows 预编译包,配套的 ggml-medium-q5_0.bin 模型约 540MB,从 HuggingFace 下载。

四个坑,前两个要改代码:

  1. 模板字体硬编码 macOS 字体。花字模板的中文字体栈是 "PingFang SC","Hiragino Sans GB",Windows 上全部退化到 sans-serif,花字排版明显变丑。修法:模板文件里的字体栈加上 "Microsoft YaHei"。
  2. finance-explainer 的 sheet.py 写死 /System/Library/Fonts/Menlo.ttc,Windows 上直接 FileNotFoundError,改成 arial.ttf 一行解决。
  3. node_modules 起不来克隆。new_edit.sh 起工程时会先尝试从作者本机的 Remotion 工程克隆依赖(APFS 克隆),Windows 上必然落空、回退 npm install。记得先 npm config set registry https://registry.npmmirror.com,依赖里含 three.js,不小。
  4. 景深字组件不可用(见上),48 个组件少 1 个。

部署路径是四条命令的事:装 Git for Windows(自带 Git Bash);winget install Gyan.FFmpeg Python.Python.3.12 OpenJS.NodeJS.LTS;两个 skill 文件夹拷进 %USERPROFILE%\.claude\skills\;Claude Code 里装 Renoise 插件并浏览器登录。跑一次 doctor.sh 确认全绿。

路线 代表 计费 包装自由度 上手门槛
SaaS 托管 HeyGen / 剪映数字人 月订阅 + 额度 模板化,平台内调 最低
本地开源模型 SadTalker / MuseTalk 一类 免费,吃电费 自行解决 高(要 GPU 和调参)
Agent 编排(本仓库) digital-human-koubo 按量积分 Remotion 代码级,48 组件 中(要 Agent 工作流)

我们的判断:SaaS 适合不想碰命令行的人;本地开源适合有卡有算法团队的定制需求;koubo 这条路的适用面,是已经在用 coding agent、想要一条可复算可定制生产线的人——成本结构和可控性都更好,代价是生成侧绑定单一云平台。

六维评分

维度 评分 依据
流水线工程设计 9/10 三道闸门、idempotencyKey、6 段续传下载、频谱匹配修音,全是生产级细节
生成质量 8/10 作者自述六种语言回听准确率 94–100%,Grok 烧字幕有质检兜底;本文未独立复测
文档与踩坑沉淀 9/10 踩过的坑全部写回 skill,doctor.sh 自动化环境检查
开箱体验 5/10 不是即装即用的应用,要 Agent、四样本机工具、注册云服务
平台兼容 6/10 跨平台但 Windows 有 4 个坑,1 个组件 macOS 专属
自主可控 5/10 生成侧绑定 Renoise;剪辑模板 MIT 可改;Remotion 商用需注意 ≤3 人公司免费条款

需要说明:本文是源码走读加作者公开数据的评测,没有花积分复现生成质量;文中所有成本与质量数字来自仓库文档和脚本,数据截至 2026-10-28。

结论

这个仓库最值钱的部分不是那个白背心数字人,是它把「AI 内容生产」的粒度拆对了:流程知识沉淀为 skill,算力外置为按量云 API,质检与组装留在本地脚本。三道闸门(报价确认、首段确认、双质检)和 idempotencyKey 这类设计,任何要做 Agent 编排生成式内容的团队都值得直接抄。这与我们评测 scout 时的判断是同一条标准:对两天大的新仓库,把设计搬走比把它供起来有用。

给三类读者的建议:已经在用 coding agent 的个人和小团队,可以直接上手,注意 Remotion 的 ≤3 人免费条款和积分成本;Windows 用户按上面四个坑绕行,生成侧不吃本地硬件;做视频产品的工程师,把它当 pipeline 设计范本读,重点看 build_tasks.py 的计费精度和 voicefx/unify.py 的修音链。

参考资料

  1. andyhuo520(Berryxia)— digital-human-koubo 仓库(2026-10-26 创建,MIT 许可;Star/Fork 数截至 2026-10-28)
  2. 仓库源文件 — SKILL.md、persona.json、scripts/build_tasks.py、scripts/voicefx/unify.py、scripts/rangedl.py
  3. Renoise — MCP 接入页(接入免费,生成按积分计费,以官网实时价格为准)
  4. whisper.cpp — Releases(Windows 预编译包)与 ggml-medium-q5_0.bin 模型(约 540MB)
  5. Remotion — 公司许可说明(个人与 ≤3 人公司免费)