适用场景
这套流程适合想用 AI 把一句梗概做成 1~5 分钟竖屏短剧的个人创作者、小团队运营和小型内容工作室。你现在可能卡在三个地方:剧本写不动、分镜画不出、生成的角色每个镜头都长不一样。下面这条流水线解决的就是这三件事,并且给出一份能直接交给剪辑或发布的成片与素材清单。
环境与前置条件
操作系统与浏览器
- Windows 10/11、macOS 较新版本、主流 Linux 桌面发行版均可,工具本身在浏览器里跑,对本地系统要求不高。
- 浏览器建议用 Chrome 或 Edge 的近期版本,Safari 也能用,但个别上传控件在 Safari 上兼容性一般。保持浏览器为最新版,具体支持矩阵以官方文档当前版本为准。
- 关闭会拦截脚本的浏览器插件(广告拦截、隐私盾),否则可能出现页面加载了但按钮点不动的情况。
内存与显存/磁盘
- 本地不跑模型,内存 8GB 起步,16GB 更从容(多开标签页 + 剪辑软件同时开)。
- 显存不是硬性要求,但如果计划用本地工具做二次处理(如超分、换脸校对、ffmpeg 转码),独立显卡会明显快一些。
- 磁盘预留:一条 3 分钟竖屏短剧的原始素材(分镜图 + 片段 + 配音)通常在数 GB 量级,建议留出 20GB 以上空余,并准备一块外置盘或云盘做备份。
网络
- 上传分镜图和下载成片都吃带宽,稳定 20Mbps 以上上传比较舒服。批量生成时不要同时开下载任务,容易把上传挤掉。
账号与权限
- 需要一个能登录即梦的账号,并确认账号已开通短剧工作室相关能力。不同账号看到的入口可能不同,功能是否可见、额度规则以官方页面当前版本为准。
- 如果是团队协作,提前确认好谁能改剧本、谁只能看分镜,权限最好在开工前定,避免中途改权限导致素材归属混乱。
素材准备(开工前 30 分钟做完)
1. 一句话梗概,控制在 50 字以内。
2. 主角设定:性别、年龄段、发型、常穿服装、一个记忆点(疤、眼镜、工牌)。
3. 参考图:主角正脸、侧脸、全身各一张,光线均匀、背景干净。
4. 音乐与音效的授权来源说明(自己录制、已购买授权、平台曲库),这条在导出清单里要写清楚。
本地目录结构
先在本地把目录建好,后面所有导出都往这里放,命名统一,后期才不会乱。
```bash
mkdir -p ai-drama/{00_script,01_storyboard,02_chars,03_shots,04_audio,05_export,06_backup}
cd ai-drama
touch 00_script/梗概.md
```
约定:03_shots 下的片段一律以 S01-SH003_v2.mp4 命名(场次-镜号-版本),改镜时版本号递增,不要覆盖旧版本。
分步骤部署
步骤 1:创建项目并写入梗概
登录后进入短剧工作室,新建项目,把项目名写成「片名_日期」的形式,例如 暴雨订单_20250101。在剧本区把一句话梗概贴进去,同时把时长目标、画面比例(竖屏 9:16)、风格关键词(写实、冷色调、雨夜)填到项目设置里。
这步在做什么:给后续所有生成定下边界。风格关键词一旦写死,后面就不要在单个镜头里临时加“赛博朋克”这类冲突词,否则画面质感会跳。
成功标志:项目创建完成,梗概在剧本区可见,刷新页面后内容还在(说明已保存到云端而不是只留在本地缓存)。
步骤 2:从梗概扩写成可拍摄的剧本
在剧本生成入口把梗概扩写成带场次、带台词的剧本。提示词可以这样组织:
```
把下面梗概扩写成 3 场、总时长约 150 秒的竖屏短剧剧本。
要求:每场写清时间、地点、出场人物;台词口语化,单句不超过 20 字;
每场结尾留一个钩子;不要旁白,用画面和台词推进。
梗概:暴雨夜,外卖骑手送最后一单,收件人是十年未见的父亲。
```
生成后手动改一遍,重点改三处:台词长度(AI 容易写成书面语)、动作是否可拍(“他陷入回忆”拍不出来,改成“他盯着订单备注的手停住”)、场次时长是否超预算。
成功标志:剧本导出或复制到 00_script/剧本_v1.md,三场结构完整,每场有明确的场景、人物、台词。
步骤 3:生成分镜表并逐条核对
用剧本生成分镜。分镜输出后,把关键字段整理成一张表存到 01_storyboard/分镜表.csv,用表格软件打开对照:
| 镜号 | 场次 | 景别 | 画面描述 | 台词/音效 | 时长(s) | 出场角色 | 状态 |
|---|---|---|---|---|---|---|---|
| SH001 | S01 | 全景 | 暴雨街道,骑手骑车入画 | 雨声+引擎 | 4 | 骑手 | 待生成 |
| SH002 | S01 | 近景 | 手机屏幕显示订单备注 | 无 | 3 | — | 待生成 |
| SH003 | S02 | 中景 | 骑手按门铃,门开一条缝 | 门铃 | 5 | 骑手、父亲 | 待生成 |
这步在做什么:把 AI 的分镜结果翻译成可执行的工单。表里的“出场角色”列很关键,它决定哪些镜头需要挂角色卡;“状态”列让改镜时知道哪条还要重跑。
成功标志:所有镜号连续无重复,总时长与目标时长偏差在 ±15% 以内,每个需要人物的镜头都填了出场角色。
步骤 4:建立角色卡并锁定一致性
进入角色管理,为主角和配角各建一张角色卡:上传参考图,填写固定描述(年龄、发型、服装、体貌特征),保存为一个可复用的角色。
关键做法:把角色描述写成一个固定字符串,后面每次生成镜头都原样引用,不要临时改词。例如:
```
35岁男性,短寸头,左眉有一道浅疤,深蓝色冲锋衣,内搭灰色卫衣,肤色偏黄,写实电影质感
```
成功标志:角色卡保存成功,在角色列表里能看到缩略图和描述;用同一张卡连续生成两张测试图,人脸特征基本一致。
步骤 5:逐镜生成首帧与预演片段
按分镜表逐镜生成:先出首帧(关键画面),确认构图和人物没问题,再生成动态片段。不要一次提交几十个镜头,按场次分批,一场一场来,方便及时发现问题。
成功标志:03_shots 目录下的片段数与分镜表中“已生成”行数一致,每个片段时长与分镜表标注时长偏差在 1 秒以内。
步骤 6:改镜——单镜重生成与局部替换
发现问题的镜头,按类型处理:
- 人物不对:挂载正确的角色卡,重新生成,不动其他镜头。
- 构图不对:改画面描述里的景别和机位词,例如把“中景”改成“过肩近景”。
- 动作不对:把描述拆成“起始状态 + 动作 + 结束状态”三句话,比一句话描述更容易命中。
- 只想改一小块:用局部重绘或重新生成变体,挑一版替换。
每次重生成,版本号 +1,旧版本保留在 03_shots/archive/ 里,防止改坏了回不去。
```bash
归档旧版本再放新版本
mkdir -p 03_shots/archive
mv 03_shots/S01-SH003_v1.mp4 03_shots/archive/
```
成功标志:分镜表“状态”列全部变为“已确认”,没有遗留的“待重跑”。
步骤 7:配音、字幕与配乐对齐
把台词逐句生成配音,导出为 wav 或 mp3,放进 04_audio/,命名与镜号对应(S01-SH003_台词.wav)。字幕用剧本台词直接生成,导出字幕文件。
对齐技巧:以配音为基准去拉片段,而不是以片段为基准配音。一条 4 秒的镜头配了一句 6 秒的台词,就把镜头拆成两条,或者让画面在台词说完后再停 1 秒。
成功标志:抽听三处,台词与画面口型/动作节奏大致对得上,字幕没有明显提前或延后。
步骤 8:导出成片与素材清单
在导出入口选择分辨率与帧率(竖屏短剧常见 1080×1920、25 或 30fps,具体选项以官方页面当前版本为准),导出成片到 05_export/。
同时生成一份素材清单,方便交接和后续复用:
```bash
cd ai-drama
{
echo "# 素材清单 $(date +%F)"
echo
echo "## 成片"
find 05_export -type f -name "*.mp4" | sort
echo
echo "## 分镜片段"
find 03_shots -maxdepth 1 -type f -name "*.mp4" | sort
echo
echo "## 音频"
find 04_audio -type f | sort
echo
echo "## 授权说明"
echo "配乐来源:<填写>;音效来源:<填写>"
} > 05_export/素材清单.md
```
成功标志:05_export 下有成片和一个素材清单,清单里每一行都指向真实存在的文件。
验证部署是否成功
1. 检查成片参数
```bash
ffprobe -v error -show_entries stream=codec_name,width,height,r_frame_rate \
-show_entries format=duration -of default=noprint_wrappers=1 \
05_export/成片.mp4
```
预期看到类似输出:codec_name=h264、width=1080、height=1920、r_frame_rate=25/1,duration 与你设定的目标时长接近。如果 r_frame_rate 出现 2997/100 这类数值,说明是可变帧率,进剪辑软件前先转成恒定帧率(见报错 4)。
2. 批量核对片段时长
```bash
for f in 03_shots/*.mp4; do
d=$(ffprobe -v error -show_entries format=duration -of csv=p=0 "$f")
echo "$(basename "$f") ${d}s"
done
```
预期每条都在 3~6 秒区间,没有 0.2 秒这种异常短的文件(异常短通常意味着生成中断)。
3. 一致性抽检
把每个角色的所有出场镜头截首帧,拼成一张对比图看。判断标准:发型、服装主色、脸部轮廓在肉眼扫一遍时不跳戏。有三条以上明显不一致,回到步骤 6 重跑这几条。
4. 清单核对
```bash
wc -l 05_export/素材清单.md
find 05_export -type f | wc -l
```
清单条目数应与实际文件数吻合,不吻合说明有文件漏登记。
5. 完整播放一遍
关掉剪辑软件,用系统播放器从头看到尾。重点看转场处有没有黑帧、声音有没有突然变大变小、字幕有没有出画。
常见报错与解决
报错 1:上传参考图失败,提示文件过大或格式不支持
原因:图片分辨率远超需要,或格式是 HEIC、WebP 这类兼容性较差的格式。
解决:统一转成 JPG 并压到长边 1024~1536。
```bash
批量转换并压缩
mkdir -p 02_chars/compressed
for f in 02_chars/*.heic 02_chars/*.webp; do
[ -e "$f" ] || continue
ffmpeg -i "$f" -vf "scale='min(1536,iw)':-2" -q:v 3 "02_chars/compressed/$(basename "${f%.*}").jpg"
done
```
报错 2:生成任务长时间排队,或提示任务超时/失败
原因:一次性提交镜头过多,触发排队;或网络中断导致任务中断。
解决:改成按场次分批提交,每批 5~10 条;失败任务直接重新提交,不要反复刷新页面。若多次失败,检查浏览器插件拦截和网络代理。
```bash
提交前先确认本地片段没有丢失,避免重复生成
ls -1 03_shots/*.mp4 | wc -l
```
报错 3:角色前后不一致,同一人物每个镜头脸都不一样
原因:没有挂载角色卡,或每镜的描述字符串不统一。
解决:重新挂载角色卡,并把角色描述统一成一个固定字符串,全部镜头原样引用;已生成的不一致镜头单条重跑。
```bash
把固定角色描述存成文件,生成时直接复制,避免手打出错
cat > 02_chars/主角_描述.txt <<'EOF'
35岁男性,短寸头,左眉有一道浅疤,深蓝色冲锋衣,内搭灰色卫衣,肤色偏黄,写实电影质感
EOF
```
报错 4:成片导入剪辑软件后音画不同步,或时间轴显示异常
原因:片段是可变帧率(VFR),不同软件对 VFR 处理方式不同。
解决:统一转成恒定帧率再剪辑。
```bash
mkdir -p 03_shots/cfr
for f in 03_shots/*.mp4; do
ffmpeg -i "$f" -r 25 -vsync cfr -c:v libx264 -crf 20 -c:a aac -b:a 192k \
"03_shots/cfr/$(basename "$f")"
done
```
报错 5:字幕整体提前或延后几秒
原因:字幕文件按 30fps 生成,成片是 25fps;或字幕起始时间从 00:00:00 算,而成片前面加了片头。
解决:确认成片帧率后按同一帧率重新导出字幕;有片头时,把字幕整体偏移片头时长。用 ffmpeg 平移字幕时间:
```bash
整体延后 2 秒(片头长度)
ffmpeg -itsoffset 2 -i 字幕.srt -c copy 字幕_偏移.srt
```
后续维护
备份
- 每完成一场戏,把
00_script、01_storyboard、02_chars、03_shots打包一次,带日期存入06_backup/,再同步一份到云盘或外置盘。 - 成片发布后保留工程源文件至少一个季度,平台方偶尔会要求提供素材授权说明。
```bash
每周打包一次
tar -czf 06_backup/project_$(date +%Y%m%d).tar.gz 00_script 01_storyboard 02_chars 03_shots
```
升级
- 工作室类功能更新较快,界面位置和可选项会变,遇到找不到入口先看官方更新说明,不要照着旧教程硬找。
- 升级前先在测试目录跑一条 30 秒的最小闭环(一句梗概 → 3 个镜头 → 导出),确认流程没断,再批量处理正式项目。
日志与监控
- 建一个
项目日志.md,每镜记录:镜号、生成时间、使用的描述、版本号、是否采纳、弃用原因。改镜十次以上时,这份日志比记忆可靠得多。 - 关注三类指标:单镜平均重跑次数(超过 3 次要回头检查角色卡和描述)、成片导出成功率、从梗概到成片的实际耗时。这三项能反映流程卡在哪一步。
- 磁盘占用定期看一眼,
03_shots/archive长得最快:
```bash
du -sh ai-drama/* | sort -h
```
协作交接
把 素材清单.md 和 项目日志.md 一起交出去,接手的人不用问就知道哪条镜头是最终版、配乐授权在哪、哪几条曾经被弃用。这一步做扎实,AI 短剧才从“一次性玩票”变成能反复开工的生产线。
