这篇能做出什么
读完并跟着做一遍,你会得到一套完整的小样流程:用一段结构化提示词让 Genie 4 生成一个可以“走进去”的场景,用键盘控制角色或相机在其中移动,再把结果导出成三种形态——一段 MP4 视频、一段带编号的 PNG 序列帧、一份可复用的场景描述文件。最后把序列帧嵌进一个网页,做成能直接在浏览器里循环播放的预览页。
具体可验收的产出有四样:
1. 一份 scene_spec.json,把“我想要什么画面”写成机器可读的参数;
2. 一份 prompt.md,四段式提示词加负面约束,可以反复迭代;
3. 一段 15~30 秒的交互样片,动作映射表 controls.yaml 记录键位与动作的对应关系;
4. 一个 preview.html,双击(或本地起服务)就能看导出的场景动起来。
需要说明:Genie 4 的入口位置、可用参数名、生成时长上限和导出格式,各家账号权限不同,具体以官方文档当前版本为准。下面所有命令与配置都是通用写法,把占位符替换成官方页面给出的实际值即可。
前置条件清单
动手前把这几件事备齐,能省掉一半来回:
- 账号与工作区:能登录 Genie 4 的生成界面,确认你的账号是否具备导出、下载、API 调用权限。免费额度和并发数会随时调整,以官方页面为准。
- 一份场景需求单:哪怕是给自己看的,也要写清楚用途(游戏原型 / 视频分镜 / 展陈互动)、镜头是第几人称、观众能做什么动作。
- 参考素材:2~5 张风格参考图,或者一段 10 秒的参考视频。有参考时生成结果的可控性通常更高。
- 本地工具:
ffmpeg:序列帧与视频互转,几乎所有导出后处理都靠它;python3:跑校验脚本;- 任意现代浏览器 + 一个能起静态服务的命令行(
python3 -m http.server就够); - 一个文本编辑器,用来维护提示词版本。
- 磁盘空间:序列帧很占地方。1280×720、24fps、30 秒大约 720 帧,按每帧 300KB~1.5MB 估算,预留 1~2GB 比较稳妥。
分步骤
第 1 步:先写场景规格单,再去碰提示词
很多人一上来就敲提示词,生成十几版都不满意,问题往往不在提示词,而在需求本身没定死。先在本地写一个 JSON,把“验收标准”固定下来:
```json
{
"scene_id": "demo_platform_001",
"prompt_version": "v1",
"duration_sec": 20,
"resolution": "1280x720",
"fps": 24,
"camera": "第三人称跟随,视高约 1.6 米,跟随有轻微延迟",
"actions": ["forward", "backward", "strafe_left", "strafe_right"],
"constraints": ["画面内不出现可读文字", "不出现人脸特写", "场景首尾可衔接"],
"export": ["mp4", "frames", "spec"],
"seed": null
}
```
这张表有两个作用:一是你现在就能判断“这个需求 Genie 4 能不能做”,比如要求精确物理碰撞、多人同步交互,通常超出单次生成的能力边界;二是每次迭代后你都能对着它逐条打勾,而不是凭感觉说“好像不太对”。
第 2 步:四段式提示词,把镜头和动作分开写
提示词里最容易出的问题是“动作”和“镜头”混在一起。控制器驱动的是场景里的主体,不是摄像机;一旦描述含糊,模型可能把“向前走”理解成“镜头推近”。
用这个模板,六行写完,每行只负责一件事:
```text
[主体] 一名穿深色工装的角色,背对镜头,体型偏瘦
[环境] 夜晚的旧式地铁站台,瓷砖墙面,地面有黄色警戒线,远处有隧道口
[风格] 写实,冷色调,体积光,轻微胶片颗粒,浅景深
[动作] 角色可前后左右移动,行走时手臂自然摆动,转向平滑
[相机] 第三人称跟随,视高约 1.6 米,跟随有约 0.2 秒延迟,无镜头切换
[约束] 不出现可读文字,不出现人脸特写,不突然加速,不切换场景
```
写完把 [约束] 里的内容再单独抽一份负面清单存到 prompt.md 里。负面约束是复用的——场景换了,负面清单往往还能接着用。
第 3 步:先跑最小样片,别一上来就长时长
第一版不要直接生成 30 秒高分辨率。先用 5 秒、低一档的分辨率跑一版,只看三件事:
- 构图对不对(主体在画面里的位置、地平线高度);
- 风格对不对(色调、颗粒、光照方向);
- 主体动作是否可分离——也就是说,你能分辨出“它动了”而不是“镜头动了”。
三件事都对,再把时长和分辨率往上加。这一步能省下大量等待时间,也避免你在错误方向上反复堆参数。
生成后记下两个东西:这次用的 seed(如果有)和完整的提示词文本,回填进 scene_spec.json 的 prompt_version 和 seed 字段。后面所有对比都要靠这两个值回溯。
第 4 步:绑定交互,把键位映射成动作
场景能动起来之后,接下来是让它“听你的”。先在纸面上把键位和动作对上,再进界面调:
```yaml
controls.yaml —— 映射草稿,具体字段名以官方文档为准
input:
W: forward
S: backward
A: strafe_left
D: strafe_right
tuning:
deadzone: 0.15 # 摇杆死区,键盘可忽略
smoothing: 0.2 # 输入平滑,越小越跟手
speed_scale: 1.0 # 整体速度倍率
fallback:
on_input_lost: hold_last_frame
on_scene_drift: reset_to_seed
```
调的时候重点看两个指标:跟手度和稳定性。跟手度指按下按键到画面响应之间的间隔,感觉“发飘”就把 smoothing 调小;稳定性指长时间移动后场景是否开始变形、纹理是否糊掉。世界模型类工具普遍存在“越走越偏”的现象,走 10 秒还能保持结构,走 40 秒就开始出问题,这是正常的能力边界,不是你的提示词写错了。
应对办法是设计短循环:把场景做成封闭空间(站台、房间、走廊),走到边界就复位,用 reset_to_seed 回到起始帧。观感上比一路走到底更稳。
第 5 步:迭代,一次只改一个变量
第三版到第五版是最容易失控的阶段。规则很简单:每次只改一个变量。
- 想调风格?只改
[风格]那一行,其余原样。 - 想调运镜?只改
[相机]那一行。 - 想去掉某个反复出现的干扰元素?只往负面清单里加一条。
每改一版,把提示词存成 prompt_v2.md、prompt_v3.md,不要覆盖。生成结果按 scene_id + 版本号 命名保存。等到第 8 版突然发现“第 3 版其实更好”时,你会庆幸留了档。
第 6 步:导出三种格式,各有用处
导出前先确认目的,不同用途选不同格式:
| 用途 | 格式 | 说明 |
|---|---|---|
| 快速预览、发给同事看 | MP4(H.264) | 体积小,任何播放器都能开 |
| 后期剪辑、逐帧校对 | PNG 序列帧 | 无损,方便逐帧比对 |
| 接入引擎或网页 | 序列帧 + 场景描述文件 | 前端可直接播放 |
| 二次生成、批量任务 | 场景描述 / 接口调用 | 用参数复现,以官方文档为准 |
如果导出的是视频、而你需要序列帧,用 ffmpeg 拆:
```bash
视频拆成 24fps 的序列帧,文件名 00001.png 起
ffmpeg -i scene_v3.mp4 -vf fps=24 frames/%05d.png
```
反过来,序列帧合成视频(这一步也能给视频加统一的分辨率与像素格式,避免浏览器播不了):
```bash
-crf 18 是质量档,数字越小质量越高、体积越大
ffmpeg -framerate 24 -i frames/%05d.png \
-c:v libx264 -pix_fmt yuv420p -crf 18 \
-movflags +faststart scene_v3_out.mp4
```
-pix_fmt yuv420p 和 -movflags +faststart 是两条很实用的保险:前者保证大多数浏览器能解码,后者让视频在网络播放时可以边下边播。
导出完跑一遍完整性校验,别等到接入时才发现缺帧:
```python
check_frames.py
import re
from pathlib import Path
FRAME_DIR = Path("frames")
PATTERN = re.compile(r"^(\d{5})\.png$")
names = [p.name for p in FRAME_DIR.iterdir() if p.is_file()]
nums = sorted(int(m.group(1)) for n in names if (m := PATTERN.match(n)))
assert nums, "未找到 00001.png 形式的帧,检查 ffmpeg 输出命名"
missing = sorted(set(range(nums[0], nums[-1] + 1)) - set(nums))
print(f"帧区间 {nums[0]}–{nums[-1]},实有 {len(nums)} 帧")
print("缺帧:", missing[:20] if missing else "无")
print(f"按 24fps 计时长:{len(nums) / 24:.2f} 秒")
```
第 7 步:接入,先跑通一个能看的预览页
最轻量的接入方式是把序列帧丢进网页循环播放,验证“导出产物是可用的”这件事本身:
```html
<!doctype html>
<meta charset="utf-8">
<title>场景预览</title>
<img id="stage" width="640" alt="场景预览">
<script>
const FPS = 24;
const TOTAL = 480; // 改成你的实际帧数
const PAD = 5; // 文件名补零位数
let i = 0;
const stage = document.getElementById('stage');
setInterval(() => {
i = (i + 1) % TOTAL;
stage.src = frames/${String(i + 1).padStart(PAD, '0')}.png;
}, 1000 / FPS);
</script>
```
在 frames 的同级目录起一个静态服务,别直接双击打开 HTML:
```bash
python3 -m http.server 8000
浏览器访问 http://localhost:8000/preview.html
```
把序列帧接入游戏引擎时思路一样:把 PNG 序列按固定帧率循环播放,或者换成上面那条 ffmpeg 命令生成的 MP4,交给引擎的视频纹理。
常见坑与排错
画面在动,但角色没动。 九成是提示词把动作写给了镜头。回到第 2 步,[动作] 和 [相机] 分开写,[相机] 里加一句“无镜头切换”。
走十几秒后场景开始扭曲、纹理糊掉。 世界模型的固有衰减。缩短单次生成时长,做成封闭场景 + 复位循环,别硬拉长时间。
导出后浏览器播放黑屏。 检查像素格式。用 ffmpeg -i out.mp4 看输出信息里的 yuv420p 字段,不是就按第 6 步重新编码。
序列帧缺号,播放时闪一下。 多半是导出中断或磁盘写满。跑 check_frames.py,缺得不多可以用 ffmpeg 补帧,缺得多就重新导出。
改了提示词,结果完全变样,找不回上一版。 没有固定 seed、没有留旧提示词。从下一版开始,每次生成前把 seed 写进 scene_spec.json。
键盘按下去手感发飘。 输入平滑参数给大了。把 smoothing 往下调,先调到 0.05 试,再往上找平衡点。
生成很慢、频繁排队。 通常是分辨率或时长超了当前额度档位,或者同时开了多个任务。降到小样档位重试,配额规则以官方页面为准。
导出的内容能不能商用。 这一条不要靠猜。账号所属套餐的使用条款里写得很清楚,导出前查一次官方条款页面。
下一步建议
- 建一个自己的提示词库。 把
[环境]、[风格]、[约束]拆成可拼接的片段,下次换场景只换环境段,风格和约束直接复用。 - 把校验脚本接进流程。 每次导出后自动跑
check_frames.py,缺帧就报错,比人工数帧可靠。 - 试不同的交互粒度。 从“整段预定动作”过渡到“逐帧响应输入”,观察场景稳定性在第几秒开始下降,把那个时间点记成你的安全时长上限。
- 做 A/B 对比。 同一段提示词、不同
seed各生成三版,横向对比构图稳定性。这个对比做上三轮,你对提示词里哪句话真正起作用的判断会准很多。 - 关注官方更新日志。 生成时长、导出格式、接口字段这类能力项变化较快,以官方文档当前版本为准,别把教程里的写法当成长期有效的约定。
