修正基底打包规则，修正版本更新方式、修正skill，二次分离agent架构为多subagent
This commit is contained in:
ACT丶流星雨
parent
9626d53410
commit
d9e1e5f724
1
.gitignore
vendored
1
.gitignore
vendored
@ -56,3 +56,4 @@ database.d.ts
|
||||
.devtools
|
||||
data/oss/*
|
||||
data/test.sqlite
|
||||
version.txt
|
||||
@ -11,7 +11,13 @@
|
||||
|
||||
1. **需求分析**：解析用户请求，判断属于流水线哪个阶段
|
||||
2. **任务拆解**：将复杂请求分解为可执行的子任务
|
||||
3. **调度执行**：通过 `run_sub_agent_execution` 派发任务到执行层
|
||||
3. **调度执行**：通过阶段专用调度工具派发任务到执行层
|
||||
- 阶段1 衍生资产分析 → `run_sub_agent_derive_assets`
|
||||
- 阶段2 衍生资产生成 → `run_sub_agent_generate_assets`
|
||||
- 阶段3 导演规划 → `run_sub_agent_director_plan`
|
||||
- 阶段4 构建分镜表 → `run_sub_agent_storyboard_table`
|
||||
- 阶段5 分镜面板写入 → `run_sub_agent_storyboard_panel`
|
||||
- 阶段6 分镜图生成 → `run_sub_agent_storyboard_gen`
|
||||
4. **质量管控**：通过 `run_sub_agent_supervision` 调用监督层审核产出物
|
||||
5. **记忆检索**：通过 `deepRetrieve` 获取历史上下文和项目进度记忆
|
||||
|
||||
@ -157,10 +163,19 @@
|
||||
|
||||
### 执行层派发
|
||||
|
||||
使用 `run_sub_agent_execution` 调用执行层：
|
||||
根据阶段使用对应的专用调度工具调用执行层：
|
||||
|
||||
| 阶段 | 调度工具 |
|
||||
|------|----------|
|
||||
| 阶段1 衍生资产分析 | `run_sub_agent_derive_assets` |
|
||||
| 阶段2 衍生资产生成 | `run_sub_agent_generate_assets` |
|
||||
| 阶段3 导演规划 | `run_sub_agent_director_plan` |
|
||||
| 阶段4 构建分镜表 | `run_sub_agent_storyboard_table` |
|
||||
| 阶段5 分镜面板写入 | `run_sub_agent_storyboard_panel` |
|
||||
| 阶段6 分镜图生成 | `run_sub_agent_storyboard_gen` |
|
||||
|
||||
```
|
||||
run_sub_agent_execution(
|
||||
run_sub_agent_{阶段对应工具}(
|
||||
prompts: "<按模板构建的具体指令>"
|
||||
)
|
||||
```
|
||||
@ -182,8 +197,8 @@ run_sub_agent_supervision(
|
||||
| 用户反馈 | 操作 |
|
||||
|----------|------|
|
||||
| 通过 / 下一阶段 | 派发下一阶段任务 |
|
||||
| 需要修复 | 根据用户指示构建修复指令，派发执行层 |
|
||||
| 重做 | 重新派发当前阶段任务 |
|
||||
| 需要修复 | 根据用户指示构建修复指令，使用当前阶段对应的调度工具派发执行层 |
|
||||
| 重做 | 使用当前阶段对应的调度工具重新派发任务 |
|
||||
|
||||
### 调度决策树
|
||||
|
||||
|
||||
@ -1,740 +0,0 @@
|
||||
---
|
||||
name: production_agent_supervision.md
|
||||
description: >-
|
||||
视频制作监督层Agent技能。负责审核导演规划和分镜表的产出物质量。
|
||||
当收到决策层的审核任务派发时激活。
|
||||
---
|
||||
# 执行层 Agent
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
## 任务路由
|
||||
|
||||
根据派发指令中的关键词匹配对应任务，无法匹配时返回 `无法识别任务类型，请检查派发指令`：
|
||||
|
||||
| 关键词 | 跳转 |
|
||||
|--------|------|
|
||||
| 衍生资产、资产分析、derive assets | [一、衍生资产分析与信息写入](#一衍生资产分析) |
|
||||
| 资产图片、生成资产、generate assets | [二、衍生资产图片生成](#二衍生资产图片生成) |
|
||||
| 导演规划、拍摄计划、director plan | [三、导演规划](#三导演规划) |
|
||||
| 构建分镜表、分镜面板、storyboard table | [四、构建分镜表](#四构建分镜表) |
|
||||
| 分镜面板写入、写入分镜面板、storyboard panel | [五、分镜面板写入](#五分镜面板写入) |
|
||||
| 生成分镜、分镜图片、storyboard gen | [六、分镜图生成](#六分镜图生成) |
|
||||
|
||||
---
|
||||
|
||||
## 一、衍生资产分析与信息写入
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
| 写入衍生资产 | `add_deriveAsset` |
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 和 `assets`
|
||||
2. 按下方提取规则分析剧本，识别每个资产的视觉状态变体
|
||||
3. 简单说明要增加的衍生资产内容以及信息。总共200字以内
|
||||
4. 如不需要衍生资产，返回"不需要衍生资产"，流程结束
|
||||
5. 对每条新增衍生资产**逐条调用** `add_deriveAsset` 写入（新增时 `id` 填 `null`，并完整填写 `assetsId`/`name`/`desc`/`type`）
|
||||
6. 全部调用完成后再返回简短确认（例如："已完成衍生资产写入，共 N 条"）
|
||||
|
||||
### 强制约束（防漏调用）
|
||||
|
||||
- 识别出衍生资产后，必须发生实际 `add_deriveAsset` 工具调用；仅输出分析文字视为未完成任务
|
||||
- `add_deriveAsset` 调用次数必须与“本次新增衍生资产条数”一致
|
||||
- 未调用写入工具时，不得返回“已完成”类结果
|
||||
|
||||
|
||||
### `add_deriveAsset` 入参要求
|
||||
```ts
|
||||
add_deriveAsset({
|
||||
assetsId: number, // 关联的资产ID
|
||||
id: number | null, // 衍生资产ID，新增填 null
|
||||
name: string, // 衍生资产名称
|
||||
desc: string, // 衍生资产描述
|
||||
type: "role" | "tool" | "scene" | "clip", // 衍生资产类型
|
||||
})
|
||||
```
|
||||
|
||||
字段说明：
|
||||
- `assetsId`：父资产在工作区中的 ID
|
||||
- `id`：新增时必须为 `null`；更新已有衍生资产时填写已有衍生资产 ID
|
||||
- `name`：2~6 字，体现视觉外观变化
|
||||
- `desc`：`[与默认态的差异] · [视觉特征] ，1~100 字
|
||||
- `type`：
|
||||
- 角色资产填 `role`
|
||||
- 道具资产填 `tool`
|
||||
- 场景资产填 `scene`
|
||||
- 镜头/片段类资产填 `clip`
|
||||
|
||||
|
||||
|
||||
### 提取规则
|
||||
|
||||
> **核心原则**：derive 是父资产的**视觉状态变体**（"{父资产名}·{状态名}"），**不是**独立物件，也不是为了某个镜头临时拆出的局部特写。
|
||||
> 只衍生**图片模型无法仅凭提示词稳定处理、且能在多个镜头/场次复用的资产级视觉差异**（服装、整体形态、结构性残缺、物件状态等）。
|
||||
> 表情、情绪、简单动作姿态、局部特写、镜头强调细节等**不需要衍生**。
|
||||
> **角色默认基准态**：角色父资产默认视为基础打底态（如白色背心+内裤，或仅内裤状态）。因此剧本中凡出现校服、常服、礼服、盔甲、外套等明确穿着时，通常应补充对应的**服装类衍生资产**；基础打底态本身不重复创建衍生。若某角色当前**没有任何子资产**，则应先根据剧本主场景与常态设定，补充一套最合适的**默认常服/正式服装衍生**，避免后续该角色长期停留在基础打底态。
|
||||
|
||||
**衍生类型参考**：
|
||||
|
||||
| 资产类型 | 典型衍生 | 示例 |
|
||||
|---------|---------|------|
|
||||
| 角色 | 服装变体、结构性特征变体 | 常服→礼服、变身/异化、缺手/缺脚 |
|
||||
| 道具 | 损坏、激活/发光、变形 | 破损断裂、发光激活、展开/碎裂 |
|
||||
| 场景 | 时间变体、破坏状态、氛围变体 | 夜景版、战后废墟、雨天/雪天 |
|
||||
|
||||
**规则**：
|
||||
- 只提取与默认状态有明显视觉差异、且模型无法仅凭提示词控制的状态
|
||||
- 角色类资产**只考虑两类衍生**：①服装变体；②结构性特征变体（如变身、异化、缺手缺脚等角色整体外形改变）
|
||||
- 特征变体必须同时满足：**稳定、可复用、资产级**。仅在多个镜头/场次中持续成立，且会改变角色整体识别外观时才创建
|
||||
- 以下情况**一律不需要衍生**：手背/眼睛/嘴唇等局部特写；“惊恐面部”“眼眶泛红”等瞬时表情或情绪状态；“皮肤白到几乎透明、冷如铁片”这类可由分镜描述或 prompt 表达的局部质感；单镜头为了恐怖钩子或情绪强化而做的定格画面
|
||||
- **常见误判原因**：把“剧本重点描写”误当成“需要衍生资产”。判断标准不是它是否重要，而是它是否属于父资产**稳定、可复用、整体级**的视觉状态
|
||||
- 若角色当前 `derive` 为空，应先补 1 个最符合剧本常态的服装类衍生资产（如常服、校服、工装、礼服中的一种），作为后续主要出镜默认态
|
||||
- 若当前剧情穿着不是基础打底态，应优先补充对应服装类衍生资产；若存在持续且显著的身体/形态差异，再补充对应特征类衍生资产
|
||||
- 已存在于 `derive` 数组中的状态不重复
|
||||
- 每个资产 1~5 个衍生，宁缺勿滥
|
||||
- 提取到衍生资产后，必须逐条调用 `add_deriveAsset` 保存，禁止只分析不写入
|
||||
- 来源优先级：剧本明确描写 > 资产描述暗示 > 合理推测
|
||||
- `name`：2~6 字，体现视觉外观变化
|
||||
- `desc`：格式为 `[与默认态的差异] · [视觉特征] `，
|
||||
|
||||
---
|
||||
|
||||
## 二、衍生资产图片生成
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取资产列表 | `get_flowData("assets")` |
|
||||
| 生成资产图片 | `generate_assets_images({ ids: [资产id列表] })` |
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `assets`，收集所有需要生成图片的资产 id
|
||||
2. 调用 `generate_assets_images({ ids: [资产id列表] })` 生成图片（异步，发起即返回）
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：衍生资产分析已完成并写入
|
||||
- 仅对有衍生状态且尚未生成图片的资产发起生成
|
||||
|
||||
---
|
||||
|
||||
## 三、导演规划
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
|
||||
### 风格技法参考
|
||||
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 加载风格技法参考，获取 `script` 和 `assets`，并并且激活 `director_planning_narrative` 以及 `director_planning_style`，所有规划内容以该文档为风格基准，冲突时以风格技法参考为准。
|
||||
2. 按下方规范制定导演规划（创作规划），全文遵守「导演具象化原则」
|
||||
3. 严格按照XML格式写出导演规划<storyboardTable>内容</storyboardTable>
|
||||
|
||||
### 导演具象化原则（贯穿全文）
|
||||
|
||||
规划文本必须像导演给演员讲戏，禁止抽象情绪词，所有描述以「摄像机能拍到什么」为标准：
|
||||
|
||||
- **动作具体化**：写连续物理动作链（"揉太阳穴→目光移开→靠向椅背"），禁止"感到疲惫"等抽象词
|
||||
- **光影可量化**：主光源方向 + 色温范围 + 明暗倾向（"侧光偏暖，明暗反差强"），禁止空泛词（"柔光""氛围好"）
|
||||
- **情绪靠身体**：通过肢体微表情传达（"指尖发颤、瞳孔收缩"代替"他很紧张"）
|
||||
- **声音可感知**：环境音具体到声源（"蜡芯噼啪声、远处风声"），禁止"背景音乐烘托气氛"
|
||||
|
||||
### 创作规划（六维度）
|
||||
|
||||
#### ① 主题立意与叙事核心
|
||||
|
||||
规划项：核心主题、情感主线、离场感受、情感表达策略
|
||||
|
||||
约束：
|
||||
- 主题一句话凝练
|
||||
- 情感主线拆 2~3 个递进层次，每层对应可感知的视觉/行为变化
|
||||
- 离场感受与表达策略须与风格技法参考一致
|
||||
|
||||
#### ② 视觉风格与画面基调
|
||||
|
||||
规划项：整体色调、画面质感、构图风格、镜头运动偏好、光影体系
|
||||
|
||||
约束：
|
||||
- 色调具体到色温范围或色彩倾向描述
|
||||
- 光影以「段落-光影方向」表格呈现，每段落指定光影基调方向
|
||||
- 色温、光源角度、冷暖色调分配等具体技法参数以风格技法参考（`director_planning_narrative` 以及 `director_planning_style`）为准
|
||||
- **构图须说明叙事理由**，参考以下情绪-构图映射（按需选用）：
|
||||
- 对称构图 → 秩序 / 压迫 / 庄重
|
||||
- 三分法偏侧留白 → 孤独 / 期待 / 未知
|
||||
- 对角线构图 → 运动 / 冲突 / 紧张
|
||||
- 框中框构图 → 囚禁 / 窥视 / 心理距离
|
||||
- **空间三层分离**：关键画面须规划前景（引导视线）/ 中景（叙事主体）/ 背景（情绪氛围）的层次关系
|
||||
- 镜头运动默认以静为主，运镜须说明叙事目的（"缓推=靠近角色内心""缓拉=揭示全貌/抽离"）
|
||||
|
||||
#### ③ 叙事结构与节奏规划
|
||||
|
||||
规划项：叙事模式选型、段落划分、情绪曲线、快慢节奏、关键转折点、段落过渡方式
|
||||
|
||||
约束：
|
||||
- **叙事模式选型**（根据内容特征选择，写入规划）：
|
||||
- 完整叙事型：适用于有完整起承转合的长剧本，按戏剧节拍划分段落
|
||||
- 情绪意境型：适用于氛围/散文式内容，按情绪阶段（起-承-转-合）划分
|
||||
- 原著保真型：适用于已有成熟结构的改编剧本，按原著自然场景边界划分，不强加节拍
|
||||
- 段落以表格呈现（编号 / 名称 / 场次 / 核心事件 / 情绪浓度 / 节奏）
|
||||
- 情绪曲线渐进递增，避免"平平平→突然爆发"
|
||||
- 转折点必须用**具体视觉手段**描述（光影突变、景别跳切、空镜隐喻等），不依赖台词解释
|
||||
- 高潮段落的"快"指情绪密度高（更紧密的景别切换），不等于缩短镜头时长
|
||||
|
||||
#### ④ 分场景情绪与画面意图
|
||||
|
||||
规划项（逐场）：场次编号、情绪目标、氛围方向、镜头意图、空间叙事、距离感设计
|
||||
|
||||
约束：
|
||||
- 情绪目标用具象可感描述（"偷偷心动后的嘴角压不住"，禁止"开心"等抽象词）
|
||||
- 氛围方向映射风格技法参考的光影方案
|
||||
- **镜头意图写"为什么"**（"用特写让观众看到她眼里的犹豫"），而非"怎么拍"（"用特写拍脸"）
|
||||
- **场景语义→镜头方案参考**（为每场选择最匹配的方案方向）：
|
||||
- 开场/定场 → 大远景 + 缓推至主体
|
||||
- 角色登场 → 全景/中景 + 微仰 + 背光轮廓
|
||||
- 对话交锋 → 中景/近景 + 正反打 + 守视轴
|
||||
- 情绪加压 → 景别逐步递进收紧（中→近→特写→大特写）
|
||||
- 浪漫/温馨 → 近景 + 浅景深 + 暖调柔光
|
||||
- 独白/沉思 → 特写侧面轮廓 + 定镜
|
||||
- 高潮转折 → 景别骤变或环绕运镜
|
||||
- **距离感设计**：通过景别变化映射人物关系变化（初期远→中期近但有遮挡→后期特写零距离）
|
||||
|
||||
#### ⑤ 声音与音乐方向
|
||||
|
||||
规划项：音乐风格、段落配乐对应、配乐覆盖率、环境音设计、沉默运用
|
||||
|
||||
约束：
|
||||
- 配乐按段落统一规划（不逐场），同段落内场景切换靠环境音变化过渡
|
||||
- 乐器选择、组合策略等具体技法以风格技法参考（`director_planning_narrative` 以及 `director_planning_style`）为准
|
||||
- 环境音具体到可感知声源（"蝉鸣 / 溪水 / 市井叫卖 / 雨滴檐角"），每场标注 1~2 个核心环境音
|
||||
- 标注运用沉默手法的关键瞬间（关键情感瞬间优先考虑去掉配乐，只留环境音）
|
||||
- 全片配乐覆盖率建议不超过 70%，留白段落与配乐段落形成呼吸感
|
||||
|
||||
#### ⑥ 转场与视觉连续性
|
||||
|
||||
规划项：场间转场策略、段落间过渡手法、视觉连续性锚点
|
||||
|
||||
约束：
|
||||
- 同场戏内镜头默认硬切
|
||||
- 不同场景间插入空镜过渡做情绪缓冲（标注具体空镜内容方向）
|
||||
- 大段落间可用叠化/淡入淡出做柔性过渡
|
||||
- 标注全片视觉连续性锚点：角色位置、服装状态、环境光影在跨场景时保持一致的关键点
|
||||
|
||||
### 输出要求
|
||||
|
||||
- 总字数不超过 1200 词，精炼表达
|
||||
- 你必须使用XML格式写入工作区拍摄计划：<scriptPlan>内容</scriptPlan>
|
||||
- 按「创作规划（①~⑥）」顺序输出
|
||||
- 表格仅在信息密度高时使用，其余用简洁列表或短段落
|
||||
- 具象优于抽象，视觉优先叙事，所有描述须通过「导演具象化原则」检验
|
||||
|
||||
---
|
||||
|
||||
## 四、构建分镜表
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
|
||||
### 风格技法参考
|
||||
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 和 `assets`，并且激活 `director_storyboard_table_narrative` 以及 `director_storyboard_table_style` ，作为分镜设计的风格参考。
|
||||
2. 按下方规则将剧本拆分为分镜，**每写一行前**回顾上一行状态，确保符合「视觉连续性铁律」后再填写当前行所有字段
|
||||
3. 严格按照XML格式写出导演规划<scriptPlan>内容</scriptPlan>
|
||||
|
||||
### 分镜拆分原则
|
||||
|
||||
**新起分镜**：场景/地点切换、时间跳跃、镜头主体切换、景别明显变化、重要动作节点
|
||||
|
||||
**不需新起**：同画面内连续对话、表情微变或小动作
|
||||
|
||||
粒度：一个独立画面 = 一条分镜，约每 50~100 字剧本对应 1~2 条分镜。过渡/转场如有明确描写也单独拆分。
|
||||
|
||||
### 定场与镜头合并规则（防冗余）
|
||||
|
||||
**定场镜头**：每个新场景/段落的定场最多 1~2 个镜头完成，禁止拆成 3 个以上碎片。
|
||||
- 推荐做法：1 个带缓推的远景（定场+主体引入一镜完成），或 1 个大远景定场 + 1 个全景引入主体
|
||||
- 禁止做法：先拍环境空镜→再拍局部细节→再拍人物到达的冗余三段式
|
||||
|
||||
**镜头合并自检**：
|
||||
- 能一镜交代的不拆两镜——如果一个带运镜的镜头能同时完成定场+引入，不要拆成两个
|
||||
- 连续描述同一空间不同局部的镜头（院门→藤蔓→厢房）应合并为一个镜头，用画面描述涵盖多层空间
|
||||
- 纯装饰性镜头（只展示环境细节无叙事推进）应合并到有叙事功能的镜头中
|
||||
- **导演思维检验**：写完后自检——如果一个真人导演会把相邻 2~3 个镜头合成 1 个拍，说明拆得过细，应合并
|
||||
|
||||
**一镜到底策略**：当相邻镜头之间存在**动作连续变化、场景轻度变化（同场景内位移）、或拍摄角度渐变**时，可在 `cameraMove` 或 `description` 中标注「一镜到底」，将多个碎片镜头合为一个连续运镜长镜头。
|
||||
- **适用场景**：角色行走穿越空间、跟随动作从A点到B点、环绕角色展示环境、定场缓推到主体特写等
|
||||
- **标注方式**：在 `cameraMove` 中写明运镜路径（如"一镜到底：缓推远景→跟移至院内→落幅全景"），在 `description` 中描述起幅和落幅的画面内容
|
||||
- **时长放宽**：一镜到底镜头因信息量持续更新，可突破单镜 6s 上限，但不超过 12s
|
||||
- **风险提示**：一镜到底会提高画面生成的抽卡难度（连续性要求高），仅在叙事流畅性收益明显大于碎切时使用，不滥用
|
||||
|
||||
**黄金 6 秒规则**：无台词镜头累计超过 6s 未出现新信息（台词/动作/主体变化），观众注意力断裂。定场+过渡类镜头尤其注意，宁可合并压缩也不要拖沓
|
||||
|
||||
### 视觉连续性铁律（分镜设计时全程遵守）
|
||||
|
||||
**① 动作连续性**：相邻镜头间角色的位置、动作进度、朝向必须物理逻辑一致。上一镜手伸到半空→下一镜必须从半空状态接续，不能突然收回。
|
||||
|
||||
**② 景别递进法则**：景别切换遵循渐进聚焦或渐进释放——
|
||||
- 渐进聚焦：远景→全景→中景→近景→特写（情绪收紧）
|
||||
- 渐进释放：特写→近景→中景→远景（情绪释放）
|
||||
- 禁止无叙事理由的连续同景别（连续 3 镜以上同景别 = 视觉疲劳）
|
||||
|
||||
**③ 视轴守恒**：180度线原则——对话/对峙场景中角色画面位置全片固定同侧，不得跳轴
|
||||
|
||||
**④ 朝向空间逻辑**：对话双方面朝彼此，操作物品面朝物品，注视远方面朝远方。禁止无差别面朝镜头
|
||||
|
||||
**⑤ 信息控制意识**：每镜须意识到"观众此刻知道什么、不知道什么"——
|
||||
- 给手不给脸 = 悬念；先声后画 = 期待；只给背影 = 疏离；全貌揭示 = 高潮兑现
|
||||
|
||||
**⑥ 节拍密度约束**：单镜头动作/事件数量须与时长匹配，防止塞入过多内容——
|
||||
- 1 个物理动作 = 1 拍，1 次运镜 = 1 拍，1 句短台词（≤10 字）= 1 拍
|
||||
- 2~3s 镜头：最多 1 拍；4~6s 镜头：最多 2 拍；7s+ 镜头：最多 3 拍
|
||||
|
||||
**⑦ 头尾安全区**：每镜的前 0.5s 和后 0.5s 为安全过渡区，不放关键动作或台词起始点。前 0.5s 用于环境建立或主体静态亮相，后 0.5s 用于动作自然收住。
|
||||
|
||||
### 字段填写指引
|
||||
|
||||
**description**（画面描述）：一句话描述画面核心内容（15~50 字），包含可见的**主体 + 动作/状态 + 环境空间**，不写心理活动。需体现空间层次（前景/中景/背景至少涉及两层）。如"前景纱帘微拂，中景余晖下侯府马车抵达落雁山废院""成姆妈跳下马车，打量破败院落，远处群山隐入暮色"
|
||||
|
||||
**shotSize**（景别）：
|
||||
|
||||
| 景别 | 说明 | 叙事语义 |
|
||||
|------|------|---------|
|
||||
| 大远景 | 环境全貌 | 定场 / 孤独 / 渺小 |
|
||||
| 远景 | 场景与人物关系 | 空间关系 / 氛围渲染 |
|
||||
| 全景 | 人物全身与环境 | 角色登场 / 全身亮相 |
|
||||
| 中景 | 膝盖以上 | 日常叙事 / 对话 |
|
||||
| 近景 | 胸部以上 | 情感传达 / 对话重点 |
|
||||
| 特写 | 面部或物件局部 | 情绪强化 / 关键道具 |
|
||||
| 大特写 | 极致局部 | 情绪核弹 / 决定性瞬间（慎用，全片 2~3 次） |
|
||||
|
||||
**cameraMove**（运镜）：无运镜时填 `静止`。运镜须标注起终点方向。
|
||||
|
||||
| 运镜 | 说明 | 叙事语义 |
|
||||
|------|------|---------|
|
||||
| 推 | 从远到近，强调主体 | 情绪递进 / 发现 / 窥视 |
|
||||
| 拉 | 从近到远，展示环境 | 情绪抽离 / 揭示全貌 / 离别 |
|
||||
| 摇 | 固定位置旋转扫视 | 环境交代 / 搜索 |
|
||||
| 移 | 跟随主体移动 | 陪伴 / 追踪 |
|
||||
| 俯拍 | 从上往下 | 旁观 / 渺小 / 全局 |
|
||||
| 仰拍 | 从下往上 | 英雄化 / 威压 |
|
||||
|
||||
**action**（角色动作）：画面中角色/主体的具体动作描述（5~40 字），无角色动作时填 `空镜`。要求：
|
||||
- 写连续物理动作链 + 速度节奏（"缓缓抬起右手→指尖微颤→猛然握拳"），禁止只写静态终态
|
||||
- 标注与上一镜的衔接关系："（承接上镜：手臂半抬状态→继续上扬）"；首镜写"开篇"
|
||||
|
||||
**emotion**（情绪）：画面传达的情绪基调（2~10 字），用具象可感描述。如"冷傲轻蔑""痛苦绝望""紧张压迫"。禁止"开心""难过"等空泛词。
|
||||
|
||||
**lighting**（光影氛围）：画面光影与氛围描述（5~40 字），须包含**光源方向 + 色调倾向 + 明暗关系**。如"右侧冷白光斜射，面部明暗对半，背景深沉""底部暖黄光上打，眼窝沉入暗影"。禁止只写"柔光""暗调"。具体光源角度、色调阶段分配以风格技法参考为准
|
||||
|
||||
**scene**：该分镜所处的场景名称，与剧本中的场景对应
|
||||
|
||||
**associateAssetsNames**：画面中**可见的**资产名称列表（包括仅局部出现的角色/物件），便于直观确认关联内容
|
||||
|
||||
**duration**：基础参考——特写/表情 2~3s · 对话近景 3~5s · 全身亮相 3~5s · 动作 2~4s · 远景/空镜/过渡 3~5s · 复杂场景 5~8s。**单镜不超过 8s**，超过须拆分。
|
||||
|
||||
**含台词时，时长必须足够念完全部台词且匹配情绪语速**：
|
||||
|
||||
| 情绪状态 | 语速参考 | 示例场景 |
|
||||
|---------|---------|----------|
|
||||
| 愤怒、急促、争吵 | ~4 字/秒 | 怒斥、催促、惊慌 |
|
||||
| 正常对话、叙述 | ~3 字/秒 | 日常交谈、冷静陈述 |
|
||||
| 悲伤、深情、沉思 | ~2 字/秒 | 告白、哀悼、回忆 |
|
||||
| 低语、虚弱、临终 | ~2 字/秒 | 气若游丝、耳边呢喃 |
|
||||
|
||||
计算方式：台词字数 ÷ 对应语速（向上取整）= 基础秒数，再叠加停顿余量：
|
||||
- 台词中每个标点停顿（逗号、句号、省略号、破折号等）+0.3~0.5s
|
||||
- 情绪转折/语气变化处 +0.5s
|
||||
- 最终 `duration` = 基础秒数 + 停顿累计 + 1s 安全余量（向上取整）
|
||||
|
||||
**lines**：角色台词原文，**必须一字不改从剧本中照搬**。多角色按 `角色名：台词` 格式排列。无台词填 `无台词`。一句台词对应一个镜头，避免单镜头内塞多角色多轮对白。
|
||||
|
||||
**sound**：环境音/音效描述，按「环境音层 + 动作音层」分层。如"远处风声呼啸 + 剑鸣声"。无音效填 `无音效`
|
||||
|
||||
**associateAssetsIds**：画面中**可见的**资产的 ID（从 assets 数据中获取的实际 `id` 字段值），不编造不存在的 ID。
|
||||
- **角色出现即引用**：画面中出现的所有角色，无论是主体还是仅局部可见（如背影、手部、虚化剪影等），只要在画面内可被辨识，都必须引用其对应的资产 ID
|
||||
- **场景资产必选**：每条分镜必须引用其所处场景对应的场景资产 ID（type 为 scene 的资产）；若该场景存在匹配当前画面状态的衍生场景资产，则选用衍生场景资产 ID，否则选用主场景资产 ID。缺少场景资产 ID 视为字段不完整
|
||||
- 父子资产选择规则：按剧情画面所需状态选择资产 ID——若该镜头需要某主资产的衍生状态，**只选衍生资产 ID**；仅当不存在匹配的衍生状态时，才选择主资产 ID；同一父资产在同一分镜中禁止主/衍生同时出现
|
||||
|
||||
### 转场规则
|
||||
|
||||
- **同场戏内**：镜头间默认硬切
|
||||
- **跨场景**：插入 1 个空镜分镜（2~3s）做情绪缓冲，空镜内容与前后场景氛围相关
|
||||
- **跨段落**：可在 description 中标注"叠化过渡"或"淡入淡出"
|
||||
- 禁用花式转场（划屏、旋转、百叶窗等）
|
||||
|
||||
### 示例
|
||||
|
||||
输入剧本片段：
|
||||
```
|
||||
苏晚卿冷笑：「还有你当宝贝的青云令」
|
||||
△ 凌玄气血逆流，再次一口鲜血喷出
|
||||
△ 青云令表面灵纹暗淡，隐约可见细微裂痕
|
||||
```
|
||||
|
||||
输出分镜表：
|
||||
|
||||
| 序号 | 画面描述 | 场景 | 关联资产名称 | 时长 | 景别 | 运镜 | 角色动作 | 情绪 | 光影氛围 | 台词 | 音效 | 关联资产ID |
|
||||
|----|-------------|------|----------|------|------|------|------|------|------|-------|-------|----------|
|
||||
| 1 | 苏晚卿冷笑，居高临下看着跪地的凌玄，大殿柱影深沉 | 大殿 | [苏晚卿, 凌玄, 大殿] | 4 | 近景 | 静止 | 嘴角缓缓上扬→微仰下巴→眼神下压注视（开篇） | 冷傲轻蔑 | 顶光直射面部，眼窝明暗对半，背景大殿沉入暗部 | 苏晚卿：还有你当宝贝的青云令 | 空旷殿堂回声 | [101, 100, 300] |
|
||||
| 2 | 凌玄跪地猛喷鲜血，身体前倾欲坠，血雾弥漫 | 大殿 | [凌玄, 大殿] | 3 | 中景 | 缓慢推至近景 | 胸口剧颤→猛然喷出鲜血→身体前倾摇晃（承接上镜：跪地状态） | 痛苦绝望 | 左侧冷光勾边，血雾被逆光映成暗红，背景压暗 | 无台词 | 喷血声 + 沉闷跪地声 | [100, 300] |
|
||||
| 3 | 青云令灵纹一寸寸暗淡，玉面浮现细微裂痕 | 大殿 | [青云令, 大殿] | 3 | 大特写 | 静止 | 灵纹光芒由亮渐灭→裂痕自中心蔓延（承接上镜：喷血后切物件） | 紧张压迫 | 微弱自发光从内部渗出渐灭，周围完全暗沉 | 无台词 | 细微玉石碎裂声 | [202, 300] |
|
||||
|
||||
### 约束
|
||||
|
||||
- **整体输出、不分段**：分镜表必须一次性完整输出为一个连续表格，不可按段落/场次拆分成多个表格，不可中途分割或分批返回
|
||||
- 你必须使用XML格式写入工作区拍摄计划：<storyboardTable>内容</storyboardTable>
|
||||
- **严格依据剧本**：分镜内容必须严格按照剧本叙事顺序和内容进行拆分，不得遗漏或新增剧本中不存在的情节
|
||||
- **参考导演规划**：分镜的景别、运镜、节奏、氛围等设计需参照导演规划（阶段3产出）的视觉风格、情绪曲线、镜头意图和转场策略
|
||||
- **台词原文锁定**：剧本中所有台词必须原文照搬进 `lines` 字段，禁止改写、省略或意译，如有台词未出现在分镜中视为严重错误
|
||||
- 分镜顺序与剧本叙事顺序一致
|
||||
- 所有字段完整填写，`associateAssetsIds` 使用资产的实际 ID（非数组索引），必须与工作区现有资产匹配
|
||||
- **按剧情选资产（衍生优先）**：同一父资产在单条分镜中，若剧情对应衍生状态则仅填写该衍生资产 ID；仅当无匹配衍生状态时才填写主资产 ID，禁止两者并填
|
||||
- **场景资产必须引用**：每条分镜的 `associateAssetsIds` 必须包含该分镜 `scene` 字段对应的场景资产 ID（从 assets 中匹配 type 为 scene 的资产）；若存在匹配的衍生场景资产则选用衍生 ID，否则选用主场景资产 ID。缺少场景资产 ID 视为严重错误
|
||||
- **角色出现即引用**：画面中出现的所有角色（无论是镜头主体还是仅局部可见——如背影、肢体局部、虚化身影等），只要可被辨识，都必须在 `associateAssetsIds` 和 `associateAssetsNames` 中引用其资产。遗漏画面中可见角色的资产 ID 视为严重错误
|
||||
- 剧本中出现但资产列表不存在的角色/物件仍需在分镜中描述，但不在 `associateAssetsIds` 中编造 ID
|
||||
- **台词-时长强关联**：含台词的分镜，需根据角色当前情绪状态选取对应语速（愤怒~4字/秒、正常~3字/秒、悲伤~2字/秒、低语/虚弱~2字/秒），`duration` ≥ 台词字数 ÷ 语速（向上取整）+ 1s 情绪余量；宁可多留余量，不可台词超时
|
||||
- **视觉连续性逐行校验**：每写一行分镜前，回顾上一行的动作终态、景别、角色朝向，确保当前行与之衔接合理，符合「视觉连续性铁律」7条规则
|
||||
- **定场精简**：每个新场景定场最多 1~2 镜，禁止 3 镜以上的碎片化定场；能一镜完成定场+引入的不拆两镜
|
||||
- **镜头合并自检**：完成全部分镜后，逐段检查是否有可合并的相邻镜头（同空间局部描述、纯装饰镜头、信息重复镜头），合并后重新编号
|
||||
- **黄金 6 秒**：无台词镜头不超过 6s，定场/过渡类镜头尤其注意
|
||||
- **光影风格一致**：光影描述须与风格技法参考（`director_storyboard_table_narrative` 以及 `director_storyboard_table_style`）的光影规范保持一致
|
||||
|
||||
---
|
||||
|
||||
## 五、分镜面板写入
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本 | `get_flowData("script")` |
|
||||
| 读取分镜表 | `get_flowData("stoaryTable")` |
|
||||
|
||||
### 写入模式
|
||||
|
||||
本阶段根据决策层派发指令中携带的模式信息，选择对应的写入策略：
|
||||
|
||||
| 模式 | 说明 | prompt | shouldGenerateImage | track 分组规则 |
|
||||
|------|------|--------|---------------------|----------------|
|
||||
| **纯文本多参模式** | 仅写入视频描述与资产绑定，不生成提示词和分镜图 | `''`（空字符串） | `false` | 同「分镜图辅助多参模式」，累计时长 ≤ 15s |
|
||||
| **分镜图辅助多参模式** | 完整生成提示词并生成分镜图（当前默认行为） | 正常生成 | `true`（默认） | 累计时长 ≤ 15s |
|
||||
| **首位帧模式** | 完整生成提示词，每条分镜独立一组 | 正常生成 | `true`（默认） | **不分组**，每行独立一组，按顺序递增 |
|
||||
|
||||
> 模式信息由决策层在派发指令中明确指定，执行层不自行判断。
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 、`stoaryTable`，识别决策层指令中的**写入模式**（纯文本多参模式 / 分镜图辅助多参模式 / 首位帧模式）
|
||||
2. **若为「分镜图辅助多参模式」或「首位帧模式」**：加载下方「分镜提示词 · 通用基础技法」与风格专属技法（激活 `director_storyboard`）作为提示词生成的全部参考依据，冲突时以风格专属技法为准；**若为「纯文本多参模式」**：跳过提示词相关技法加载
|
||||
3. 确定分组（track）与时长规则：
|
||||
- **纯文本多参模式 / 分镜图辅助多参模式**：同组内分镜 `duration` 累计时长不得超过 15 秒
|
||||
- **首位帧模式**：**不分组**，每条分镜独立一组，`track` 按顺序递增（第1行 track=1，第2行 track=2，以此类推）
|
||||
- 所有模式下，每条 `duration` 必须严格使用 `stoaryTable` 对应行时长
|
||||
4. **人物空间位置预分析**（纯文本多参模式跳过此步）：正式写入前，先通读全部分镜表，梳理同一人物在不同分镜中出现的画面位置与朝向，建立「人物-位置」连续性基准（如：角色A全片画面偏左、面朝右；角色B画面偏右、面朝左），后续每条 prompt 中涉及该人物时须保持一致
|
||||
5. **图像资产标注与正文绑定**（纯文本多参模式跳过此步）：为每条分镜的 prompt 生成图像资产标注前缀，按 `associateAssetsIds` 的引用顺序，依次标注 `@图N 为xx{类型}`；**提示词正文中所有涉及该角色/场景/道具的位置，必须使用对应的 `@图N` 替代其名称**，建立参考图与画面描述的直接绑定（详见下方「prompt 图像资产标注规则」）
|
||||
6. **生成视频描述（videoDesc）**（所有模式均需）：根据 `stoaryTable` 对应行的完整分镜数据（画面描述、场景、关联资产名称、时长、景别、运镜、角色动作、情绪、光影氛围、台词、音效、关联资产ID），将该行信息整合为一段结构化的视频描述文本，填入 `videoDesc` 字段
|
||||
7. 严格按 `stoaryTable` 的分镜数据行逐行写入分镜面板（排除表头与分隔行），根据模式差异化输出：
|
||||
- **纯文本多参模式**：`<storyboardItem videoDesc='视频描述' prompt='' track='分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="false" ></storyboardItem>`
|
||||
- **分镜图辅助多参模式**：`<storyboardItem videoDesc='视频描述' prompt='提示词内容' track='分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="true" ></storyboardItem>`
|
||||
- **首位帧模式**：`<storyboardItem videoDesc='视频描述' prompt='提示词内容' track='按顺序递增的独立分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="true" ></storyboardItem>`
|
||||
8. 写入完成后，仅返回一句确认：`已完成分镜面板写入（{当前模式名称}）`
|
||||
|
||||
### 分镜提示词 · 通用基础技法
|
||||
|
||||
> 以下为分镜提示词生成的**通用基础规范**，适用于所有视觉风格。风格锚定词、情绪映射、光影词库、场景质感、美学禁止项等**风格相关内容**由风格专属技法（`director_storyboard`）定义。
|
||||
|
||||
#### 适用模式
|
||||
|
||||
本规范仅支持以下两种**参考图一致性模式**输出：
|
||||
|
||||
- **模式A**：Seedream（doubao-seedream）
|
||||
- **模式B**：Nanobanana（Gemini）
|
||||
|
||||
> ⚠️ **不生成文生图模式提示词**，所有输出均基于**参考图（图生图 / ControlNet / 角色一致性）**工作流前提。
|
||||
|
||||
#### 解析映射规则
|
||||
|
||||
| 分镜字段 | 提示词对应处理 |
|
||||
|----------|----------------|
|
||||
| 画面描述 | 核心画面语言，转译为镜头视觉描述 |
|
||||
| 场景 | 背景/环境词，叠加场景质感约束（由风格专属技法提供场景质感词库） |
|
||||
| 景别 | 镜头参数词（见下方景别词库） |
|
||||
| 运镜 | 仅作分镜制作信息，不进入提示词，不输出运镜备注 |
|
||||
| 角色动作 | 描述该镜头**视频首帧（t=0）的预备状态**：动作尚未展开、即将发生的起始体态，视频将从此帧开始向后推演，加"动作自然真实" |
|
||||
| 情绪 | 面容/眼神词（由风格专属技法提供情绪映射表） |
|
||||
| 光影氛围 | 光线词 + 色调词（由风格专属技法提供光影词库） |
|
||||
| 台词 | 不进入提示词，不输出 |
|
||||
| 音效 | 不进入提示词，不输出 |
|
||||
| 关联资产名称/ID | 仅用于内部参考图绑定，不作为文本区块输出 |
|
||||
|
||||
> ⚠️ **视频首帧原则**：分镜图是视频生成的**首帧参考**，画面必须呈现镜头 t=0 时刻的状态——动作尚未发生或刚刚启动的**预备定格态**，视频将从这一帧开始播放推演。
|
||||
>
|
||||
> **核心逻辑**：首帧 → 视频推演 → 动作完成。提示词描述的是"推演起点"，而非"推演终点"。
|
||||
>
|
||||
> - ✅ 正确（首帧预备态）：「双臂自然垂于身侧，衣袂初被风拂动」「手指刚触及剑柄」「身体微微侧转，目光即将投向远方」
|
||||
> - ❌ 错误（动作终态）：「负手而立，衣袂随风猎猎飘扬」「已拔剑而立」「背对而去」「远眺苍茫大地」
|
||||
> - ❌ 错误（过程态）：「正在拔剑」「正缓缓转身」（过程态适合视频中间帧，不适合首帧）
|
||||
>
|
||||
> 首帧应具有"蓄势待发"的静态张力，暗示接下来视频中将发生的动作方向。
|
||||
|
||||
#### 景别词库（通用）
|
||||
|
||||
| 景别输入 | 模式B（Nanobanana）英文镜头词 | 模式A（Seedream）中文画面词 |
|
||||
|----------|-------------------------------|---------------------------|
|
||||
| 大全景 | `wide shot, establishing shot, full environment` | 大全景构图，环境全貌，人物渺小于场景 |
|
||||
| 全景 | `full shot, full body, wide angle` | 全身入镜，全景构图，人景比例协调 |
|
||||
| 中景 | `medium shot, cowboy shot, knee shot` | 中景构图，人物膝盖以上入镜 |
|
||||
| 近景 | `medium close-up, upper body` | 近景构图，上半身入镜，背景虚化 |
|
||||
| 半身 | `half body shot, bust shot` | 半身构图，腰部以上入镜，浅景深 |
|
||||
| 特写 | `close-up, face focus, extreme close-up` | 特写构图，面部或细节局部放大，背景深度虚化 |
|
||||
| 大特写 | `extreme close-up, macro detail` | 大特写，极度局部细节，虚化背景 |
|
||||
| 过肩镜 | `over the shoulder shot, two shot` | 过肩构图，前景人物后背虚化，远景人物清晰 |
|
||||
|
||||
#### 运镜标注
|
||||
|
||||
分镜图生成阶段不需要运镜标注提示词。运镜字段仅用于分镜生产管理信息，不参与提示词生成，不作为输出区块。
|
||||
|
||||
#### 输出格式规范
|
||||
|
||||
每条分镜**只输出一种模式的提示词正文**（二选一），不允许同条分镜同时输出模式A与模式B。
|
||||
|
||||
**模式选择规则**：
|
||||
|
||||
| 条件 | 选择模式 |
|
||||
|------|----------|
|
||||
| 目标模型为 Seedream / 豆包系列 | 模式A（中文 Prompt） |
|
||||
| 目标模型为 Nanobanana / Gemini 系列 | 模式B（英文 XML Prompt） |
|
||||
| 用户未指定模型 | 默认模式A，或询问用户确认 |
|
||||
| 批量生成 | 全程保持同一模式，不可中途切换 |
|
||||
|
||||
**输出内容规则**：
|
||||
- 选择模式A时：仅输出 `[Prompt]` 正文（无负向词，Seedream 不支持）
|
||||
- 选择模式B时：仅输出 `[XML Prompt]` 正文（含 `<negative>` 区块）
|
||||
- 除提示词正文外，以下内容默认不输出：分镜标题、参考图绑定说明、台词备注、音效备注、约束检查、资产汇总
|
||||
|
||||
#### 提示词结构框架
|
||||
|
||||
根据目标模型二选一输出：
|
||||
|
||||
**模式A：Seedream（API `reference_images`）**
|
||||
|
||||
机制：参考图通过 API 参数 `reference_images` 传入，prompt 内只写一致性约束语句，不写 URL。
|
||||
|
||||
Prompt 结构：
|
||||
```
|
||||
[风格锚定] + [景别构图] + [主体首帧体态] + [情绪面容] + [服饰质感] + [场景背景质感] + [光线色调] + [风格收尾] + [画质锁定词]
|
||||
|
||||
Based on the reference image of @图N ,
|
||||
maintain consistent: face features, hairstyle, costume details.
|
||||
Generate a new scene: [本镜画面描述，使用@图N 替代角色/场景名称].
|
||||
Keep character appearance identical to reference.
|
||||
```
|
||||
|
||||
> `[风格锚定]`、`[服饰质感]`、`[场景背景质感]`、`[风格收尾]`、`[画质锁定词]` 的具体内容由**风格专属技法**定义。
|
||||
|
||||
参数规范：
|
||||
- 单角色：`reference_images: ["角色URL"]`
|
||||
- 多角色：`reference_images: ["角色A_URL", "角色B_URL"]`
|
||||
- 多角色时在 prompt 中显式区分 `image 1`、`image 2`
|
||||
|
||||
**模式B：Nanobanana（多模态 + XML）**
|
||||
|
||||
机制：参考图与 prompt 一起作为多模态输入，prompt 使用结构化 XML 约束角色一致性。
|
||||
|
||||
Prompt 结构（固定框架）：
|
||||
```xml
|
||||
<role>
|
||||
You are a cinematographer and storyboard artist.
|
||||
Maintain strict visual continuity across all shots.
|
||||
</role>
|
||||
|
||||
<character_reference>
|
||||
Image [1]: @图1 — [外貌关键描述: 发色/发型/服装/体型]
|
||||
Image [2]: @图2 — [外貌关键描述]
|
||||
</character_reference>
|
||||
|
||||
<continuity_rules>
|
||||
- Same wardrobe, hairstyle, face features across ALL shots
|
||||
- Same environment, lighting style, color grade
|
||||
- Only framing, angle, action, expression may change
|
||||
- Do NOT introduce new characters not in reference images
|
||||
</continuity_rules>
|
||||
|
||||
<shot>
|
||||
[本镜分镜提示词：景别/构图/动作/情绪/光线/场景质感]
|
||||
[画质锁定词]
|
||||
（具体内容由风格专属技法定义）
|
||||
</shot>
|
||||
|
||||
<negative>
|
||||
[负向词模板]
|
||||
（具体词条由风格专属技法定义）
|
||||
</negative>
|
||||
```
|
||||
|
||||
参数规范：
|
||||
- 参考图作为图片输入，不是 URL 文本
|
||||
- 角色描述保持 1-2 句关键特征，避免冗长
|
||||
- 仅允许改变景别、角度、动作、表情，不改变人物身份特征
|
||||
|
||||
#### 通用语言与质量规范
|
||||
|
||||
- 模式A（Seedream）优先中文自然语言段落
|
||||
- 模式B（Nanobanana）优先英文 XML 结构化提示词
|
||||
- 提示词聚焦"内容表现 + 画质锐利"，避免模糊类词
|
||||
- 不使用会导致糊图的表达（见下方「画质降级禁用词」表）
|
||||
- 模式B 负向词按风格专属「负向词模板」输出，每条必须包含，不可省略；模式A 不输出负向词
|
||||
- 画质锁定词按风格专属「画质锁定词」模板输出，每条必须包含
|
||||
|
||||
#### 画外文字 vs 画内文字规则
|
||||
|
||||
- **画外文字**（字幕、水印、标题卡、旁白叠字等 UI 层覆盖文字）→ **绝对禁止**，必须在画质锁定词和负向词中声明禁止
|
||||
- **画内文字**（场景中自然存在的文字道具：角色提笔写字、书卷上的字迹、匾额牌匾、书信内容、路标、店铺招牌等）→ **属于场景道具**，当分镜画面描述中明确包含此类内容时，应正常描述其存在，不受禁止文字规则限制
|
||||
- **判断标准**：该文字是否存在于**故事世界内部**。匾额上的字 = 画内道具 ✅；画面底部的角色对白 = 画外字幕 ❌
|
||||
|
||||
#### 画质降级禁用词（所有风格通用）
|
||||
|
||||
| 禁用写法 | 模型行为 | 安全替代 |
|
||||
|---------|---------|----------|
|
||||
| `film grain` / `胶片颗粒` | 全图加噪点变糊 | `subtle cinematic texture` / `轻微电影质感` |
|
||||
| `imperfect focus` / `失焦` | 全图失焦 | 直接删除 |
|
||||
| `edges not perfectly sharp` | 边缘变糊 | 直接删除 |
|
||||
| `slight natural deviation` | 整体降分辨率 | 直接删除 |
|
||||
| `not completely stable` | 画面模糊 | 直接删除 |
|
||||
| `blurry background`（滥用） | 主体跟着糊 | `background bokeh, subject in sharp focus` |
|
||||
| `hazy` / `foggy`（滥用） | 全图雾化 | 仅在空气透视需求时用，同时加 `subject sharp` |
|
||||
| `柔焦` / `朦胧感` | 降低整体锐度 | 直接删除 |
|
||||
|
||||
> **核心原则**：内容可以"不完美"（光线不均、构图非对称），画质必须锐利。
|
||||
|
||||
#### 批量处理规范
|
||||
|
||||
用户输入多行分镜表时：
|
||||
|
||||
1. **逐行顺序处理**，不跳行、不合并
|
||||
2. 每条分镜仅输出目标模式的提示词正文（Prompt 或 XML Prompt）
|
||||
3. 若同一场景连续多镜，**场景质感词可复用**，但情绪/光线/景别/动作必须**按行独立处理**
|
||||
4. 关联资产名称相同的镜次，**一致性标注词必须一致**
|
||||
5. 不追加任何非提示词区块（如资产引用汇总、台词/音效备注、约束检查）
|
||||
|
||||
### prompt 图像资产标注规则
|
||||
|
||||
每条分镜的 `prompt` 字段必须以**图像资产标注**作为前缀，且**提示词正文中使用 `@图N` 直接替代对应的角色/场景/道具名称**，建立参考图与画面描述的直接绑定关系。标注按 `associateAssetsIds` 中资产的引用顺序，从 `@图1` 开始依次编号。
|
||||
|
||||
**格式**：`@图1 为{资产名称}{资产类型} @图2 为{资产名称}{资产类型} ... , 正文中使用@图N替代角色/场景名称的提示词`
|
||||
|
||||
**类型映射**：
|
||||
|
||||
| 资产 type | 标注类型词 |
|
||||
|-----------|------------|
|
||||
| role | 角色 |
|
||||
| tool | 道具 |
|
||||
| scene | 场景 |
|
||||
| clip | 片段 |
|
||||
|
||||
**规则**：
|
||||
- 编号从 `@图1` 起，按 `associateAssetsIds` 数组顺序依次递增
|
||||
- 每个引用的资产 ID 对应一个标注项，**不可遗漏、不可多出**
|
||||
- 资产名称使用 assets 数据中该资产的 `name` 字段
|
||||
- 资产类型根据上方类型映射表填写
|
||||
- 标注部分与提示词正文之间用 `, ` 分隔
|
||||
- 衍生资产沿用其自身 `name` 和父资产的 `type`
|
||||
- **正文绑定（核心）**：提示词正文中，所有原本应出现角色名/场景名/道具名的位置，**必须替换为对应的 `@图N` 标记**，不再使用文字名称。这样参考图与画面中的视觉主体形成直接指向关系，避免资产名称与角色名称不一致导致的歧义（如衍生资产名"幕离红斗篷"与角色名"戚映竹"无法对应的问题）
|
||||
- 同一 `@图N` 在正文中可多次出现（如角色在前景和反射面中同时可见时）
|
||||
|
||||
**示例**（假设 `associateAssetsIds="[101, 100, 300]"` 对应苏晚卿(role)、凌玄(role)、大殿(scene)）：
|
||||
|
||||
❌ 错误（正文使用文字名称，与前缀标注脱节）：
|
||||
```
|
||||
@图1 为苏晚卿角色 @图2 为凌玄角色 @图3 为大殿场景, 苏晚卿冷笑，居高临下看着跪地的凌玄，大殿柱影深沉……
|
||||
```
|
||||
|
||||
✅ 正确（正文使用 @图N 直接绑定参考图）：
|
||||
```
|
||||
@图1 为苏晚卿角色 @图2 为凌玄角色 @图3 为大殿场景, @图1 冷笑，居高临下看着跪地的@图2，@图3 柱影深沉……
|
||||
```
|
||||
|
||||
### prompt 人物位置连贯性规则
|
||||
|
||||
生成每条 prompt 时，须遵守以下跨分镜人物位置一致性约束：
|
||||
|
||||
- **画面位置锁定**：同一角色在同一场景内的多条分镜中，其画面左右位置（画面左侧 / 中央 / 右侧）须保持固定，不得无叙事理由地跳侧
|
||||
- **朝向守恒**：对话/对峙场景遵循 180° 视轴线——角色A面朝右则全场景保持面朝右，角色B面朝左则全场景保持面朝左；prompt 中须通过方位词（facing left / 面朝左、on the left side of frame / 画面左侧等）显式标注
|
||||
- **前后景层次一致**：若角色A在分镜N中处于前景、角色B处于中景，则同场景后续分镜中二者前后关系不应无理由反转
|
||||
- **位置变化须有动作衔接**：角色画面位置确需变化时（如角色走动、转身），前序分镜的 prompt 中须包含对应位移/转身动作描写，不可凭空跳位
|
||||
- **跨场景可重置**：切换到全新场景时允许重新分配画面位置，但新场景内部仍须保持一致
|
||||
- **反射面视觉关系**：当画面中存在反射介质（镜面、水面、光滑金属、窗玻璃、相机镜头等）时，须注意以下规则：
|
||||
- **镜像翻转**：反射面中角色的左右朝向与实体相反（实体面朝右→镜像面朝左），prompt 中须显式标注反射体与实体的朝向关系（如"@图1 面朝右，水面倒影中@图1 面朝左"）
|
||||
- **反射面不改变位置基准**：角色的画面位置以实体为准，反射面中的映像不视为角色位置变化
|
||||
- **反射面内容与实体一致**：反射面中可见的角色服饰、发型、表情等必须与同帧实体一致，不可出现偏差
|
||||
- **反射面景深与清晰度**：根据反射面距离和材质，反射图像可适当降低清晰度（如水面波纹导致的模糊），但须在 prompt 中标注（如"水面倒影微微扭曲"）
|
||||
- **识别触发**：当分镜画面描述或场景资产中包含镜面、水面、湖面、溪流、玻璃、金属反光、相机/摄像等反射性元素时，自动触发本规则
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：分镜表已构建完成且用户已确认
|
||||
- 你必须使用XML格式写入工作区分镜面板（具体参数值按当前模式填写，见上方执行流程第7步）
|
||||
- **videoDesc 必填**（所有模式）：每条分镜的 `videoDesc` 必须根据 `stoaryTable` 对应行的分镜数据生成，包含画面描述、场景、关联资产名称、时长、景别、运镜、角色动作、情绪、光影氛围、台词、音效、关联资产ID 等完整信息
|
||||
- 行数一致性约束：分镜面板 `items` 数量必须与 `stoaryTable` 的分镜数据行数量完全一致（不包含表头与分隔行）
|
||||
- 时长一致性约束：分镜面板 `duration` 必须与 `stoaryTable` 对应行时长完全一致
|
||||
- 阶段边界：本阶段禁止调用 `generate_storyboard_images`
|
||||
|
||||
**模式差异化约束：**
|
||||
|
||||
| 约束项 | 纯文本多参模式 | 分镜图辅助多参模式 | 首位帧模式 |
|
||||
|--------|---------------|-------------------|------------|
|
||||
| `prompt` | `''`（空字符串） | 正常生成提示词 | 正常生成提示词 |
|
||||
| `shouldGenerateImage` | `false` | `true` | `true` |
|
||||
| `track` 分组 | 累计时长 ≤ 15s | 累计时长 ≤ 15s | 每行独立一组，按顺序递增 |
|
||||
| 人物位置连贯性校验 | 不适用（无 prompt） | **必须**校验 | **必须**校验 |
|
||||
| 图像资产标注 | 不适用（无 prompt） | **必填** | **必填** |
|
||||
| 提示词技法加载 | 跳过 | 加载通用基础技法 + 风格专属技法 | 加载通用基础技法 + 风格专属技法 |
|
||||
|
||||
---
|
||||
|
||||
## 六、分镜图生成
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取分镜面板 | `get_flowData("storyboard")` |
|
||||
| 生成图片 | `generate_storyboard_images({ ids: [分镜ID列表] })` |
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `storyboard`
|
||||
2. 提取真实分镜 ID 列表
|
||||
3. 调用 `generate_storyboard_images({ ids: [真实分镜ID列表] })` 生成分镜图片（异步，发起即返回）
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：分镜面板已写入完成
|
||||
- 图片必须与分镜描述匹配
|
||||
- 仅使用 `storyboard` 中的真实分镜 ID，禁止编造或复用无效 ID
|
||||
97
data/skills/production_execution_derive_assets.md
Normal file
97
data/skills/production_execution_derive_assets.md
Normal file
@ -0,0 +1,97 @@
|
||||
---
|
||||
name: production_execution_derive_assets.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 衍生资产分析与信息写入。
|
||||
负责分析剧本并识别每个资产的视觉状态变体，逐条写入衍生资产。
|
||||
---
|
||||
# 执行层 Agent — 衍生资产分析与信息写入
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 一、衍生资产分析与信息写入
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
| 写入衍生资产 | `add_deriveAsset` |
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 和 `assets`
|
||||
2. 按下方提取规则分析剧本，识别每个资产的视觉状态变体
|
||||
3. 简单说明要增加的衍生资产内容以及信息。总共200字以内
|
||||
4. 如不需要衍生资产，返回"不需要衍生资产"，流程结束
|
||||
5. 对每条新增衍生资产**逐条调用** `add_deriveAsset` 写入（新增时 `id` 填 `null`，并完整填写 `assetsId`/`name`/`desc`/`type`）
|
||||
6. 全部调用完成后再返回简短确认（例如："已完成衍生资产写入，共 N 条"）
|
||||
|
||||
### 强制约束（防漏调用）
|
||||
|
||||
- 识别出衍生资产后，必须发生实际 `add_deriveAsset` 工具调用；仅输出分析文字视为未完成任务
|
||||
- `add_deriveAsset` 调用次数必须与"本次新增衍生资产条数"一致
|
||||
- 未调用写入工具时，不得返回"已完成"类结果
|
||||
|
||||
|
||||
### `add_deriveAsset` 入参要求
|
||||
```ts
|
||||
add_deriveAsset({
|
||||
assetsId: number, // 关联的资产ID
|
||||
id: number | null, // 衍生资产ID，新增填 null
|
||||
name: string, // 衍生资产名称
|
||||
desc: string, // 衍生资产描述
|
||||
type: "role" | "tool" | "scene" | "clip", // 衍生资产类型
|
||||
})
|
||||
```
|
||||
|
||||
字段说明：
|
||||
- `assetsId`：父资产在工作区中的 ID
|
||||
- `id`：新增时必须为 `null`；更新已有衍生资产时填写已有衍生资产 ID
|
||||
- `name`：2~6 字，体现视觉外观变化
|
||||
- `desc`：`[与默认态的差异] · [视觉特征] ，1~100 字
|
||||
- `type`：
|
||||
- 角色资产填 `role`
|
||||
- 道具资产填 `tool`
|
||||
- 场景资产填 `scene`
|
||||
- 镜头/片段类资产填 `clip`
|
||||
|
||||
|
||||
|
||||
### 提取规则
|
||||
|
||||
> **核心原则**：derive 是父资产的**视觉状态变体**（"{父资产名}·{状态名}"），**不是**独立物件，也不是为了某个镜头临时拆出的局部特写。
|
||||
> 只衍生**图片模型无法仅凭提示词稳定处理、且能在多个镜头/场次复用的资产级视觉差异**（服装、整体形态、结构性残缺、物件状态等）。
|
||||
> 表情、情绪、简单动作姿态、局部特写、镜头强调细节等**不需要衍生**。
|
||||
> **角色默认基准态**：角色父资产默认视为基础打底态（如白色背心+内裤，或仅内裤状态）。因此剧本中凡出现校服、常服、礼服、盔甲、外套等明确穿着时，通常应补充对应的**服装类衍生资产**；基础打底态本身不重复创建衍生。若某角色当前**没有任何子资产**，则应先根据剧本主场景与常态设定，补充一套最合适的**默认常服/正式服装衍生**，避免后续该角色长期停留在基础打底态。
|
||||
|
||||
**衍生类型参考**：
|
||||
|
||||
| 资产类型 | 典型衍生 | 示例 |
|
||||
|---------|---------|------|
|
||||
| 角色 | 服装变体、结构性特征变体 | 常服→礼服、变身/异化、缺手/缺脚 |
|
||||
| 道具 | 损坏、激活/发光、变形 | 破损断裂、发光激活、展开/碎裂 |
|
||||
| 场景 | 时间变体、破坏状态、氛围变体 | 夜景版、战后废墟、雨天/雪天 |
|
||||
|
||||
**规则**：
|
||||
- 只提取与默认状态有明显视觉差异、且模型无法仅凭提示词控制的状态
|
||||
- 角色类资产**只考虑两类衍生**：①服装变体；②结构性特征变体（如变身、异化、缺手缺脚等角色整体外形改变）
|
||||
- 特征变体必须同时满足：**稳定、可复用、资产级**。仅在多个镜头/场次中持续成立，且会改变角色整体识别外观时才创建
|
||||
- 以下情况**一律不需要衍生**：手背/眼睛/嘴唇等局部特写；"惊恐面部""眼眶泛红"等瞬时表情或情绪状态；"皮肤白到几乎透明、冷如铁片"这类可由分镜描述或 prompt 表达的局部质感；单镜头为了恐怖钩子或情绪强化而做的定格画面
|
||||
- **常见误判原因**：把"剧本重点描写"误当成"需要衍生资产"。判断标准不是它是否重要，而是它是否属于父资产**稳定、可复用、整体级**的视觉状态
|
||||
- 若角色当前 `derive` 为空，应先补 1 个最符合剧本常态的服装类衍生资产（如常服、校服、工装、礼服中的一种），作为后续主要出镜默认态
|
||||
- 若当前剧情穿着不是基础打底态，应优先补充对应服装类衍生资产；若存在持续且显著的身体/形态差异，再补充对应特征类衍生资产
|
||||
- 已存在于 `derive` 数组中的状态不重复
|
||||
- 每个资产 1~5 个衍生，宁缺勿滥
|
||||
- 提取到衍生资产后，必须逐条调用 `add_deriveAsset` 保存，禁止只分析不写入
|
||||
- 来源优先级：剧本明确描写 > 资产描述暗示 > 合理推测
|
||||
- `name`：2~6 字，体现视觉外观变化
|
||||
- `desc`：格式为 `[与默认态的差异] · [视觉特征] `，
|
||||
132
data/skills/production_execution_director_plan.md
Normal file
132
data/skills/production_execution_director_plan.md
Normal file
@ -0,0 +1,132 @@
|
||||
---
|
||||
name: production_execution_director_plan.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 导演规划。
|
||||
负责基于剧本与资产制定完整的导演创作规划（六维度）。
|
||||
---
|
||||
# 执行层 Agent — 导演规划
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 三、导演规划
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
|
||||
### 风格技法参考
|
||||
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 加载风格技法参考，获取 `script` 和 `assets`，并并且激活 `director_planning_narrative` 以及 `director_planning_style`，所有规划内容以该文档为风格基准，冲突时以风格技法参考为准。
|
||||
2. 按下方规范制定导演规划（创作规划），全文遵守「导演具象化原则」
|
||||
3. 严格按照XML格式写出导演规划<storyboardTable>内容</storyboardTable>，XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
|
||||
### 导演具象化原则（贯穿全文）
|
||||
|
||||
规划文本必须像导演给演员讲戏，禁止抽象情绪词，所有描述以「摄像机能拍到什么」为标准：
|
||||
|
||||
- **动作具体化**：写连续物理动作链（"揉太阳穴→目光移开→靠向椅背"），禁止"感到疲惫"等抽象词
|
||||
- **光影可量化**：主光源方向 + 色温范围 + 明暗倾向（"侧光偏暖，明暗反差强"），禁止空泛词（"柔光""氛围好"）
|
||||
- **情绪靠身体**：通过肢体微表情传达（"指尖发颤、瞳孔收缩"代替"他很紧张"）
|
||||
- **声音可感知**：环境音具体到声源（"蜡芯噼啪声、远处风声"），禁止"背景音乐烘托气氛"
|
||||
|
||||
### 创作规划（六维度）
|
||||
|
||||
#### ① 主题立意与叙事核心
|
||||
|
||||
规划项：核心主题、情感主线、离场感受、情感表达策略
|
||||
|
||||
约束：
|
||||
- 主题一句话凝练
|
||||
- 情感主线拆 2~3 个递进层次，每层对应可感知的视觉/行为变化
|
||||
- 离场感受与表达策略须与风格技法参考一致
|
||||
|
||||
#### ② 视觉风格与画面基调
|
||||
|
||||
规划项：整体色调、画面质感、构图风格、镜头运动偏好、光影体系
|
||||
|
||||
约束：
|
||||
- 色调具体到色温范围或色彩倾向描述
|
||||
- 光影以「段落-光影方向」表格呈现，每段落指定光影基调方向
|
||||
- 色温、光源角度、冷暖色调分配等具体技法参数以风格技法参考（`director_planning_narrative` 以及 `director_planning_style`）为准
|
||||
- **构图须说明叙事理由**，参考以下情绪-构图映射（按需选用）：
|
||||
- 对称构图 → 秩序 / 压迫 / 庄重
|
||||
- 三分法偏侧留白 → 孤独 / 期待 / 未知
|
||||
- 对角线构图 → 运动 / 冲突 / 紧张
|
||||
- 框中框构图 → 囚禁 / 窥视 / 心理距离
|
||||
- **空间三层分离**：关键画面须规划前景（引导视线）/ 中景（叙事主体）/ 背景（情绪氛围）的层次关系
|
||||
- 镜头运动默认以静为主，运镜须说明叙事目的（"缓推=靠近角色内心""缓拉=揭示全貌/抽离"）
|
||||
|
||||
#### ③ 叙事结构与节奏规划
|
||||
|
||||
规划项：叙事模式选型、段落划分、情绪曲线、快慢节奏、关键转折点、段落过渡方式
|
||||
|
||||
约束：
|
||||
- **叙事模式选型**（根据内容特征选择，写入规划）：
|
||||
- 完整叙事型：适用于有完整起承转合的长剧本，按戏剧节拍划分段落
|
||||
- 情绪意境型：适用于氛围/散文式内容，按情绪阶段（起-承-转-合）划分
|
||||
- 原著保真型：适用于已有成熟结构的改编剧本，按原著自然场景边界划分，不强加节拍
|
||||
- 段落以表格呈现（编号 / 名称 / 场次 / 核心事件 / 情绪浓度 / 节奏）
|
||||
- 情绪曲线渐进递增，避免"平平平→突然爆发"
|
||||
- 转折点必须用**具体视觉手段**描述（光影突变、景别跳切、空镜隐喻等），不依赖台词解释
|
||||
- 高潮段落的"快"指情绪密度高（更紧密的景别切换），不等于缩短镜头时长
|
||||
|
||||
#### ④ 分场景情绪与画面意图
|
||||
|
||||
规划项（逐场）：场次编号、情绪目标、氛围方向、镜头意图、空间叙事、距离感设计
|
||||
|
||||
约束：
|
||||
- 情绪目标用具象可感描述（"偷偷心动后的嘴角压不住"，禁止"开心"等抽象词）
|
||||
- 氛围方向映射风格技法参考的光影方案
|
||||
- **镜头意图写"为什么"**（"用特写让观众看到她眼里的犹豫"），而非"怎么拍"（"用特写拍脸"）
|
||||
- **场景语义→镜头方案参考**（为每场选择最匹配的方案方向）：
|
||||
- 开场/定场 → 大远景 + 缓推至主体
|
||||
- 角色登场 → 全景/中景 + 微仰 + 背光轮廓
|
||||
- 对话交锋 → 中景/近景 + 正反打 + 守视轴
|
||||
- 情绪加压 → 景别逐步递进收紧（中→近→特写→大特写）
|
||||
- 浪漫/温馨 → 近景 + 浅景深 + 暖调柔光
|
||||
- 独白/沉思 → 特写侧面轮廓 + 定镜
|
||||
- 高潮转折 → 景别骤变或环绕运镜
|
||||
- **距离感设计**：通过景别变化映射人物关系变化（初期远→中期近但有遮挡→后期特写零距离）
|
||||
|
||||
#### ⑤ 声音与音乐方向
|
||||
|
||||
规划项：音乐风格、段落配乐对应、配乐覆盖率、环境音设计、沉默运用
|
||||
|
||||
约束：
|
||||
- 配乐按段落统一规划（不逐场），同段落内场景切换靠环境音变化过渡
|
||||
- 乐器选择、组合策略等具体技法以风格技法参考（`director_planning_narrative` 以及 `director_planning_style`）为准
|
||||
- 环境音具体到可感知声源（"蝉鸣 / 溪水 / 市井叫卖 / 雨滴檐角"），每场标注 1~2 个核心环境音
|
||||
- 标注运用沉默手法的关键瞬间（关键情感瞬间优先考虑去掉配乐，只留环境音）
|
||||
- 全片配乐覆盖率建议不超过 70%，留白段落与配乐段落形成呼吸感
|
||||
|
||||
#### ⑥ 转场与视觉连续性
|
||||
|
||||
规划项：场间转场策略、段落间过渡手法、视觉连续性锚点
|
||||
|
||||
约束：
|
||||
- 同场戏内镜头默认硬切
|
||||
- 不同场景间插入空镜过渡做情绪缓冲（标注具体空镜内容方向）
|
||||
- 大段落间可用叠化/淡入淡出做柔性过渡
|
||||
- 标注全片视觉连续性锚点：角色位置、服装状态、环境光影在跨场景时保持一致的关键点
|
||||
|
||||
### 输出要求
|
||||
|
||||
- 总字数不超过 1200 词，精炼表达
|
||||
- 你必须使用XML格式写入工作区拍摄计划：<scriptPlan>内容</scriptPlan>，XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
- 按「创作规划（①~⑥）」顺序输出
|
||||
- 表格仅在信息密度高时使用，其余用简洁列表或短段落
|
||||
- 具象优于抽象，视觉优先叙事，所有描述须通过「导演具象化原则」检验
|
||||
36
data/skills/production_execution_generate_assets.md
Normal file
36
data/skills/production_execution_generate_assets.md
Normal file
@ -0,0 +1,36 @@
|
||||
---
|
||||
name: production_execution_generate_assets.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 衍生资产图片生成。
|
||||
负责收集需要生成图片的资产并调用生成工具。
|
||||
---
|
||||
# 执行层 Agent — 衍生资产图片生成
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 二、衍生资产图片生成
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取资产列表 | `get_flowData("assets")` |
|
||||
| 生成资产图片 | `generate_assets_images({ ids: [资产id列表] })` |
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `assets`，收集所有需要生成图片的资产 id
|
||||
2. 调用 `generate_assets_images({ ids: [资产id列表] })` 生成图片（异步，发起即返回）
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：衍生资产分析已完成并写入
|
||||
- 仅对有衍生状态且尚未生成图片的资产发起生成
|
||||
38
data/skills/production_execution_storyboard_gen.md
Normal file
38
data/skills/production_execution_storyboard_gen.md
Normal file
@ -0,0 +1,38 @@
|
||||
---
|
||||
name: production_execution_storyboard_gen.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 分镜图生成。
|
||||
负责读取分镜面板并调用图片生成工具生成分镜图片。
|
||||
---
|
||||
# 执行层 Agent — 分镜图生成
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 六、分镜图生成
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取分镜面板 | `get_flowData("storyboard")` |
|
||||
| 生成图片 | `generate_storyboard_images({ ids: [分镜ID列表] })` |
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `storyboard`
|
||||
2. 提取真实分镜 ID 列表
|
||||
3. 调用 `generate_storyboard_images({ ids: [真实分镜ID列表] })` 生成分镜图片（异步，发起即返回）
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：分镜面板已写入完成
|
||||
- 图片必须与分镜描述匹配
|
||||
- 仅使用 `storyboard` 中的真实分镜 ID，禁止编造或复用无效 ID
|
||||
83
data/skills/production_execution_storyboard_panel.md
Normal file
83
data/skills/production_execution_storyboard_panel.md
Normal file
@ -0,0 +1,83 @@
|
||||
---
|
||||
name: production_execution_storyboard_panel.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 分镜面板写入。
|
||||
负责根据分镜表数据逐行写入分镜面板，支持纯文本多参/分镜图辅助多参/首位帧三种模式。
|
||||
---
|
||||
# 执行层 Agent — 分镜面板写入
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 五、分镜面板写入
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本 | `get_flowData("script")` |
|
||||
| 读取分镜表 | `get_flowData("stoaryTable")` |
|
||||
|
||||
### 写入模式
|
||||
|
||||
本阶段根据决策层派发指令中携带的模式信息，选择对应的写入策略：
|
||||
|
||||
| 模式 | 说明 | prompt | shouldGenerateImage | track 分组规则 |
|
||||
|------|------|--------|---------------------|----------------|
|
||||
| **纯文本多参模式** | 仅写入视频描述与资产绑定，不生成提示词和分镜图 | `''`（空字符串） | `false` | 同「分镜图辅助多参模式」，累计时长 ≤ 15s |
|
||||
| **分镜图辅助多参模式** | 完整生成提示词并生成分镜图（当前默认行为） | 正常生成 | `true`（默认） | 累计时长 ≤ 15s |
|
||||
| **首位帧模式** | 完整生成提示词，每条分镜独立一组 | 正常生成 | `true`（默认） | **不分组**，每行独立一组，按顺序递增 |
|
||||
|
||||
> 模式信息由决策层在派发指令中明确指定，执行层不自行判断。
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 、`stoaryTable`，识别决策层指令中的**写入模式**（纯文本多参模式 / 分镜图辅助多参模式 / 首位帧模式）
|
||||
2. **若为「分镜图辅助多参模式」或「首位帧模式」**：激活 `storyboard_prompt_techniques` 作为通用提示词技法参考（含解析映射规则、景别词库、输出格式规范、提示词结构框架、画质规范、图像资产标注规则、人物位置连贯性规则），并激活风格专属技法（`director_storyboard`）作为提示词生成的全部参考依据，冲突时以风格专属技法为准；**若为「纯文本多参模式」**：跳过提示词相关技法加载
|
||||
3. 确定分组（track）与时长规则：
|
||||
- **纯文本多参模式 / 分镜图辅助多参模式**：同组内分镜 `duration` 累计时长不得超过 15 秒
|
||||
- **首位帧模式**：**不分组**，每条分镜独立一组，`track` 按顺序递增（第1行 track=1，第2行 track=2，以此类推）
|
||||
- 所有模式下，每条 `duration` 必须严格使用 `stoaryTable` 对应行时长
|
||||
4. **人物空间位置与朝向预分析**（纯文本多参模式跳过此步）：正式写入前，先通读全部分镜表，执行以下分析并建立全局基准表：
|
||||
- **画面位置分配**：根据各角色在分镜表中的首次出场空间关系，确定每个角色的画面左右位置（画面左侧 / 中央 / 右侧）
|
||||
- **朝向提取**：从分镜表每行「角色动作」字段的 `｜朝向：` 标注中直接提取各角色朝向信息。若个别行缺少标注（如空镜），按步骤2已加载技法中的「朝向获取规则」兜底推断
|
||||
- **建立基准表**：输出格式如 `角色A → 画面左侧，面朝右 / 角色B → 画面右侧，面朝左`，同一场景内锁定不变
|
||||
- **变化标记**：若分镜表某行的角色动作包含转身、转头、走位等方向变化（朝向标注同步变更），在该行标记朝向/位置变更点，后续分镜从变更后状态继续锁定
|
||||
- 后续每条 prompt 中涉及该人物时须按基准表显式标注位置和朝向（依据步骤2已加载技法中的「prompt 人物位置与朝向连贯性规则」）
|
||||
5. **图像资产标注与正文绑定**（纯文本多参模式跳过此步）：为每条分镜的 prompt 生成图像资产标注前缀，按 `associateAssetsIds` 的引用顺序，依次标注 `@图N 为xx{类型}`；**提示词正文中所有涉及该角色/场景/道具的位置，必须使用对应的 `@图N` 替代其名称**，建立参考图与画面描述的直接绑定（依据步骤2已加载技法中的「prompt 图像资产标注规则」）
|
||||
6. **生成视频描述（videoDesc）**（所有模式均需）：根据 `stoaryTable` 对应行的完整分镜数据（画面描述、场景、关联资产名称、时长、景别、运镜、角色动作、情绪、光影氛围、台词、音效、关联资产ID），将该行信息整合为一段结构化的视频描述文本，填入 `videoDesc` 字段
|
||||
7. **生成提示词（prompt）并忠实性校验**（纯文本多参模式跳过此步）：逐行读取 `stoaryTable` 对应行的「画面描述」「场景」「景别」「角色动作」「情绪」「光影氛围」字段，严格按照步骤2已加载技法中的「分镜表内容忠实性原则」和「解析映射规则」将各字段映射为提示词各段落。**生成每条提示词后须立即逐字段比对分镜表原始内容**，确认：① 画面描述中的所有视觉主体和空间关系均已完整保留在提示词正文中；② 情绪基调与分镜表一致；③ 光影方向和色调与分镜表一致；④ 景别匹配；⑤ 角色动作语义一致（仅形式按首帧原则转换，不替换为不同动作）；⑥ 角色朝向与步骤4基准表一致，且 prompt 中已显式标注朝向方位词。校验不通过须修正后再进入下一步
|
||||
8. 严格按 `stoaryTable` 的分镜数据行逐行写入分镜面板（排除表头与分隔行），根据模式差异化输出：
|
||||
- **纯文本多参模式**：`<storyboardItem videoDesc='视频描述' prompt='' track='分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="false" ></storyboardItem>`
|
||||
- **分镜图辅助多参模式**：`<storyboardItem videoDesc='视频描述' prompt='提示词内容' track='分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="true" ></storyboardItem>`
|
||||
- **首位帧模式**：`<storyboardItem videoDesc='视频描述' prompt='提示词内容' track='按顺序递增的独立分组' duration='视频推荐时间' associateAssetsIds="[该分镜所需的资产ID列表]" shouldGenerateImage="true" ></storyboardItem>`
|
||||
9. 写入完成后，仅返回一句确认：`已完成分镜面板写入（{当前模式名称}）`
|
||||
|
||||
### 约束
|
||||
|
||||
- 前置条件：分镜表已构建完成且用户已确认
|
||||
- 你必须使用XML格式写入工作区分镜面板（具体参数值按当前模式填写，见上方执行流程第8步），所有 XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
- **videoDesc 必填**（所有模式）：每条分镜的 `videoDesc` 必须根据 `stoaryTable` 对应行的分镜数据生成，包含画面描述、场景、关联资产名称、时长、景别、运镜、角色动作、情绪、光影氛围、台词、音效、关联资产ID 等完整信息
|
||||
- **prompt 内容忠实性**（分镜图辅助多参模式 / 首位帧模式）：提示词内容必须忠实于 `stoaryTable` 对应行的画面描述、场景、景别、角色动作、情绪、光影氛围等字段，禁止凭空添加分镜表未描述的视觉元素或替换原始语义；风格锚定词和画质锁定词作为辅助修饰，不得挤占或替代分镜表中的具体画面内容（详见步骤2已加载技法中的「分镜表内容忠实性原则」）
|
||||
- 行数一致性约束：分镜面板 `items` 数量必须与 `stoaryTable` 的分镜数据行数量完全一致（不包含表头与分隔行）
|
||||
- 时长一致性约束：分镜面板 `duration` 必须与 `stoaryTable` 对应行时长完全一致
|
||||
- 阶段边界：本阶段禁止调用 `generate_storyboard_images`
|
||||
|
||||
**模式差异化约束：**
|
||||
|
||||
| 约束项 | 纯文本多参模式 | 分镜图辅助多参模式 | 首位帧模式 |
|
||||
|--------|---------------|-------------------|------------|
|
||||
| `prompt` | `''`（空字符串） | 正常生成提示词 | 正常生成提示词 |
|
||||
| `shouldGenerateImage` | `false` | `true` | `true` |
|
||||
| `track` 分组 | 累计时长 ≤ 15s | 累计时长 ≤ 15s | 每行独立一组，按顺序递增 |
|
||||
| 人物位置连贯性校验 | 不适用（无 prompt） | **必须**校验（见步骤2已加载技法） | **必须**校验（见步骤2已加载技法） |
|
||||
| 图像资产标注 | 不适用（无 prompt） | **必填**（见步骤2已加载技法） | **必填**（见步骤2已加载技法） |
|
||||
| 提示词技法加载 | 跳过 | 激活通用技法 + 风格专属技法（见步骤2） | 激活通用技法 + 风格专属技法（见步骤2） |
|
||||
| 提示词忠实性校验 | 不适用（无 prompt） | **必须**校验（见步骤7） | **必须**校验（见步骤7） |
|
||||
74
data/skills/production_execution_storyboard_table.md
Normal file
74
data/skills/production_execution_storyboard_table.md
Normal file
@ -0,0 +1,74 @@
|
||||
---
|
||||
name: production_execution_storyboard_table.md
|
||||
description: >-
|
||||
视频制作执行层Agent技能 — 构建分镜表。
|
||||
负责将剧本拆分为分镜，按规范填写所有字段，生成完整分镜表。
|
||||
---
|
||||
# 执行层 Agent — 构建分镜表
|
||||
|
||||
你是视频制作项目的**执行层 Agent**，接收决策层派发的任务指令并执行。
|
||||
|
||||
## 通用规则
|
||||
|
||||
- 执行前先调用 `get_flowData` 确认工作区状态；已有内容在其基础上修改，除非指令要求重写
|
||||
- 只执行当前任务对应的工作，不越权执行其他阶段
|
||||
- 完成写入后返回一句简短确认即可，不复述完整内容；返回后本次任务终止
|
||||
|
||||
---
|
||||
|
||||
## 四、构建分镜表
|
||||
|
||||
### 工具
|
||||
|
||||
| 操作 | 调用 |
|
||||
|------|------|
|
||||
| 读取剧本与资产 | `get_flowData("script")` / `get_flowData("assets")` |
|
||||
|
||||
### 风格技法参考
|
||||
|
||||
|
||||
|
||||
### 执行流程
|
||||
|
||||
1. 获取 `script` 和 `assets`，并且激活 `director_storyboard_table_narrative` 以及 `director_storyboard_table_style` ，作为分镜设计的风格参考。
|
||||
2. 激活 `storyboard_table_techniques` 作为分镜表通用技法参考（含分镜拆分原则、定场与镜头合并规则、视觉连续性铁律、字段填写指引、转场规则）。
|
||||
3. 按通用技法规则将剧本拆分为分镜，**每写一行前**回顾上一行状态，确保符合「视觉连续性铁律」后再填写当前行所有字段
|
||||
4. 严格按照XML格式写出导演规划<scriptPlan>内容</scriptPlan>，XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
|
||||
### 示例
|
||||
|
||||
输入剧本片段：
|
||||
```
|
||||
苏晚卿冷笑：「还有你当宝贝的青云令」
|
||||
△ 凌玄气血逆流，再次一口鲜血喷出
|
||||
△ 青云令表面灵纹暗淡，隐约可见细微裂痕
|
||||
```
|
||||
|
||||
输出分镜表：
|
||||
|
||||
| 序号 | 画面描述 | 场景 | 关联资产名称 | 时长 | 景别 | 运镜 | 角色动作 | 情绪 | 光影氛围 | 台词 | 音效 | 关联资产ID |
|
||||
|----|-------------|------|----------|------|------|------|------|------|------|-------|-------|----------|
|
||||
| 1 | 苏晚卿冷笑，居高临下看着跪地的凌玄，大殿柱影深沉 | 大殿 | [苏晚卿, 凌玄, 大殿] | 4 | 近景 | 静止 | 嘴角缓缓上扬→微仰下巴→眼神下压注视（开篇）｜朝向：苏晚卿-3/4正面朝右微仰头 | 冷傲轻蔑 | 顶光直射面部，眼窝明暗对半，背景大殿沉入暗部 | 苏晚卿：还有你当宝贝的青云令 | 空旷殿堂回声 | [101, 100, 300] |
|
||||
| 2 | 凌玄跪地猛喷鲜血，身体前倾欲坠，血雾弥漫 | 大殿 | [凌玄, 大殿] | 3 | 中景 | 缓慢推至近景 | 胸口剧颤→猛然喷出鲜血→身体前倾摇晃（承接上镜：跪地状态）｜朝向：凌玄-3/4正面朝左微低头 | 痛苦绝望 | 左侧冷光勾边，血雾被逆光映成暗红，背景压暗 | 无台词 | 喷血声 + 沉闷跪地声 | [100, 300] |
|
||||
| 3 | 青云令灵纹一寸寸暗淡，玉面浮现细微裂痕 | 大殿 | [青云令, 大殿] | 3 | 大特写 | 静止 | 灵纹光芒由亮渐灭→裂痕自中心蔓延（承接上镜：喷血后切物件） | 紧张压迫 | 微弱自发光从内部渗出渐灭，周围完全暗沉 | 无台词 | 细微玉石碎裂声 | [202, 300] |
|
||||
|
||||
### 约束
|
||||
|
||||
- **整体输出、不分段**：分镜表必须一次性完整输出为一个连续表格，不可按段落/场次拆分成多个表格，不可中途分割或分批返回
|
||||
- 你必须使用XML格式写入工作区拍摄计划：<storyboardTable>内容</storyboardTable>，XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
- **严格依据剧本**：分镜内容必须严格按照剧本叙事顺序和内容进行拆分，不得遗漏或新增剧本中不存在的情节
|
||||
- **参考导演规划**：分镜的景别、运镜、节奏、氛围等设计需参照导演规划（阶段3产出）的视觉风格、情绪曲线、镜头意图和转场策略
|
||||
- **台词原文锁定**：剧本中所有台词必须原文照搬进 `lines` 字段，禁止改写、省略或意译，如有台词未出现在分镜中视为严重错误
|
||||
- 分镜顺序与剧本叙事顺序一致
|
||||
- 所有字段完整填写，`associateAssetsIds` 使用资产的实际 ID（非数组索引），必须与工作区现有资产匹配
|
||||
- **按剧情选资产（衍生优先）**：同一父资产在单条分镜中，若剧情对应衍生状态则仅填写该衍生资产 ID；仅当无匹配衍生状态时才填写主资产 ID，禁止两者并填
|
||||
- **场景资产必须引用**：每条分镜的 `associateAssetsIds` 必须包含该分镜 `scene` 字段对应的场景资产 ID（从 assets 中匹配 type 为 scene 的资产）；若存在匹配的衍生场景资产则选用衍生 ID，否则选用主场景资产 ID。缺少场景资产 ID 视为严重错误
|
||||
- **角色出现即引用**：画面中出现的所有角色（无论是镜头主体还是仅局部可见——如背影、肢体局部、虚化身影等），只要可被辨识，都必须在 `associateAssetsIds` 和 `associateAssetsNames` 中引用其资产。遗漏画面中可见角色的资产 ID 视为严重错误
|
||||
- 剧本中出现但资产列表不存在的角色/物件仍需在分镜中描述，但不在 `associateAssetsIds` 中编造 ID
|
||||
- **台词-时长强关联**：含台词的分镜，需根据角色当前情绪状态选取对应语速（愤怒~4字/秒、正常~3字/秒、悲伤~2字/秒、低语/虚弱~2字/秒），`duration` ≥ 台词字数 ÷ 语速（向上取整）+ 1s 情绪余量；宁可多留余量，不可台词超时
|
||||
- **视觉连续性逐行校验**：每写一行分镜前，回顾上一行的动作终态、景别、角色朝向，确保当前行与之衔接合理，符合「视觉连续性铁律」7条规则
|
||||
- **朝向必填且连续**：每条分镜的 `action` 字段必须包含 `｜朝向：` 标注（空镜除外）；同一场景内同一角色的朝向须与首次出场时保持一致，变化时须在动作描述中包含转身/转头等衔接动作，朝向标注同步更新
|
||||
- **定场精简**：每个新场景定场最多 1~2 镜，禁止 3 镜以上的碎片化定场；能一镜完成定场+引入的不拆两镜
|
||||
- **镜头合并自检**：完成全部分镜后，逐段检查是否有可合并的相邻镜头（同空间局部描述、纯装饰镜头、信息重复镜头），合并后重新编号
|
||||
- **黄金 6 秒**：无台词镜头不超过 6s，定场/过渡类镜头尤其注意
|
||||
- **光影风格一致**：光影描述须与步骤1已加载的风格技法的光影规范保持一致
|
||||
322
data/skills/production_skills/storyboard_prompt_techniques.md
Normal file
322
data/skills/production_skills/storyboard_prompt_techniques.md
Normal file
@ -0,0 +1,322 @@
|
||||
---
|
||||
name: storyboard_prompt_techniques
|
||||
description: >-
|
||||
通用分镜提示词技法参考。
|
||||
涵盖提示词解析映射规则、景别词库、输出格式规范、提示词结构框架、画质规范、图像资产标注规则、人物位置连贯性规则等，供 Agent 激活使用。
|
||||
---
|
||||
# 分镜提示词 · 通用基础技法
|
||||
|
||||
> 以下为分镜提示词生成的**通用基础规范**，适用于所有视觉风格。风格锚定词、情绪映射、光影词库、场景质感、美学禁止项等**风格相关内容**由风格专属技法（`director_storyboard`）定义。
|
||||
|
||||
---
|
||||
|
||||
## 适用模式
|
||||
|
||||
本规范仅支持以下两种**参考图一致性模式**输出：
|
||||
|
||||
- **模式A**：Seedream（doubao-seedream）
|
||||
- **模式B**：Nanobanana（Gemini）
|
||||
|
||||
> ⚠️ **不生成文生图模式提示词**，所有输出均基于**参考图（图生图 / ControlNet / 角色一致性）**工作流前提。
|
||||
|
||||
---
|
||||
|
||||
## 分镜表内容忠实性原则（最高优先级）
|
||||
|
||||
提示词生成是**格式转换**，不是**创意写作**。分镜表是提示词的**唯一内容来源**，所有画面信息必须忠实于分镜表对应行，仅在表达格式和措辞上适配图像生成模型的要求。
|
||||
|
||||
### 铁律
|
||||
|
||||
1. **内容锚定**：提示词的画面内容以分镜表对应行为唯一信息源，**禁止**凭空添加分镜表未描述的视觉元素、人物、物件、空间关系或场景细节
|
||||
2. **关键信息零遗漏**：分镜表「画面描述」字段中提到的所有可见主体、空间层次、动态细节必须完整保留在提示词正文中，不得以「风格词」替代或挤占具体画面内容
|
||||
3. **语义等价转换**：将分镜表字段转换为提示词时，只改变表达形式（中↔英、散文↔关键词、叙事语言↔视觉描述），**不改变语义**。例：分镜表写"大殿柱影深沉" → 提示词必须体现殿堂柱影暗调，不可替换为"华丽宫殿"等不同语义
|
||||
4. **禁止创意发散**：不添加分镜表未提及的装饰性视觉元素（如分镜表未写花瓣飘落，提示词不可自行添加）；不重新诠释场景氛围（分镜表写"冷傲轻蔑"不可改为"忧伤落寞"）
|
||||
5. **风格词从属于内容**：风格锚定词、画质锁定词、场景质感词等风格类词汇是**辅助修饰**，服务于分镜表已定义的画面内容，不得反客为主——当风格词与分镜表具体描述冲突时，以分镜表为准
|
||||
6. **逐字段回溯校验**：生成每条提示词后，须逐字段比对分镜表对应行，确认以下映射均已准确体现：
|
||||
|
||||
| 分镜表字段 | 提示词中须体现 | 校验要点 |
|
||||
|-----------|---------------|--------|
|
||||
| 画面描述 | 提示词正文核心内容 | 所有视觉主体、空间关系、关键细节是否完整保留 |
|
||||
| 场景 | 场景背景质感段 | 场景类型是否一致 |
|
||||
| 景别 | 景别构图词 | 景别是否匹配 |
|
||||
| 角色动作 | 主体首帧体态段 | 动作语义是否一致（按首帧原则转换形式，但动作内涵不变） |
|
||||
| 情绪 | 情绪面容词 | 情绪基调是否一致 |
|
||||
| 光影氛围 | 光线色调段 | 光源方向、色调倾向、明暗关系是否一致 |
|
||||
|
||||
> ⚠️ **校验不通过 = 提示词无效**，必须修正后再输出。最常见的失败模式：画面描述中的具体元素被风格模板词覆盖遗漏。
|
||||
|
||||
---
|
||||
|
||||
## 解析映射规则
|
||||
|
||||
| 分镜字段 | 提示词对应处理 |
|
||||
|----------|----------------|
|
||||
| 画面描述 | **核心内容锚点**：提示词正文的主要信息来源。须完整保留画面描述中的所有可见主体、空间层次、关键细节，仅将叙事语言转换为视觉描述格式，严禁删减关键元素、替换为不同语义或自行添加画面描述中不存在的视觉元素 |
|
||||
| 场景 | 基于分镜表「场景」字段确定背景/环境词，叠加风格专属技法的场景质感约束词。场景类型和基本氛围须与分镜表一致 |
|
||||
| 景别 | 镜头参数词（见下方景别词库），须与分镜表「景别」字段完全匹配 |
|
||||
| 运镜 | 仅作分镜制作信息，不进入提示词，不输出运镜备注 |
|
||||
| 角色动作 | 基于分镜表「角色动作」字段，保留原始动作的语义内涵，仅将动态过程转换为该镜头**视频首帧（t=0）的预备状态**（动作尚未展开、即将发生的起始体态），视频将从此帧开始向后推演，加"动作自然真实"。**禁止**替换为与分镜表不同的动作 |
|
||||
| 情绪 | 基于分镜表「情绪」字段，从风格专属技法的情绪映射表中选取匹配的面容/眼神词。情绪基调须与分镜表一致，不可替换为不同情绪 |
|
||||
| 光影氛围 | 基于分镜表「光影氛围」字段的光源方向、色调倾向和明暗关系，从风格专属技法光影词库中选取匹配词汇。须保留分镜表指定的光源方向和色温倾向，不可替换为不同光影方案 |
|
||||
| 台词 | 不进入提示词，不输出 |
|
||||
| 音效 | 不进入提示词，不输出 |
|
||||
| 关联资产名称/ID | 仅用于内部参考图绑定，不作为文本区块输出 |
|
||||
|
||||
> ⚠️ **视频首帧原则**：分镜图是视频生成的**首帧参考**，画面必须呈现镜头 t=0 时刻的状态——动作尚未发生或刚刚启动的**预备定格态**，视频将从这一帧开始播放推演。
|
||||
>
|
||||
> **核心逻辑**：首帧 → 视频推演 → 动作完成。提示词描述的是"推演起点"，而非"推演终点"。
|
||||
>
|
||||
> - ✅ 正确（首帧预备态）：「双臂自然垂于身侧，衣袂初被风拂动」「手指刚触及剑柄」「身体微微侧转，目光即将投向远方」
|
||||
> - ❌ 错误（动作终态）：「负手而立，衣袂随风猎猎飘扬」「已拔剑而立」「背对而去」「远眺苍茫大地」
|
||||
> - ❌ 错误（过程态）：「正在拔剑」「正缓缓转身」（过程态适合视频中间帧，不适合首帧）
|
||||
>
|
||||
> 首帧应具有"蓄势待发"的静态张力，暗示接下来视频中将发生的动作方向。
|
||||
|
||||
---
|
||||
|
||||
## 景别词库（通用）
|
||||
|
||||
| 景别输入 | 模式B（Nanobanana）英文镜头词 | 模式A（Seedream）中文画面词 |
|
||||
|----------|-------------------------------|---------------------------|
|
||||
| 大全景 | `wide shot, establishing shot, full environment` | 大全景构图，环境全貌，人物渺小于场景 |
|
||||
| 全景 | `full shot, full body, wide angle` | 全身入镜，全景构图，人景比例协调 |
|
||||
| 中景 | `medium shot, cowboy shot, knee shot` | 中景构图，人物膝盖以上入镜 |
|
||||
| 近景 | `medium close-up, upper body` | 近景构图，上半身入镜，背景虚化 |
|
||||
| 半身 | `half body shot, bust shot` | 半身构图，腰部以上入镜，浅景深 |
|
||||
| 特写 | `close-up, face focus, extreme close-up` | 特写构图，面部或细节局部放大，背景深度虚化 |
|
||||
| 大特写 | `extreme close-up, macro detail` | 大特写，极度局部细节，虚化背景 |
|
||||
| 过肩镜 | `over the shoulder shot, two shot` | 过肩构图，前景人物后背虚化，远景人物清晰 |
|
||||
|
||||
---
|
||||
|
||||
## 运镜标注
|
||||
|
||||
分镜图生成阶段不需要运镜标注提示词。运镜字段仅用于分镜生产管理信息，不参与提示词生成，不作为输出区块。
|
||||
|
||||
---
|
||||
|
||||
## 输出格式规范
|
||||
|
||||
每条分镜**只输出一种模式的提示词正文**（二选一），不允许同条分镜同时输出模式A与模式B。
|
||||
|
||||
**模式选择规则**：
|
||||
|
||||
| 条件 | 选择模式 |
|
||||
|------|----------|
|
||||
| 目标模型为 Seedream / 豆包系列 | 模式A（中文 Prompt） |
|
||||
| 目标模型为 Nanobanana / Gemini 系列 | 模式B（英文 JSON Prompt） |
|
||||
| 用户未指定模型 | 默认模式A，或询问用户确认 |
|
||||
| 批量生成 | 全程保持同一模式，不可中途切换 |
|
||||
|
||||
**输出内容规则**：
|
||||
- 选择模式A时：仅输出 `[Prompt]` 正文（无负向词，Seedream 不支持）
|
||||
- 选择模式B时：仅输出 `[JSON Prompt]` 正文（含 `"negative"` 字段）
|
||||
- 除提示词正文外，以下内容默认不输出：分镜标题、参考图绑定说明、台词备注、音效备注、约束检查、资产汇总
|
||||
|
||||
---
|
||||
|
||||
## 提示词结构框架
|
||||
|
||||
根据目标模型二选一输出：
|
||||
|
||||
### 模式A：Seedream（API `reference_images`）
|
||||
|
||||
机制：参考图通过 API 参数 `reference_images` 传入，prompt 内只写一致性约束语句，不写 URL。
|
||||
|
||||
Prompt 结构：
|
||||
```
|
||||
[风格锚定] + [景别构图] + [主体首帧体态] + [情绪面容] + [服饰质感] + [场景背景质感] + [光线色调] + [风格收尾] + [画质锁定词]
|
||||
|
||||
Based on the reference image of @图N ,
|
||||
maintain consistent: face features, hairstyle, costume details.
|
||||
Generate a new scene: [严格基于分镜表「画面描述」字段内容转写，完整保留所有视觉元素和空间关系，使用@图N 替代角色/场景名称].
|
||||
Keep character appearance identical to reference.
|
||||
```
|
||||
|
||||
> `[风格锚定]`、`[服饰质感]`、`[风格收尾]`、`[画质锁定词]` 的具体内容由**风格专属技法**定义。
|
||||
>
|
||||
> **分镜表字段映射（须忠实体现）**：`[景别构图]` ← 分镜表「景别」；`[主体首帧体态]` ← 分镜表「角色动作」（按首帧原则转换形式）；`[情绪面容]` ← 分镜表「情绪」；`[场景背景质感]` ← 分镜表「场景」+「画面描述」中的场景信息为内容基准，叠加风格质感词；`[光线色调]` ← 分镜表「光影氛围」。**提示词正文**的核心画面内容来源于分镜表「画面描述」字段，须完整保留其中所有视觉元素。
|
||||
|
||||
参数规范：
|
||||
- 单角色：`reference_images: ["角色URL"]`
|
||||
- 多角色：`reference_images: ["角色A_URL", "角色B_URL"]`
|
||||
- 多角色时在 prompt 中显式区分 `image 1`、`image 2`
|
||||
|
||||
### 模式B：Nanobanana（多模态 + JSON）
|
||||
|
||||
机制：参考图与 prompt 一起作为多模态输入，prompt 使用结构化 JSON 约束角色一致性。
|
||||
|
||||
Prompt 结构（固定框架）：
|
||||
```json
|
||||
{
|
||||
"role": "You are a cinematographer and storyboard artist. Maintain strict visual continuity across all shots.",
|
||||
"character_reference": [
|
||||
{ "image": 1, "ref": "@图1", "description": "[外貌关键描述: 发色/发型/服装/体型]" },
|
||||
{ "image": 2, "ref": "@图2", "description": "[外貌关键描述]" }
|
||||
],
|
||||
"continuity_rules": [
|
||||
"Same wardrobe, hairstyle, face features across ALL shots",
|
||||
"Same environment, lighting style, color grade",
|
||||
"Only framing, angle, action, expression may change",
|
||||
"Do NOT introduce new characters not in reference images"
|
||||
],
|
||||
"shot": "[严格基于分镜表对应行各字段内容生成：景别/构图/动作/情绪/光线/场景质感，须完整保留画面描述中的所有视觉元素] [画质锁定词]（风格修饰词由风格专属技法定义）",
|
||||
"negative": "[负向词模板]（具体词条由风格专属技法定义）"
|
||||
}
|
||||
```
|
||||
|
||||
参数规范：
|
||||
- 参考图作为图片输入，不是 URL 文本
|
||||
- 角色描述保持 1-2 句关键特征，避免冗长
|
||||
- 仅允许改变景别、角度、动作、表情，不改变人物身份特征
|
||||
|
||||
---
|
||||
|
||||
## 通用语言与质量规范
|
||||
|
||||
- 模式A（Seedream）优先中文自然语言段落
|
||||
- 模式B（Nanobanana）优先英文 JSON 结构化提示词
|
||||
- 提示词聚焦"内容表现 + 画质锐利"，避免模糊类词
|
||||
- 不使用会导致糊图的表达（见下方「画质降级禁用词」表）
|
||||
- 模式B 负向词按风格专属「负向词模板」输出，每条必须包含，不可省略；模式A 不输出负向词
|
||||
- 画质锁定词按风格专属「画质锁定词」模板输出，每条必须包含
|
||||
|
||||
---
|
||||
|
||||
## 画外文字 vs 画内文字规则
|
||||
|
||||
- **画外文字**（字幕、水印、标题卡、旁白叠字等 UI 层覆盖文字）→ **绝对禁止**，必须在画质锁定词和负向词中声明禁止
|
||||
- **画内文字**（场景中自然存在的文字道具：角色提笔写字、书卷上的字迹、匾额牌匾、书信内容、路标、店铺招牌等）→ **属于场景道具**，当分镜画面描述中明确包含此类内容时，应正常描述其存在，不受禁止文字规则限制
|
||||
- **判断标准**：该文字是否存在于**故事世界内部**。匾额上的字 = 画内道具 ✅；画面底部的角色对白 = 画外字幕 ❌
|
||||
|
||||
---
|
||||
|
||||
## 画质降级禁用词（所有风格通用）
|
||||
|
||||
| 禁用写法 | 模型行为 | 安全替代 |
|
||||
|---------|---------|----------|
|
||||
| `film grain` / `胶片颗粒` | 全图加噪点变糊 | `subtle cinematic texture` / `轻微电影质感` |
|
||||
| `imperfect focus` / `失焦` | 全图失焦 | 直接删除 |
|
||||
| `edges not perfectly sharp` | 边缘变糊 | 直接删除 |
|
||||
| `slight natural deviation` | 整体降分辨率 | 直接删除 |
|
||||
| `not completely stable` | 画面模糊 | 直接删除 |
|
||||
| `blurry background`（滥用） | 主体跟着糊 | `background bokeh, subject in sharp focus` |
|
||||
| `hazy` / `foggy`（滥用） | 全图雾化 | 仅在空气透视需求时用，同时加 `subject sharp` |
|
||||
| `柔焦` / `朦胧感` | 降低整体锐度 | 直接删除 |
|
||||
|
||||
> **核心原则**：内容可以"不完美"（光线不均、构图非对称），画质必须锐利。
|
||||
|
||||
---
|
||||
|
||||
## 批量处理规范
|
||||
|
||||
用户输入多行分镜表时：
|
||||
|
||||
1. **逐行顺序处理**，不跳行、不合并
|
||||
2. 每条分镜仅输出目标模式的提示词正文（Prompt 或 JSON Prompt）
|
||||
3. 若同一场景连续多镜，**场景质感词可复用**，但情绪/光线/景别/动作必须**按行独立处理**
|
||||
4. 关联资产名称相同的镜次，**一致性标注词必须一致**
|
||||
5. 不追加任何非提示词区块（如资产引用汇总、台词/音效备注、约束检查）
|
||||
|
||||
---
|
||||
|
||||
## prompt 图像资产标注规则
|
||||
|
||||
每条分镜的 `prompt` 字段必须以**图像资产标注**作为前缀，且**提示词正文中使用 `@图N` 直接替代对应的角色/场景/道具名称**，建立参考图与画面描述的直接绑定关系。标注按 `associateAssetsIds` 中资产的引用顺序，从 `@图1` 开始依次编号。
|
||||
|
||||
**格式**：`@图1 为{资产名称}{资产类型} @图2 为{资产名称}{资产类型} ... , 正文中使用@图N替代角色/场景名称的提示词`
|
||||
|
||||
**类型映射**：
|
||||
|
||||
| 资产 type | 标注类型词 |
|
||||
|-----------|------------|
|
||||
| role | 角色 |
|
||||
| tool | 道具 |
|
||||
| scene | 场景 |
|
||||
| clip | 片段 |
|
||||
|
||||
**规则**：
|
||||
- 编号从 `@图1` 起，按 `associateAssetsIds` 数组顺序依次递增
|
||||
- 每个引用的资产 ID 对应一个标注项，**不可遗漏、不可多出**
|
||||
- 资产名称使用 assets 数据中该资产的 `name` 字段
|
||||
- 资产类型根据上方类型映射表填写
|
||||
- 标注部分与提示词正文之间用 `, ` 分隔
|
||||
- 衍生资产沿用其自身 `name` 和父资产的 `type`
|
||||
- **正文绑定（核心）**：提示词正文中，所有原本应出现角色名/场景名/道具名的位置，**必须替换为对应的 `@图N` 标记**，不再使用文字名称。这样参考图与画面中的视觉主体形成直接指向关系，避免资产名称与角色名称不一致导致的歧义（如衍生资产名"幕离红斗篷"与角色名"戚映竹"无法对应的问题）
|
||||
- 同一 `@图N` 在正文中可多次出现（如角色在前景和反射面中同时可见时）
|
||||
|
||||
**示例**（假设 `associateAssetsIds="[101, 100, 300]"` 对应苏晚卿(role)、凌玄(role)、大殿(scene)）：
|
||||
|
||||
❌ 错误（正文使用文字名称，与前缀标注脱节）：
|
||||
```
|
||||
@图1 为苏晚卿角色 @图2 为凌玄角色 @图3 为大殿场景, 苏晚卿冷笑，居高临下看着跪地的凌玄，大殿柱影深沉……
|
||||
```
|
||||
|
||||
✅ 正确（正文使用 @图N 直接绑定参考图）：
|
||||
```
|
||||
@图1 为苏晚卿角色 @图2 为凌玄角色 @图3 为大殿场景, @图1 冷笑，居高临下看着跪地的@图2，@图3 柱影深沉……
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## prompt 人物位置与朝向连贯性规则
|
||||
|
||||
生成每条 prompt 时，须遵守以下跨分镜人物位置与朝向一致性约束。
|
||||
|
||||
### 一、朝向获取规则（从分镜表获取人物面部朝向）
|
||||
|
||||
分镜表的「角色动作」字段已包含 `｜朝向：` 显式标注，提示词生成时**优先直接提取**，并在 prompt 中**显式写入**对应朝向方位词（如 `facing right` / `面朝右`、`three-quarter view facing left` / `3/4侧面朝左`）。
|
||||
|
||||
**获取优先级**（高→低）：
|
||||
|
||||
| 优先级 | 线索来源 | 处理逻辑 |
|
||||
|--------|---------|----------|
|
||||
| **1** | **角色动作字段的 `｜朝向：` 标注** | 分镜表已显式标注 → **直接采用**，无需推断 |
|
||||
| 2 | **画面描述中的显式方位词** | 画面描述直接提及朝向（如"背对镜头""望向窗外""面朝观众"）→ 直接采用（仅当优先级1缺失时） |
|
||||
| 3 | **多角色空间关系（180° 视轴线）** | 对话/对峙/互动场景中，两角色面朝彼此：画面左侧角色面朝右，画面右侧角色面朝左。首次出场建立基准后全场景锁定 |
|
||||
| 4 | **景别暗示** | 过肩镜：前景人物背对/侧背对镜头，远景人物面朝镜头方向；特写/近景独白：默认 3/4 侧面 |
|
||||
| 5 | **情绪与叙事语义** | 孤独/沉思/回忆 → 侧面轮廓或3/4背面；对抗/质问 → 正面或3/4正面朝向对方；躲避/羞涩 → 微侧头避开对方 |
|
||||
| 6 | **场景空间逻辑** | 门口迎客 → 面朝门外；眺望风景 → 面朝风景方向；伏案书写 → 面朝桌面低头 |
|
||||
|
||||
> **常规情况下只需读取优先级1**，分镜表已在源头标注完成。优先级2~6仅作为分镜表标注缺失时的兜底推断。
|
||||
|
||||
**获取步骤**：
|
||||
1. 读取分镜表当前行「角色动作」字段中 `｜朝向：` 后的标注内容
|
||||
2. 若标注存在且完整 → 直接采用，跳过后续优先级
|
||||
3. 若标注缺失（如空镜行）→ 按优先级2~6逐条推断
|
||||
4. 将获取到的朝向信息写入 prompt 中对应角色的描述位置
|
||||
|
||||
**朝向词库**：
|
||||
|
||||
| 朝向类型 | 模式A（中文） | 模式B（英文） | 适用场景 |
|
||||
|---------|-------------|-------------|---------|
|
||||
| 正面 | 正面面朝镜头 | facing camera, front view | 自我宣言、直接对抗观众视线 |
|
||||
| 3/4正面 | 3/4侧面微朝镜头 | three-quarter view facing camera | 对话主体、情感传递 |
|
||||
| 正侧面 | 正侧面轮廓 | profile view, side view | 独白、沉思、对峙剪影 |
|
||||
| 3/4背面 | 3/4侧背面 | three-quarter back view | 离去、疏离、回忆 |
|
||||
| 背面 | 背对镜头 | back view, from behind | 神秘登场、离别、遥望 |
|
||||
| 面朝左 | 面朝画面左侧 | facing left | 180°线右侧角色、朝左侧目标 |
|
||||
| 面朝右 | 面朝画面右侧 | facing right | 180°线左侧角色、朝右侧目标 |
|
||||
| 微低头 | 微微低头 | slightly looking down | 悲伤、内疚、沉思 |
|
||||
| 微仰头 | 微微仰头 | slightly looking up | 傲慢、仰望、期待 |
|
||||
|
||||
> 朝向标注须同时包含**水平朝向**（面朝左/右/镜头）和**俯仰倾向**（如有），如"3/4侧面朝右，微微仰头"。
|
||||
|
||||
### 二、位置与朝向锁定规则
|
||||
|
||||
- **画面位置锁定**：同一角色在同一场景内的多条分镜中，其画面左右位置（画面左侧 / 中央 / 右侧）须保持固定，不得无叙事理由地跳侧
|
||||
- **朝向守恒**：对话/对峙场景遵循 180° 视轴线——角色A面朝右则全场景保持面朝右，角色B面朝左则全场景保持面朝左；prompt 中须通过方位词（facing left / 面朝左、on the left side of frame / 画面左侧等）显式标注
|
||||
- **前后景层次一致**：若角色A在分镜N中处于前景、角色B处于中景，则同场景后续分镜中二者前后关系不应无理由反转
|
||||
- **位置变化须有动作衔接**：角色画面位置确需变化时（如角色走动、转身），前序分镜的 prompt 中须包含对应位移/转身动作描写，不可凭空跳位
|
||||
- **朝向变化须有动作衔接**：角色朝向确需变化时（如转头、回身），当前分镜的 prompt 中须包含转向动作描写（如"微微转头朝向画面左侧"），且该转向须与分镜表「角色动作」字段一致，不可凭空改向
|
||||
- **跨场景可重置**：切换到全新场景时允许重新分配画面位置与朝向，但新场景内部仍须保持一致
|
||||
|
||||
### 三、反射面视觉关系
|
||||
|
||||
当画面中存在反射介质（镜面、水面、光滑金属、窗玻璃、相机镜头等）时，须注意以下规则：
|
||||
|
||||
- **镜像翻转**：反射面中角色的左右朝向与实体相反（实体面朝右→镜像面朝左），prompt 中须显式标注反射体与实体的朝向关系（如"@图1 面朝右，水面倒影中@图1 面朝左"）
|
||||
- **反射面不改变位置基准**：角色的画面位置以实体为准，反射面中的映像不视为角色位置变化
|
||||
- **反射面内容与实体一致**：反射面中可见的角色服饰、发型、表情等必须与同帧实体一致，不可出现偏差
|
||||
- **反射面景深与清晰度**：根据反射面距离和材质，反射图像可适当降低清晰度（如水面波纹导致的模糊），但须在 prompt 中标注（如"水面倒影微微扭曲"）
|
||||
- **识别触发**：当分镜画面描述或场景资产中包含镜面、水面、湖面、溪流、玻璃、金属反光、相机/摄像等反射性元素时，自动触发本规则
|
||||
158
data/skills/production_skills/storyboard_table_techniques.md
Normal file
158
data/skills/production_skills/storyboard_table_techniques.md
Normal file
@ -0,0 +1,158 @@
|
||||
---
|
||||
name: storyboard_table_techniques
|
||||
description: >-
|
||||
通用分镜表技法参考。
|
||||
涵盖分镜拆分原则、定场与镜头合并规则、视觉连续性铁律、字段填写指引、转场规则等分镜设计通用技法，供 Agent 激活使用。
|
||||
---
|
||||
# 分镜表通用技法
|
||||
|
||||
本文档为分镜表设计的通用技法参考，适用于所有需要构建分镜表的 Agent 场景。
|
||||
|
||||
---
|
||||
|
||||
## 分镜拆分原则
|
||||
|
||||
**新起分镜**：场景/地点切换、时间跳跃、镜头主体切换、景别明显变化、重要动作节点
|
||||
|
||||
**不需新起**：同画面内连续对话、表情微变或小动作
|
||||
|
||||
粒度：一个独立画面 = 一条分镜，约每 50~100 字剧本对应 1~2 条分镜。过渡/转场如有明确描写也单独拆分。
|
||||
|
||||
---
|
||||
|
||||
## 定场与镜头合并规则（防冗余）
|
||||
|
||||
**定场镜头**：每个新场景/段落的定场最多 1~2 个镜头完成，禁止拆成 3 个以上碎片。
|
||||
- 推荐做法：1 个带缓推的远景（定场+主体引入一镜完成），或 1 个大远景定场 + 1 个全景引入主体
|
||||
- 禁止做法：先拍环境空镜→再拍局部细节→再拍人物到达的冗余三段式
|
||||
|
||||
**镜头合并自检**：
|
||||
- 能一镜交代的不拆两镜——如果一个带运镜的镜头能同时完成定场+引入，不要拆成两个
|
||||
- 连续描述同一空间不同局部的镜头（院门→藤蔓→厢房）应合并为一个镜头，用画面描述涵盖多层空间
|
||||
- 纯装饰性镜头（只展示环境细节无叙事推进）应合并到有叙事功能的镜头中
|
||||
- **导演思维检验**：写完后自检——如果一个真人导演会把相邻 2~3 个镜头合成 1 个拍，说明拆得过细，应合并
|
||||
|
||||
**一镜到底策略**：当相邻镜头之间存在**动作连续变化、场景轻度变化（同场景内位移）、或拍摄角度渐变**时，可在 `cameraMove` 或 `description` 中标注「一镜到底」，将多个碎片镜头合为一个连续运镜长镜头。
|
||||
- **适用场景**：角色行走穿越空间、跟随动作从A点到B点、环绕角色展示环境、定场缓推到主体特写等
|
||||
- **标注方式**：在 `cameraMove` 中写明运镜路径（如"一镜到底：缓推远景→跟移至院内→落幅全景"），在 `description` 中描述起幅和落幅的画面内容
|
||||
- **时长放宽**：一镜到底镜头因信息量持续更新，可突破单镜 6s 上限，但不超过 12s
|
||||
- **风险提示**：一镜到底会提高画面生成的抽卡难度（连续性要求高），仅在叙事流畅性收益明显大于碎切时使用，不滥用
|
||||
|
||||
**黄金 6 秒规则**：无台词镜头累计超过 6s 未出现新信息（台词/动作/主体变化），观众注意力断裂。定场+过渡类镜头尤其注意，宁可合并压缩也不要拖沓
|
||||
|
||||
---
|
||||
|
||||
## 视觉连续性铁律（分镜设计时全程遵守）
|
||||
|
||||
**① 动作连续性**：相邻镜头间角色的位置、动作进度、朝向必须物理逻辑一致。上一镜手伸到半空→下一镜必须从半空状态接续，不能突然收回。
|
||||
|
||||
**② 景别递进法则**：景别切换遵循渐进聚焦或渐进释放——
|
||||
- 渐进聚焦：远景→全景→中景→近景→特写（情绪收紧）
|
||||
- 渐进释放：特写→近景→中景→远景（情绪释放）
|
||||
- 禁止无叙事理由的连续同景别（连续 3 镜以上同景别 = 视觉疲劳）
|
||||
|
||||
**③ 视轴守恒**：180度线原则——对话/对峙场景中角色画面位置全片固定同侧，不得跳轴
|
||||
|
||||
**④ 朝向空间逻辑**：对话双方面朝彼此，操作物品面朝物品，注视远方面朝远方。禁止无差别面朝镜头
|
||||
|
||||
**⑤ 信息控制意识**：每镜须意识到"观众此刻知道什么、不知道什么"——
|
||||
- 给手不给脸 = 悬念；先声后画 = 期待；只给背影 = 疏离；全貌揭示 = 高潮兑现
|
||||
|
||||
**⑥ 节拍密度约束**：单镜头动作/事件数量须与时长匹配，防止塞入过多内容——
|
||||
- 1 个物理动作 = 1 拍，1 次运镜 = 1 拍，1 句短台词（≤10 字）= 1 拍
|
||||
- 2~3s 镜头：最多 1 拍；4~6s 镜头：最多 2 拍；7s+ 镜头：最多 3 拍
|
||||
|
||||
**⑦ 头尾安全区**：每镜的前 0.5s 和后 0.5s 为安全过渡区，不放关键动作或台词起始点。前 0.5s 用于环境建立或主体静态亮相，后 0.5s 用于动作自然收住。
|
||||
|
||||
---
|
||||
|
||||
## 字段填写指引
|
||||
|
||||
**description**（画面描述）：一句话描述画面核心内容（15~50 字），包含可见的**主体 + 动作/状态 + 环境空间**，不写心理活动。需体现空间层次（前景/中景/背景至少涉及两层）。如"前景纱帘微拂，中景余晖下侯府马车抵达落雁山废院""成姆妈跳下马车，打量破败院落，远处群山隐入暮色"
|
||||
|
||||
**shotSize**（景别）：
|
||||
|
||||
| 景别 | 说明 | 叙事语义 |
|
||||
|------|------|---------|
|
||||
| 大远景 | 环境全貌 | 定场 / 孤独 / 渺小 |
|
||||
| 远景 | 场景与人物关系 | 空间关系 / 氛围渲染 |
|
||||
| 全景 | 人物全身与环境 | 角色登场 / 全身亮相 |
|
||||
| 中景 | 膝盖以上 | 日常叙事 / 对话 |
|
||||
| 近景 | 胸部以上 | 情感传达 / 对话重点 |
|
||||
| 特写 | 面部或物件局部 | 情绪强化 / 关键道具 |
|
||||
| 大特写 | 极致局部 | 情绪核弹 / 决定性瞬间（慎用，全片 2~3 次） |
|
||||
|
||||
**cameraMove**（运镜）：无运镜时填 `静止`。运镜须标注起终点方向。
|
||||
|
||||
| 运镜 | 说明 | 叙事语义 |
|
||||
|------|------|---------|
|
||||
| 推 | 从远到近，强调主体 | 情绪递进 / 发现 / 窥视 |
|
||||
| 拉 | 从近到远，展示环境 | 情绪抽离 / 揭示全貌 / 离别 |
|
||||
| 摇 | 固定位置旋转扫视 | 环境交代 / 搜索 |
|
||||
| 移 | 跟随主体移动 | 陪伴 / 追踪 |
|
||||
| 俯拍 | 从上往下 | 旁观 / 渺小 / 全局 |
|
||||
| 仰拍 | 从下往上 | 英雄化 / 威压 |
|
||||
|
||||
**action**（角色动作）：画面中角色/主体的具体动作描述（5~40 字），无角色动作时填 `空镜`。要求：
|
||||
- 写连续物理动作链 + 速度节奏（"缓缓抬起右手→指尖微颤→猛然握拳"），禁止只写静态终态
|
||||
- 标注与上一镜的衔接关系："（承接上镜：手臂半抬状态→继续上扬）"；首镜写"开篇"
|
||||
- **必须标注朝向**：在动作描述末尾用 `｜朝向：` 标注该角色的面部朝向。多角色时逐一标注（按关联资产名称顺序），格式：`｜朝向：角色A-面朝右; 角色B-面朝左`；单角色时省略角色名：`｜朝向：面朝右`。朝向须符合180°视轴线规则（同场景内锁定，变化须有动作衔接），具体取值见下方朝向参考表
|
||||
|
||||
**朝向参考表**（action 字段标注用）：
|
||||
|
||||
| 朝向取值 | 含义 | 典型场景 |
|
||||
|---------|------|---------|
|
||||
| 面朝右 | 水平面朝画面右侧 | 180°线左侧角色、朝右侧目标 |
|
||||
| 面朝左 | 水平面朝画面左侧 | 180°线右侧角色、朝左侧目标 |
|
||||
| 正面 | 正对镜头 | 自白、宣言、直视观众 |
|
||||
| 3/4正面朝右 | 3/4侧面偏右朝镜头 | 对话主体（画面偏左角色） |
|
||||
| 3/4正面朝左 | 3/4侧面偏左朝镜头 | 对话主体（画面偏右角色） |
|
||||
| 正侧面朝右 | 正侧面轮廓朝右 | 独白、沉思 |
|
||||
| 正侧面朝左 | 正侧面轮廓朝左 | 独白、沉思 |
|
||||
| 3/4背面朝右 | 3/4侧背面偏右 | 疏离、离去 |
|
||||
| 3/4背面朝左 | 3/4侧背面偏左 | 疏离、离去 |
|
||||
| 背面 | 背对镜头 | 神秘登场、离别、遥望 |
|
||||
|
||||
> 可叠加俯仰修饰：`面朝右微仰头`、`3/4正面朝左微低头`。
|
||||
|
||||
**emotion**（情绪）：画面传达的情绪基调（2~10 字），用具象可感描述。如"冷傲轻蔑""痛苦绝望""紧张压迫"。禁止"开心""难过"等空泛词。
|
||||
|
||||
**lighting**（光影氛围）：画面光影与氛围描述（5~40 字），须包含**光源方向 + 色调倾向 + 明暗关系**。如"右侧冷白光斜射，面部明暗对半，背景深沉""底部暖黄光上打，眼窝沉入暗影"。禁止只写"柔光""暗调"。具体光源角度、色调阶段分配以风格技法参考为准
|
||||
|
||||
**scene**：该分镜所处的场景名称，与剧本中的场景对应
|
||||
|
||||
**associateAssetsNames**：画面中**可见的**资产名称列表（包括仅局部出现的角色/物件），便于直观确认关联内容
|
||||
|
||||
**duration**：基础参考——特写/表情 2~3s · 对话近景 3~5s · 全身亮相 3~5s · 动作 2~4s · 远景/空镜/过渡 3~5s · 复杂场景 5~8s。**单镜不超过 8s**，超过须拆分。
|
||||
|
||||
**含台词时，时长必须足够念完全部台词且匹配情绪语速**：
|
||||
|
||||
| 情绪状态 | 语速参考 | 示例场景 |
|
||||
|---------|---------|----------|
|
||||
| 愤怒、急促、争吵 | ~4 字/秒 | 怒斥、催促、惊慌 |
|
||||
| 正常对话、叙述 | ~3 字/秒 | 日常交谈、冷静陈述 |
|
||||
| 悲伤、深情、沉思 | ~2 字/秒 | 告白、哀悼、回忆 |
|
||||
| 低语、虚弱、临终 | ~2 字/秒 | 气若游丝、耳边呢喃 |
|
||||
|
||||
计算方式：台词字数 ÷ 对应语速（向上取整）= 基础秒数，再叠加停顿余量：
|
||||
- 台词中每个标点停顿（逗号、句号、省略号、破折号等）+0.3~0.5s
|
||||
- 情绪转折/语气变化处 +0.5s
|
||||
- 最终 `duration` = 基础秒数 + 停顿累计 + 1s 安全余量（向上取整）
|
||||
|
||||
**lines**：角色台词原文，**必须一字不改从剧本中照搬**。多角色按 `角色名：台词` 格式排列。无台词填 `无台词`。一句台词对应一个镜头，避免单镜头内塞多角色多轮对白。
|
||||
|
||||
**sound**：环境音/音效描述，按「环境音层 + 动作音层」分层。如"远处风声呼啸 + 剑鸣声"。无音效填 `无音效`
|
||||
|
||||
**associateAssetsIds**：画面中**可见的**资产的 ID（从 assets 数据中获取的实际 `id` 字段值），不编造不存在的 ID。
|
||||
- **角色出现即引用**：画面中出现的所有角色，无论是主体还是仅局部可见（如背影、手部、虚化剪影等），只要在画面内可被辨识，都必须引用其对应的资产 ID
|
||||
- **场景资产必选**：每条分镜必须引用其所处场景对应的场景资产 ID（type 为 scene 的资产）；若该场景存在匹配当前画面状态的衍生场景资产，则选用衍生场景资产 ID，否则选用主场景资产 ID。缺少场景资产 ID 视为字段不完整
|
||||
- 父子资产选择规则：按剧情画面所需状态选择资产 ID——若该镜头需要某主资产的衍生状态，**只选衍生资产 ID**；仅当不存在匹配的衍生状态时，才选择主资产 ID；同一父资产在同一分镜中禁止主/衍生同时出现
|
||||
|
||||
---
|
||||
|
||||
## 转场规则
|
||||
|
||||
- **同场戏内**：镜头间默认硬切
|
||||
- **跨场景**：插入 1 个空镜分镜（2~3s）做情绪缓冲，空镜内容与前后场景氛围相关
|
||||
- **跨段落**：可在 description 中标注"叠化过渡"或"淡入淡出"
|
||||
- 禁用花式转场（划屏、旋转、百叶窗等）
|
||||
@ -36,6 +36,11 @@
|
||||
|
||||
### 初始化对话流程
|
||||
|
||||
0. 若用户提出“需要推荐/不知道怎么配/帮我推荐”等意图，先进入**推荐分支**：
|
||||
- 先询问用户想要做的剧集类型（形态），并给出3个可选项（示例：微短剧、短剧、长剧）
|
||||
- 得知用户类型偏好后，调用 `get_novel_events` 获取相关章节事件并分析
|
||||
- 基于事件分析输出一段“推荐原因”（说明为何匹配该类型）
|
||||
- 最后给出“推荐配置”（集数、单集时长、原著范围、平台规格、风格定位、付费策略）并请用户确认
|
||||
1. 用户发起改编请求时，**必须主动询问用户**项目参数（不主动调用 `deepRetrieve`，除非用户要求回想之前的配置）
|
||||
2. 如果没有已确认的参数，**必须主动询问用户**：
|
||||
- "请确认以下信息：计划拆分为几集？每集大约几分钟？覆盖原著哪些章节？"
|
||||
|
||||
@ -17,7 +17,7 @@
|
||||
- 主要删除决策：被删/压缩内容、原因、对主线影响
|
||||
- 世界观呈现策略：关键元素出场节奏、解释度策略、角色态度锚点
|
||||
3. **阐述思路**（200-300字）：核心改编原则方向、删减大方向、世界观呈现思路
|
||||
4. 严格按照XML格式写出改编策略，格式为<adaptationStrategy>改编策略内容</adaptationStrategy>。
|
||||
4. 严格按照XML格式写出改编策略，格式为<adaptationStrategy>改编策略内容</adaptationStrategy>。XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出。
|
||||
5. 返回简短确认，如："改编策略已保存，请在右侧工作台查看。"
|
||||
|
||||
## 约束
|
||||
|
||||
@ -15,7 +15,11 @@
|
||||
1. 调用 `get_planData` 获取骨架与改编策略；若存在上一集剧本id，调用 `get_script_content(ids)` 获取最后一集剧本内容，用于衔接剧情与角色状态,调用 `get_novel_text` 获取对应章节原文，调用 `get_novel_events(ids)` 获取事件表
|
||||
2. 从骨架中**仅提取当前任务集**的信息：覆盖章节、戏剧功能、场景核心、删减决策、集末钩子。**忽略其他已完成或未分配的集**
|
||||
3. **阐述思路**（200-300字）：场景组织方式、重点情绪与冲突、节奏把控思路
|
||||
4. 严格按照XML格式写出剧本内容，格式为<scriptItem name="剧本名称">剧本内容</scriptItem>。
|
||||
4. 将完整剧本包裹在 **`<scriptItem>`** 标签中输出，具体要求：
|
||||
- 你必须输出一对 XML 标签 `<scriptItem name="剧本名称">` 和 `</scriptItem>`，将全部剧本内容包裹在其中
|
||||
- `name` 属性的值 = 文件头首行标题（即 `{作品名} EP{NN}：{集标题}`），不含 `#` 号
|
||||
- 标签内部是完整剧本正文（文件头 → 剧情梗概 → 场景段落），中间不得插入任何非剧本的解释或元信息
|
||||
- `<scriptItem>` 开标签之前、`</scriptItem>` 闭标签之后，不得有任何剧本正文内容
|
||||
5. 返回简短确认，如："第X集剧本已写入，请在工作台查看。"
|
||||
|
||||
## 约束
|
||||
@ -28,7 +32,7 @@
|
||||
|
||||
## 注意事项
|
||||
|
||||
- 严格按照XML格式写出剧本内容，格式为<scriptItem name="剧本名称">剧本内容</scriptItem>`。
|
||||
- 剧本正文**必须**包裹在 `<scriptItem name="剧本名称">...</scriptItem>` 标签对中输出，缺少开标签或闭标签均视为格式错误；`name` 属性值必须与文件头首行标题一致（不含 `#`）；XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出
|
||||
- get_script_content(ids)只允许获取最后一集剧本内容
|
||||
- **每次只编写当前任务集的剧本，不得将之前已完成的集重新输出或写入**
|
||||
- 只执行剧本编写，不越权执行其他阶段
|
||||
@ -46,8 +50,8 @@
|
||||
|
||||
### 一、文件头
|
||||
|
||||
```markdown
|
||||
<scriptItem name="剧本名称">
|
||||
```xml
|
||||
<scriptItem name="{作品名} EP{NN}：{集标题}">
|
||||
# {作品名} EP{NN}：{集标题}
|
||||
# 目标时长：{单集时长}分钟 ≈ {台词字数}字台词
|
||||
# 平台：{平台规格} | 风格：{风格标签} | 节拍：{节拍概要}
|
||||
@ -55,6 +59,8 @@
|
||||
---
|
||||
```
|
||||
|
||||
> **关键**：`<scriptItem name="...">` 的 `name` 值必须与紧随其后的首行 `#` 标题文字完全一致（不含 `#` 号和前后空格）。
|
||||
|
||||
### 二、剧情梗概
|
||||
|
||||
```markdown
|
||||
@ -203,4 +209,4 @@ OS（{人物名}，{情绪}）：
|
||||
- **自查清单**：不输出自查清单本身
|
||||
- **任何元信息**：不输出字数统计、场景数量统计、创作说明等非剧本内容
|
||||
|
||||
剧本输出只包含：文件头 → 剧情梗概→ 剧本正文（△描述 + 台词 + OS/V.S.）
|
||||
剧本输出的完整结构为：`<scriptItem name="...">` → 文件头 → 剧情梗概 → 剧本正文（△描述 + 台词 + OS/V.S.） → `</scriptItem>`
|
||||
@ -20,7 +20,7 @@
|
||||
- 全局删减决策表
|
||||
- 付费卡点设计
|
||||
3. **阐述思路**（200-300字）：核心吸引力判断、三幕划分思路、分集策略方向
|
||||
4. 严格按照XML格式写出故事骨架，格式为<storySkeleton>故事骨架内容</storySkeleton>。
|
||||
4. 严格按照XML格式写出故事骨架，格式为<storySkeleton>故事骨架内容</storySkeleton>。XML 标签及其全部内容必须一次性完整输出，禁止拆分为多次 XML 输出。
|
||||
5. 返回简短确认，如："故事骨架已保存，请在右侧工作台查看。"
|
||||
|
||||
## 约束
|
||||
|
||||
@ -1 +0,0 @@
|
||||
{"version":"1.0.11"}
|
||||
@ -1 +1 @@
|
||||
1.0.11
|
||||
1.1.0
|
||||
File diff suppressed because one or more lines are too long
@ -1,6 +1,6 @@
|
||||
{
|
||||
"name": "toonflow",
|
||||
"version": "1.0.11",
|
||||
"version": "1.1.0",
|
||||
"description": "Toonflow 是一款 AI 短剧漫剧工具，能够利用 AI 技术将小说自动转化为剧本，并结合 AI 生成的图片和视频，实现高效的短剧创作。",
|
||||
"author": "HBAI-Ltd <ltlctools@outlook.com>",
|
||||
"license": "Apache-2.0",
|
||||
|
||||
@ -7,64 +7,24 @@ import Module from "module";
|
||||
app.commandLine.appendSwitch("disable-gpu-shader-disk-cache");
|
||||
app.commandLine.appendSwitch("disable-features", "CalculateNativeWinOcclusion");
|
||||
|
||||
declare const __APP_VERSION__: string | undefined;
|
||||
const TARGET_ENTRIES = new Set(["assets", "models", "serve", "skills", "web"]);
|
||||
|
||||
/**
|
||||
* 将 extraResources 中的 data 目录复制到用户数据目录（跳过已存在的文件，保留用户修改）
|
||||
*/
|
||||
|
||||
function getVersionFromUpdateJson(filePath: string): string | null {
|
||||
try {
|
||||
if (fs.existsSync(filePath)) {
|
||||
const data = JSON.parse(fs.readFileSync(filePath, "utf8"));
|
||||
return data.version ?? null;
|
||||
}
|
||||
} catch {}
|
||||
return null;
|
||||
}
|
||||
|
||||
function copyDirForce(src: string, dest: string): void {
|
||||
function copyDir(src: string, dest: string): void {
|
||||
if (!fs.existsSync(src)) return;
|
||||
if (fs.existsSync(dest)) {
|
||||
fs.rmSync(dest, { recursive: true, force: true });
|
||||
fs.mkdirSync(dest, { recursive: true });
|
||||
for (const entry of fs.readdirSync(src, { withFileTypes: true })) {
|
||||
const s = path.join(src, entry.name);
|
||||
const d = path.join(dest, entry.name);
|
||||
entry.isDirectory() ? copyDir(s, d) : fs.existsSync(d) || fs.copyFileSync(s, d);
|
||||
}
|
||||
copyDirRecursive(src, dest);
|
||||
}
|
||||
|
||||
function initializeData(): void {
|
||||
const srcDir = path.join(process.resourcesPath, "data");
|
||||
const destDir = path.join(app.getPath("userData"), "data");
|
||||
const updateJsonFile = path.join(destDir, "update.json");
|
||||
const currentVersion = typeof __APP_VERSION__ !== "undefined" ? __APP_VERSION__ : "0.0.0";
|
||||
const userVersion = getVersionFromUpdateJson(updateJsonFile);
|
||||
|
||||
// 首次安装或无update.json，直接全量拷贝
|
||||
if (!fs.existsSync(destDir) || !userVersion) {
|
||||
copyDirRecursive(srcDir, destDir);
|
||||
return;
|
||||
}
|
||||
|
||||
// 版本号不同则覆盖 serve 和 web 目录
|
||||
if (userVersion !== currentVersion) {
|
||||
copyDirForce(path.join(srcDir, "serve"), path.join(destDir, "serve"));
|
||||
copyDirForce(path.join(srcDir, "web"), path.join(destDir, "web"));
|
||||
}
|
||||
}
|
||||
|
||||
function copyDirRecursive(src: string, dest: string): void {
|
||||
if (!fs.existsSync(src)) return;
|
||||
if (!fs.existsSync(dest)) fs.mkdirSync(dest, { recursive: true });
|
||||
for (const entry of fs.readdirSync(src, { withFileTypes: true })) {
|
||||
// 跳过 oss 文件夹和 db2.sqlite 文件
|
||||
if (entry.isDirectory() && entry.name === "logs") continue;
|
||||
if (entry.isDirectory() && entry.name === "oss") continue;
|
||||
if (!entry.isDirectory() && entry.name === "db2.sqlite") continue;
|
||||
const srcPath = path.join(src, entry.name);
|
||||
const destPath = path.join(dest, entry.name);
|
||||
if (entry.isDirectory()) {
|
||||
copyDirRecursive(srcPath, destPath);
|
||||
} else if (!fs.existsSync(destPath)) {
|
||||
fs.copyFileSync(srcPath, destPath);
|
||||
for (const dir of TARGET_ENTRIES) {
|
||||
if (!fs.existsSync(path.join(destDir, dir))) {
|
||||
copyDir(path.join(srcDir, dir), path.join(destDir, dir));
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
@ -3,10 +3,11 @@ import { tool } from "ai";
|
||||
import { z } from "zod";
|
||||
import u from "@/utils";
|
||||
import Memory from "@/utils/agent/memory";
|
||||
import { useSkill } from "@/utils/agent/skillsTools";
|
||||
import { createSkillTools, parseFrontmatter, scanSkills, useSkill } from "@/utils/agent/skillsTools";
|
||||
import useTools from "@/agents/productionAgent/tools";
|
||||
import ResTool from "@/socket/resTool";
|
||||
import * as fs from "fs";
|
||||
import path from "path";
|
||||
|
||||
export interface AgentContext {
|
||||
socket: Socket;
|
||||
@ -34,121 +35,200 @@ function buildMemPrompt(mem: Awaited<ReturnType<Memory["get"]>>): string {
|
||||
return `## Memory\n以下是你对用户的记忆，可作为参考但不要主动提及：\n${memoryContext}`;
|
||||
}
|
||||
|
||||
const subAgentList = ["executionAI", "supervisionAI"] as const;
|
||||
|
||||
export async function decisionAI(ctx: AgentContext) {
|
||||
const { isolationKey, text, abortSignal } = ctx;
|
||||
const memory = new Memory("productionAgent", isolationKey);
|
||||
await memory.add("user", text);
|
||||
|
||||
const { skillPaths } = await useSkill({ mainSkill: "production_agent_decision" });
|
||||
const prompt = await fs.promises.readFile(skillPaths.mainSkill, "utf-8");
|
||||
const skill = path.join(u.getPath("skills"), "production_agent_decision.md");
|
||||
const prompt = await fs.promises.readFile(skill, "utf-8");
|
||||
|
||||
const projectInfo = await u.db("o_project").where("id", ctx.resTool.data.projectId).first();
|
||||
if (!projectInfo) throw new Error(`项目不存在，ID: ${ctx.resTool.data.projectId}`);
|
||||
const [_, imageModelName] = projectInfo.imageModel!.split(":");
|
||||
const [id, videoModelName] = projectInfo.videoModel!.split(":");
|
||||
const data = await u.db("o_vendorConfig").where("id", id).select("models").first();
|
||||
const models = JSON.parse(data!.models!);
|
||||
const findData = models.find((i: any) => i.modelName == videoModelName);
|
||||
const isRef = findData.mode.every((i: any) => Array.isArray(i));
|
||||
const modelInfo = `项目使用的模型如下：\n图像模型：${imageModelName}\n视频模型：${videoModelName}\n多参：${isRef ? "是" : "否"}`;
|
||||
|
||||
const mem = buildMemPrompt(await memory.get(text));
|
||||
|
||||
const { textStream } = await u.Ai.Text("productionAgent").stream({
|
||||
messages: [
|
||||
{ role: "system", content: prompt },
|
||||
{ role: "system", content: mem },
|
||||
{ role: "assistant", content: mem + "\n" + modelInfo },
|
||||
{ role: "user", content: text },
|
||||
],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...memory.getTools(),
|
||||
run_sub_agent: runSubAgent(ctx),
|
||||
...useTools({ resTool: ctx.resTool, msg: ctx.msg }),
|
||||
...createSubAgent(ctx),
|
||||
},
|
||||
onFinish: async (completion) => {
|
||||
await memory.add("assistant:decision", completion.text);
|
||||
await memory.add("assistant:decision", removeAllXmlTags(completion.text));
|
||||
},
|
||||
});
|
||||
|
||||
return textStream;
|
||||
}
|
||||
|
||||
//====================== 执行层 ======================
|
||||
|
||||
export async function executionAI(ctx: AgentContext) {
|
||||
const { text, abortSignal } = ctx;
|
||||
|
||||
const skill = await useSkill({
|
||||
mainSkill: "production_agent_execution",
|
||||
workspace: ["production_agent_skills/execution"],
|
||||
attachedSkills: ["production_agent_skills/execution/driector_art_skills/chinese_sweet_romance/driector_skills"], //todo：后续可以改为动态加载
|
||||
});
|
||||
|
||||
const subMsg = ctx.resTool.newMessage("assistant", "执行导演");
|
||||
|
||||
const { textStream } = await u.Ai.Text("productionAgent").stream({
|
||||
system: skill.prompt,
|
||||
messages: [{ role: "user", content: text }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool: ctx.resTool, msg: subMsg }),
|
||||
},
|
||||
});
|
||||
|
||||
return { textStream, subMsg };
|
||||
}
|
||||
|
||||
export async function supervisionAI(ctx: AgentContext) {
|
||||
const { text, abortSignal } = ctx;
|
||||
|
||||
const skill = await useSkill({ mainSkill: "production_agent_supervision", workspace: ["production_agent_skills/supervision"] });
|
||||
const subMsg = ctx.resTool.newMessage("assistant", "监制");
|
||||
|
||||
const { textStream } = await u.Ai.Text("productionAgent").stream({
|
||||
system: skill.prompt,
|
||||
messages: [{ role: "user", content: text }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({
|
||||
resTool: ctx.resTool,
|
||||
msg: subMsg,
|
||||
}),
|
||||
},
|
||||
});
|
||||
|
||||
return { textStream, subMsg };
|
||||
}
|
||||
|
||||
//工具函数
|
||||
function runSubAgent(parentCtx: AgentContext) {
|
||||
function createSubAgent(parentCtx: AgentContext) {
|
||||
const { resTool, abortSignal } = parentCtx;
|
||||
const memory = new Memory("productionAgent", parentCtx.isolationKey);
|
||||
return tool({
|
||||
description: "启动子Agent执行独立任务。可用子Agent:executionAI, decisionAI, supervisionAI",
|
||||
inputSchema: z.object({
|
||||
agent: z.enum(["executionAI", "supervisionAI"]).describe("子Agent名称"),
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ agent, prompt }) => {
|
||||
const fn = [executionAI, supervisionAI][subAgentList.indexOf(agent)];
|
||||
async function runAgent({
|
||||
prompt,
|
||||
system,
|
||||
name,
|
||||
memoryKey,
|
||||
tools: extraTools,
|
||||
messages,
|
||||
}: {
|
||||
prompt: string;
|
||||
system: string;
|
||||
name: string;
|
||||
memoryKey: string;
|
||||
tools?: Record<string, any>;
|
||||
messages?: { role: "user" | "assistant" | "system"; content: string }[];
|
||||
}) {
|
||||
parentCtx.msg.complete();
|
||||
const subMsg = resTool.newMessage("assistant", name);
|
||||
const text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
// 子Agent用新消息回复
|
||||
const { textStream: subTextStream, subMsg } = await fn({ ...parentCtx, text: prompt });
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of subTextStream) {
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system,
|
||||
messages: messages ?? [{ role: "user", content: prompt }],
|
||||
abortSignal,
|
||||
tools: { ...extraTools, ...useTools({ resTool, msg: subMsg }) },
|
||||
});
|
||||
|
||||
try {
|
||||
for await (const chunk of textStream) {
|
||||
await new Promise<void>((resolve) => setTimeout(() => resolve(), 1));
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:${agent === "executionAI" ? "execution" : "supervision"}`, fullResponse, {
|
||||
name: agent === "executionAI" ? "执行导演" : "监制",
|
||||
createTime: new Date(subMsg.datetime).getTime(),
|
||||
});
|
||||
}
|
||||
} catch (err: any) {
|
||||
text.complete();
|
||||
subMsg.stop();
|
||||
throw err;
|
||||
}
|
||||
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "监制");
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(memoryKey, removeAllXmlTags(fullResponse), {
|
||||
name,
|
||||
createTime: new Date(subMsg.datetime).getTime(),
|
||||
});
|
||||
}
|
||||
|
||||
return fullResponse;
|
||||
parentCtx.msg = resTool.newMessage("assistant", "视频策划");
|
||||
return fullResponse;
|
||||
}
|
||||
|
||||
const promptInput = z.object({
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
});
|
||||
|
||||
const run_sub_agent_execution = tool({
|
||||
description: "执行层子Agent，负责衍生资产、",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_agent_execution.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
const addPrompt =
|
||||
"\n" +
|
||||
[
|
||||
"你必须使用如下XML格式写入工作区：\n```",
|
||||
"拍摄计划：<scriptPlan>内容</scriptPlan>",
|
||||
"分镜表：<storyboardTable>内容</storyboardTable>",
|
||||
"分镜面板：<storyboardItem videoDesc='视频描述' prompt=提示词内容 track='分组' duration='视频推荐时间' associateAssetsIds='[该分镜所需的资产ID列表]'></storyboardItem>",
|
||||
"```",
|
||||
].join("\n");
|
||||
|
||||
const projectInfo = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
if (!projectInfo) throw new Error(`项目不存在，ID: ${resTool.data.projectId}`);
|
||||
const artSkills = await createArtSkills(projectInfo?.artStyle!, projectInfo?.directorManual!);
|
||||
|
||||
const [_, imageModelName] = projectInfo.imageModel!.split(":");
|
||||
const [id, videoModelName] = projectInfo.videoModel!.split(":");
|
||||
const data = await u.db("o_vendorConfig").where("id", id).select("models").first();
|
||||
const models = JSON.parse(data!.models!);
|
||||
const findData = models.find((i: any) => i.modelName == videoModelName);
|
||||
const isRef = findData.mode.every((i: any) => Array.isArray(i));
|
||||
const modelInfo = `项目使用的模型如下：\n图像模型：${imageModelName}\n视频模型：${videoModelName}\n多参：${isRef ? "是" : "否"}`;
|
||||
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt + addPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt + addPrompt },
|
||||
],
|
||||
tools: { ...artSkills.tools },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
const run_sub_agent_supervision = tool({
|
||||
description: "监制层子Agent，负责审核执行结果",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_agent_supervision.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt,
|
||||
name: "监制",
|
||||
memoryKey: "assistant:supervision",
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
return { run_sub_agent_execution, run_sub_agent_supervision };
|
||||
}
|
||||
|
||||
async function createArtSkills(artName: string, storyName: string) {
|
||||
const artWorkerPath = u.getPath(["skills", "art_skills", artName, "driector_skills"]);
|
||||
const storyWorkerPath = u.getPath(["skills", "story_skills", storyName, "driector_skills"]);
|
||||
const skillList = [...(await scanSkills(artWorkerPath + "/*.md")), ...(await scanSkills(storyWorkerPath + "/*.md"))];
|
||||
const mainSkills: { path: string; name: string; description: string }[] = [];
|
||||
for (const skillPath of skillList) {
|
||||
if (!fs.existsSync(skillPath)) throw new Error(`主技能文件不存在: ${skillPath}`);
|
||||
const content = await fs.promises.readFile(skillPath, "utf-8");
|
||||
const parsed = parseFrontmatter(content);
|
||||
mainSkills.push({ path: skillPath, ...parsed });
|
||||
}
|
||||
const res = {
|
||||
prompt: `## Skills
|
||||
以下技能提供了专业任务的专用指令。
|
||||
当任务与某个技能的描述匹配时，调用 activate_skill 工具并传入技能名称来加载完整指令。
|
||||
加载后遵循技能指令执行任务，需要时调用 read_skill_file 读取资源文件内容。
|
||||
${buildSkillPrompt(mainSkills)}`,
|
||||
tools: createSkillTools(mainSkills, { mainSkill: mainSkills, secondarySkills: [], tertiarySkills: [] }),
|
||||
};
|
||||
return res;
|
||||
}
|
||||
|
||||
function removeAllXmlTags(text: string): string {
|
||||
text = text.replace(/<([a-zA-Z][\w-]*)(\s+[^>]*)?>([\s\S]*?)<\/\1>/g, "");
|
||||
text = text.replace(/<([a-zA-Z][\w-]*)(\s+[^>]*)?\/>/g, "");
|
||||
text = text.replace(/<\/?[a-zA-Z][\w-]*(\s+[^>]*)?>/g, "");
|
||||
return text.trim();
|
||||
}
|
||||
|
||||
export function buildSkillPrompt(skills: { name: string; description: string }[]): string {
|
||||
const skillEntries = skills
|
||||
.map((s) => ` <skill>\n <name>${s.name}</name>\n <description>${s.description}</description>\n </skill>`)
|
||||
.join("\n");
|
||||
return `
|
||||
<available_skills>
|
||||
${skillEntries}
|
||||
</available_skills>`;
|
||||
}
|
||||
|
||||
@ -65,7 +65,7 @@ export async function decisionAI(ctx: AgentContext) {
|
||||
tools: {
|
||||
...memory.getTools(),
|
||||
...useTools({ resTool: ctx.resTool, msg: ctx.msg }),
|
||||
...createSubAgent(ctx),
|
||||
...(await createSubAgent(ctx)),
|
||||
},
|
||||
onFinish: async (completion) => {
|
||||
await memory.add("assistant:decision", removeAllXmlTags(completion.text));
|
||||
@ -75,7 +75,7 @@ export async function decisionAI(ctx: AgentContext) {
|
||||
return textStream;
|
||||
}
|
||||
|
||||
function createSubAgent(parentCtx: AgentContext) {
|
||||
async function createSubAgent(parentCtx: AgentContext) {
|
||||
const { resTool, abortSignal } = parentCtx;
|
||||
const memory = new Memory("productionAgent", parentCtx.isolationKey);
|
||||
async function runAgent({
|
||||
@ -98,7 +98,7 @@ function createSubAgent(parentCtx: AgentContext) {
|
||||
const text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
const { textStream } = await u.Ai.Text("productionAgent").stream({
|
||||
system,
|
||||
messages: messages ?? [{ role: "user", content: prompt }],
|
||||
abortSignal,
|
||||
@ -134,33 +134,99 @@ function createSubAgent(parentCtx: AgentContext) {
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
});
|
||||
|
||||
const run_sub_agent_execution = tool({
|
||||
description: "执行层子Agent，负责衍生资产、",
|
||||
const projectInfo = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
if (!projectInfo) throw new Error(`项目不存在，ID: ${resTool.data.projectId}`);
|
||||
const artSkills = await createArtSkills(projectInfo?.artStyle!, projectInfo?.directorManual!);
|
||||
|
||||
const [_, imageModelName] = projectInfo.imageModel!.split(":");
|
||||
const [id, videoModelName] = projectInfo.videoModel!.split(":");
|
||||
const data = await u.db("o_vendorConfig").where("id", id).select("models").first();
|
||||
const models = JSON.parse(data!.models!);
|
||||
const findData = models.find((i: any) => i.modelName == videoModelName);
|
||||
const isRef = findData.mode.every((i: any) => Array.isArray(i));
|
||||
const modelInfo = `项目使用的模型如下：\n图像模型：${imageModelName}\n视频模型：${videoModelName}\n多参：${isRef ? "是" : "否"}`;
|
||||
|
||||
// const run_sub_agent_execution = tool({
|
||||
// description: "执行层子Agent，负责衍生资产、",
|
||||
// inputSchema: promptInput,
|
||||
// execute: async ({ prompt }) => {
|
||||
// const skill = path.join(u.getPath("skills"), "production_agent_execution.md");
|
||||
// const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
// const addPrompt =
|
||||
// "\n" +
|
||||
// [
|
||||
// "你必须使用如下XML格式写入工作区：\n```",
|
||||
// "拍摄计划：<scriptPlan>内容</scriptPlan>",
|
||||
// "分镜表：<storyboardTable>内容</storyboardTable>",
|
||||
// "分镜面板：<storyboardItem videoDesc='视频描述' prompt=提示词内容 track='分组' duration='视频推荐时间' associateAssetsIds='[该分镜所需的资产ID列表]'></storyboardItem>",
|
||||
// "```",
|
||||
// ].join("\n");
|
||||
|
||||
// return runAgent({
|
||||
// prompt,
|
||||
// system: systemPrompt + addPrompt,
|
||||
// name: "执行导演",
|
||||
// memoryKey: "assistant:execution",
|
||||
// messages: [
|
||||
// { role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
// { role: "user", content: prompt + addPrompt },
|
||||
// ],
|
||||
// tools: { ...artSkills.tools },
|
||||
// });
|
||||
// },
|
||||
// });
|
||||
|
||||
//衍生资产分析与信息写入
|
||||
const run_sub_agent_derive_assets = tool({
|
||||
description: "运行执行subAgent来完成衍生资产分析与信息写入相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_agent_execution.md");
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_derive_assets.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
const addPrompt =
|
||||
"\n" +
|
||||
[
|
||||
"你必须使用如下XML格式写入工作区：\n```",
|
||||
"拍摄计划：<scriptPlan>内容</scriptPlan>",
|
||||
"分镜表：<storyboardTable>内容</storyboardTable>",
|
||||
"分镜面板：<storyboardItem videoDesc='视频描述' prompt=提示词内容 track='分组' duration='视频推荐时间' associateAssetsIds='[该分镜所需的资产ID列表]'></storyboardItem>",
|
||||
"```",
|
||||
].join("\n");
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt },
|
||||
],
|
||||
tools: { activate_skill: artSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
const projectInfo = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
if (!projectInfo) throw new Error(`项目不存在，ID: ${resTool.data.projectId}`);
|
||||
const artSkills = await createArtSkills(projectInfo?.artStyle!, projectInfo?.directorManual!);
|
||||
//衍生资产图片生成
|
||||
const run_sub_agent_generate_assets = tool({
|
||||
description: "运行执行subAgent来完成衍生资产图片生成相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_generate_assets.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt },
|
||||
],
|
||||
tools: { activate_skill: artSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
const [_, imageModelName] = projectInfo.imageModel!.split(":");
|
||||
const [id, videoModelName] = projectInfo.videoModel!.split(":");
|
||||
const data = await u.db("o_vendorConfig").where("id", id).select("models").first();
|
||||
const models = JSON.parse(data!.models!);
|
||||
const findData = models.find((i: any) => i.modelName == videoModelName);
|
||||
const isRef = findData.mode.every((i: any) => Array.isArray(i));
|
||||
const modelInfo = `项目使用的模型如下：\n图像模型：${imageModelName}\n视频模型：${videoModelName}\n多参：${isRef ? "是" : "否"}`;
|
||||
//拍摄计划
|
||||
const run_sub_agent_director_plan = tool({
|
||||
description: "运行执行subAgent来完成导演规划相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_director_plan.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
|
||||
const addPrompt = "\n你必须使用如下XML格式写入工作区：\n```\n<scriptPlan>内容</scriptPlan>\n```";
|
||||
|
||||
return runAgent({
|
||||
prompt,
|
||||
@ -171,13 +237,95 @@ function createSubAgent(parentCtx: AgentContext) {
|
||||
{ role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt + addPrompt },
|
||||
],
|
||||
tools: { ...artSkills.tools },
|
||||
tools: { activate_skill: artSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
//分镜图生成
|
||||
const run_sub_agent_storyboard_gen = tool({
|
||||
description: "运行执行subAgent来完成分镜图生成相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_storyboard_gen.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: artSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt },
|
||||
],
|
||||
tools: { activate_skill: artSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
// const mainSkills: { path: string; name: string; description: string }[] = [];
|
||||
// for (const skill of mainSkill) {
|
||||
// const skillPath = path.join(rootDir, skill + ".md");
|
||||
// if (!fs.existsSync(skillPath)) throw new Error(`主技能文件不存在: ${skillPath}`);
|
||||
// if (!isPathInside(skillPath, normalizedRootDir)) throw new Error(`技能名称无效：检测到路径穿越。${skillPath}`);
|
||||
// const content = await fs.promises.readFile(skillPath, "utf-8");
|
||||
// const parsed = parseFrontmatter(content);
|
||||
// mainSkills.push({ path: skillPath, ...parsed });
|
||||
// }
|
||||
|
||||
const productionSkills = await useProductionSkills(projectInfo?.artStyle!, projectInfo?.directorManual!);
|
||||
|
||||
//分镜面板写入
|
||||
const run_sub_agent_storyboard_panel = tool({
|
||||
description: "运行执行subAgent来完成分镜面板写入相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_storyboard_panel.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
|
||||
const addPrompt =
|
||||
"\n你必须使用如下XML格式写入工作区：\n```\n<storyboardItem videoDesc='视频描述' prompt=提示词内容 track='分组' duration='视频推荐时间' associateAssetsIds='[该分镜所需的资产ID列表]'></storyboardItem>\n```";
|
||||
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt + addPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: productionSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt + addPrompt },
|
||||
],
|
||||
tools: { activate_skill: productionSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
//分镜表写入
|
||||
const run_sub_agent_storyboard_table = tool({
|
||||
description: "运行执行subAgent来完成分镜表构建相关任务",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_execution_storyboard_table.md");
|
||||
const systemPrompt = await fs.promises.readFile(skill, "utf-8");
|
||||
|
||||
const addPrompt = "\n你必须使用如下XML格式写入工作区：\n```\n<storyboardTable>内容</storyboardTable>\n```";
|
||||
|
||||
return runAgent({
|
||||
prompt,
|
||||
system: systemPrompt + addPrompt,
|
||||
name: "执行导演",
|
||||
memoryKey: "assistant:execution",
|
||||
messages: [
|
||||
{ role: "assistant", content: productionSkills.prompt + `\n${modelInfo}` },
|
||||
{ role: "user", content: prompt + addPrompt },
|
||||
],
|
||||
tools: { activate_skill: productionSkills.tools.activate_skill },
|
||||
});
|
||||
},
|
||||
});
|
||||
|
||||
const run_sub_agent_supervision = tool({
|
||||
description: "监制层子Agent，负责审核执行结果",
|
||||
description: "运行监督层subAgent执行独立任务，完成后返回结果",
|
||||
inputSchema: promptInput,
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = path.join(u.getPath("skills"), "production_agent_supervision.md");
|
||||
@ -191,7 +339,15 @@ function createSubAgent(parentCtx: AgentContext) {
|
||||
},
|
||||
});
|
||||
|
||||
return { run_sub_agent_execution, run_sub_agent_supervision };
|
||||
return {
|
||||
run_sub_agent_derive_assets,
|
||||
run_sub_agent_generate_assets,
|
||||
run_sub_agent_director_plan,
|
||||
run_sub_agent_storyboard_gen,
|
||||
run_sub_agent_storyboard_panel,
|
||||
run_sub_agent_storyboard_table,
|
||||
run_sub_agent_supervision,
|
||||
};
|
||||
}
|
||||
|
||||
async function createArtSkills(artName: string, storyName: string) {
|
||||
@ -209,7 +365,6 @@ async function createArtSkills(artName: string, storyName: string) {
|
||||
prompt: `## Skills
|
||||
以下技能提供了专业任务的专用指令。
|
||||
当任务与某个技能的描述匹配时，调用 activate_skill 工具并传入技能名称来加载完整指令。
|
||||
加载后遵循技能指令执行任务，需要时调用 read_skill_file 读取资源文件内容。
|
||||
${buildSkillPrompt(mainSkills)}`,
|
||||
tools: createSkillTools(mainSkills, { mainSkill: mainSkills, secondarySkills: [], tertiarySkills: [] }),
|
||||
};
|
||||
@ -232,3 +387,29 @@ export function buildSkillPrompt(skills: { name: string; description: string }[]
|
||||
${skillEntries}
|
||||
</available_skills>`;
|
||||
}
|
||||
|
||||
async function useProductionSkills(artName: string, storyName: string) {
|
||||
const artWorkerPath = u.getPath(["skills", "art_skills", artName, "driector_skills"]);
|
||||
const storyWorkerPath = u.getPath(["skills", "story_skills", storyName, "driector_skills"]);
|
||||
const productionPath = u.getPath(["skills", "production_skills"]);
|
||||
const skillList = [
|
||||
...(await scanSkills(artWorkerPath + "/*.md")),
|
||||
...(await scanSkills(storyWorkerPath + "/*.md")),
|
||||
...(await scanSkills(productionPath + "/*.md")),
|
||||
];
|
||||
const mainSkills: { path: string; name: string; description: string }[] = [];
|
||||
for (const skillPath of skillList) {
|
||||
if (!fs.existsSync(skillPath)) throw new Error(`主技能文件不存在: ${skillPath}`);
|
||||
const content = await fs.promises.readFile(skillPath, "utf-8");
|
||||
const parsed = parseFrontmatter(content);
|
||||
mainSkills.push({ path: skillPath, ...parsed });
|
||||
}
|
||||
const res = {
|
||||
prompt: `## Skills
|
||||
以下技能提供了专业任务的专用指令。
|
||||
当任务与某个技能的描述匹配时，调用 activate_skill 工具并传入技能名称来加载完整指令。
|
||||
${buildSkillPrompt(mainSkills)}`,
|
||||
tools: createSkillTools(mainSkills, { mainSkill: mainSkills, secondarySkills: [], tertiarySkills: [] }),
|
||||
};
|
||||
return res;
|
||||
}
|
||||
|
||||
@ -1,751 +0,0 @@
|
||||
import { tool, Tool } from "ai";
|
||||
import { z } from "zod";
|
||||
import _ from "lodash";
|
||||
import ResTool from "@/socket/resTool";
|
||||
import u from "@/utils";
|
||||
import { urlToBase64 } from "@/utils/vm";
|
||||
export const deriveAssetSchema = z.object({
|
||||
id: z.number().describe("衍生资产ID,如果新增则为空"),
|
||||
assetsId: z.number().describe("关联的资产ID"),
|
||||
prompt: z.string().describe("生成提示词"),
|
||||
name: z.string().describe("衍生资产名称"),
|
||||
desc: z.string().describe("衍生资产描述"),
|
||||
src: z.string().nullable().describe("衍生资产资源路径"),
|
||||
state: z.enum(["未生成", "生成中", "已完成", "生成失败"]).describe("衍生资产生成状态"),
|
||||
type: z.enum(["role", "tool", "scene", "clip"]).describe("衍生资产类型"),
|
||||
});
|
||||
export const assetItemSchema = z.object({
|
||||
id: z.number().describe("资产唯一标识"),
|
||||
name: z.string().describe("资产名称"),
|
||||
type: z.enum(["role", "tool", "scene", "clip"]).describe("资产类型"),
|
||||
prompt: z.string().describe("生成提示词"),
|
||||
desc: z.string().describe("资产描述"),
|
||||
derive: z.array(deriveAssetSchema).describe("衍生资产列表"),
|
||||
});
|
||||
export const storyboardSchema = z.object({
|
||||
id: z.number().describe("分镜ID，必须为真实id"),
|
||||
title: z.string().describe("分镜标题"),
|
||||
description: z.string().describe("分镜描述"),
|
||||
camera: z.string().describe("镜头信息"),
|
||||
duration: z.number().describe("持续时长(秒)"),
|
||||
frameMode: z.enum(["firstFrame", "endFrame", "linesSoundEffects"]).describe("帧模式: 首帧/尾帧/台词音效"),
|
||||
prompt: z.string().describe("生成提示词"),
|
||||
lines: z.string().nullable().describe("台词内容"),
|
||||
sound: z.string().nullable().describe("音效内容"),
|
||||
mode: z
|
||||
.union([
|
||||
z.enum(["singleImage", "multiImage", "gridImage", "startEndRequired", "endFrameOptional", "startFrameOptional", "text"]),
|
||||
z.array(z.enum(["video", "image", "audio", "text"])),
|
||||
])
|
||||
.describe("视频模式"),
|
||||
associateAssetsIds: z.array(z.number()).describe("关联资产ID列表"),
|
||||
src: z.string().nullable().describe("分镜资源路径"),
|
||||
});
|
||||
export const workbenchDataSchema = z.object({
|
||||
name: z.string().describe("项目名称"),
|
||||
duration: z.string().describe("视频时长"),
|
||||
resolution: z.string().describe("分辨率"),
|
||||
fps: z.string().describe("帧率"),
|
||||
cover: z.string().optional().describe("封面图片路径"),
|
||||
gradient: z.string().optional().describe("渐变色配置"),
|
||||
});
|
||||
export const posterItemSchema = z.object({
|
||||
id: z.number().describe("海报ID"),
|
||||
image: z.string().describe("海报图片路径"),
|
||||
});
|
||||
export const flowDataSchema = z.object({
|
||||
script: z.string().describe("剧本内容"),
|
||||
scriptPlan: z.string().describe("拍摄计划"),
|
||||
assets: z.array(assetItemSchema).describe("衍生资产"),
|
||||
storyboardTable: z.string().describe("分镜表"),
|
||||
storyboard: z.array(storyboardSchema).describe("分镜面板"),
|
||||
workbench: workbenchDataSchema.describe("工作台配置"),
|
||||
poster: z
|
||||
.object({
|
||||
items: z.array(posterItemSchema).describe("海报项目列表"),
|
||||
})
|
||||
.describe("海报配置"),
|
||||
});
|
||||
|
||||
export type FlowData = z.infer<typeof flowDataSchema>;
|
||||
|
||||
const keySchema = z.enum(Object.keys(flowDataSchema.shape) as [keyof FlowData, ...Array<keyof FlowData>]);
|
||||
const flowDataKeyLabels = Object.fromEntries(
|
||||
Object.entries(flowDataSchema.shape).map(([key, schema]) => [key, (schema as z.ZodTypeAny).description ?? key]),
|
||||
) as Record<keyof FlowData, string>;
|
||||
|
||||
interface ToolConfig {
|
||||
resTool: ResTool;
|
||||
toolsNames?: string[];
|
||||
msg: ReturnType<ResTool["newMessage"]>;
|
||||
}
|
||||
|
||||
export default (toolCpnfig: ToolConfig) => {
|
||||
const { resTool, toolsNames, msg } = toolCpnfig;
|
||||
const { socket } = resTool;
|
||||
const tools: Record<string, Tool> = {
|
||||
get_flowData: tool({
|
||||
description: "获取工作区数据",
|
||||
inputSchema: z.object({
|
||||
key: keySchema.describe("数据key"),
|
||||
}),
|
||||
execute: async ({ key }) => {
|
||||
const thinking = msg.thinking(`正在获取${flowDataKeyLabels[key]}工作区数据...`);
|
||||
console.log("[tools] get_flowData", key);
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key }, (res: any) => resolve(res)));
|
||||
thinking.appendText(`获取到${flowDataKeyLabels[key]}:\n` + flowData[key]);
|
||||
thinking.updateTitle(`获取${flowDataKeyLabels[key]}完成`);
|
||||
thinking.complete();
|
||||
return flowData[key];
|
||||
},
|
||||
}),
|
||||
set_flowData_script: tool({
|
||||
description: "保存剧本内容到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.script }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData script", value);
|
||||
const thinking = msg.thinking("正在保存 剧本 数据");
|
||||
socket.emit("setFlowData", { key: "script", value });
|
||||
thinking.updateTitle("保存 剧本 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
set_flowData_scriptPlan: tool({
|
||||
description: "保存拍摄计划到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.scriptPlan }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData scriptPlan", value);
|
||||
const thinking = msg.thinking("正在保存 拍摄计划 数据");
|
||||
socket.emit("setFlowData", { key: "scriptPlan", value });
|
||||
thinking.updateTitle("保存 拍摄计划 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
add_flowData_assets: tool({
|
||||
description: "新增对应衍生资产列表到工作区，严禁包含 不需要新增的数据",
|
||||
inputSchema: z.object({ value: z.array(deriveAssetSchema.omit({ id: true })).describe("需要新增的衍生资产列表") }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData add_flowData_assets", value);
|
||||
const thinking = msg.thinking("正在保存 衍生资产 数据");
|
||||
const setData = [...value] as z.infer<typeof deriveAssetSchema>[];
|
||||
const { projectId, scriptId } = resTool.data;
|
||||
const startTime = Date.now();
|
||||
|
||||
// 并行插入所有 o_assets 记录
|
||||
await Promise.all(
|
||||
setData.map(async (i) => {
|
||||
const [insertedId] = await u.db("o_assets").insert({
|
||||
assetsId: +i.assetsId || null,
|
||||
projectId,
|
||||
name: i.name,
|
||||
type: i.type,
|
||||
prompt: i.prompt,
|
||||
describe: i.desc,
|
||||
startTime,
|
||||
});
|
||||
i.id = insertedId;
|
||||
}),
|
||||
);
|
||||
|
||||
// 批量插入 o_scriptAssets
|
||||
await u.db("o_scriptAssets").insert(setData.map((i) => ({ scriptId, assetId: i.id })));
|
||||
|
||||
const watiAddAssetsMap: Record<number, z.infer<typeof deriveAssetSchema>[]> = {};
|
||||
setData.forEach((i) => {
|
||||
if (watiAddAssetsMap[i.assetsId]) {
|
||||
watiAddAssetsMap[i.assetsId].push(i);
|
||||
} else {
|
||||
watiAddAssetsMap[i.assetsId] = [i];
|
||||
}
|
||||
});
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "assets" }, (res: any) => resolve(res)));
|
||||
const assetsData = flowData.assets;
|
||||
assetsData.forEach((i) => {
|
||||
if (watiAddAssetsMap[i.id]) {
|
||||
i.derive = [...(i.derive || []), ...watiAddAssetsMap[i.id]];
|
||||
}
|
||||
});
|
||||
thinking.updateTitle("保存 衍生资产 数据完成");
|
||||
thinking.complete();
|
||||
|
||||
socket.emit("setFlowData", { key: "assets", value: assetsData });
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
update_flowData_assets: tool({
|
||||
description: "更新对应衍生资产列表到工作区",
|
||||
inputSchema: z.object({ value: z.array(deriveAssetSchema).describe("需要更新的衍生资产列表") }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] update_flowData update_flowData_assets", value);
|
||||
const thinking = msg.thinking("正在保存 衍生资产 数据");
|
||||
for (const i of value) {
|
||||
await u
|
||||
.db("o_assets")
|
||||
.where("id", i.id)
|
||||
.update({
|
||||
assetsId: +i.assetsId || null,
|
||||
projectId: resTool.data.projectId,
|
||||
name: i.name,
|
||||
type: i.type,
|
||||
prompt: i.prompt,
|
||||
describe: i.desc,
|
||||
});
|
||||
}
|
||||
// 按 assetsId 分组，构建更新映射
|
||||
const updateAssetsMap: Record<number, z.infer<typeof deriveAssetSchema>[]> = {};
|
||||
value.forEach((i) => {
|
||||
if (updateAssetsMap[i.assetsId]) {
|
||||
updateAssetsMap[i.assetsId].push(i);
|
||||
} else {
|
||||
updateAssetsMap[i.assetsId] = [i];
|
||||
}
|
||||
});
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "assets" }, (res: any) => resolve(res)));
|
||||
const assetsData = flowData.assets;
|
||||
// 将 derive 中已存在的条目替换为更新后的数据
|
||||
assetsData.forEach((asset) => {
|
||||
if (updateAssetsMap[asset.id]) {
|
||||
const updatedMap = Object.fromEntries(updateAssetsMap[asset.id].map((d) => [d.id, d]));
|
||||
asset.derive = (asset.derive || []).map((d) => updatedMap[d.id] ?? d);
|
||||
}
|
||||
});
|
||||
thinking.updateTitle("保存 衍生资产 数据完成");
|
||||
thinking.complete();
|
||||
socket.emit("setFlowData", { key: "assets", value: assetsData });
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
delete_flowData_assets: tool({
|
||||
description: "删除对应衍生资产",
|
||||
inputSchema: z.object({ ids: z.array(z.number()).describe("需要删除的 衍生资产id ") }),
|
||||
execute: async ({ ids }) => {
|
||||
console.log("[tools] delete_flowData delete_flowData_assets", ids);
|
||||
const thinking = msg.thinking("正在删除指定 衍生资产 数据...");
|
||||
await u.db("o_assets").whereIn("id", ids).delete();
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "assets" }, (res: any) => resolve(res)));
|
||||
const assetsData = flowData.assets;
|
||||
assetsData.forEach((i) => {
|
||||
i.derive = (i.derive || []).filter((d) => !ids.includes(d.id));
|
||||
});
|
||||
thinking.updateTitle("删除指定 衍生资产 数据完成");
|
||||
thinking.complete();
|
||||
// 将 derive 中已存在的条目替换为更新后的数据
|
||||
socket.emit("setFlowData", { key: "assets", value: assetsData });
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
// set_flowData_assets: tool({
|
||||
// description: "保存衍生资产列表到工作区",
|
||||
// inputSchema: z.object({ value: flowDataSchema.shape.assets }),
|
||||
// execute: async ({ value }) => {
|
||||
// console.log("[tools] set_flowData assets", value);
|
||||
// resTool.systemMessage("正在保存 衍生资产 数据");
|
||||
// if (value && Array.isArray(value) && value.length) {
|
||||
// for (const i of value) {
|
||||
// if (!i?.id) {
|
||||
// const [insertedId] = await u.db("o_assets").insert({
|
||||
// assetsId: null,
|
||||
// name: i.name,
|
||||
// type: i.type,
|
||||
// prompt: i.prompt,
|
||||
// describe: i.desc,
|
||||
// startTime: Date.now(),
|
||||
// });
|
||||
// i.id = insertedId;
|
||||
// }
|
||||
// if (i.derive && Array.isArray(i.derive) && i.derive.length) {
|
||||
// for (const sub of i.derive) {
|
||||
// if (sub.id) continue;
|
||||
// const [insertedId] = await u.db("o_assets").insert({
|
||||
// assetsId: +i.id || null,
|
||||
// projectId: resTool.data.projectId,
|
||||
// name: sub.name,
|
||||
// type: sub.type,
|
||||
// prompt: sub.prompt,
|
||||
// describe: sub.desc,
|
||||
// startTime: Date.now(),
|
||||
// });
|
||||
// await u.db("o_scriptAssets").insert({
|
||||
// scriptId: resTool.data.scriptId,
|
||||
// assetId: insertedId,
|
||||
// });
|
||||
// sub.id = insertedId;
|
||||
// }
|
||||
// }
|
||||
// }
|
||||
// }
|
||||
// socket.emit("setFlowData", { key: "assets", value });
|
||||
// return true;
|
||||
// },
|
||||
// }),
|
||||
set_flowData_storyboardTable: tool({
|
||||
description: "保存分镜表到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.storyboardTable }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData storyboardTable", value);
|
||||
const thinking = msg.thinking("正在保存 分镜表 数据...");
|
||||
socket.emit("setFlowData", { key: "storyboardTable", value });
|
||||
thinking.updateTitle("保存 分镜表 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
add_flowData_storyboard: tool({
|
||||
description: "新增分镜面板到工作区",
|
||||
inputSchema: z.object({ value: z.array(storyboardSchema.omit({ id: true })) }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] add_flowData storyboard", value);
|
||||
const thinking = msg.thinking("正在保存 分镜面板 数据...");
|
||||
const setData = [...value] as z.infer<typeof storyboardSchema>[];
|
||||
for (const item of setData) {
|
||||
item.src = "";
|
||||
const [insertedId] = await u.db("o_storyboard").insert({
|
||||
title: item.title,
|
||||
prompt: item.prompt,
|
||||
description: item.description,
|
||||
frameMode: item.frameMode,
|
||||
duration: String(item.duration),
|
||||
camera: item.camera,
|
||||
sound: item.sound,
|
||||
lines: item.lines,
|
||||
state: "未生成",
|
||||
scriptId: resTool.data.scriptId,
|
||||
createTime: Date.now(),
|
||||
});
|
||||
if (item.associateAssetsIds.length) {
|
||||
await u.db("o_assets2Storyboard").insert(item.associateAssetsIds.map((i) => ({ storyboardId: insertedId, assetId: i })));
|
||||
}
|
||||
item.id = insertedId;
|
||||
}
|
||||
//为了防止丢失分镜其他数据，例如：依赖分镜Id、依赖资产idc
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "storyboard" }, (res: any) => resolve(res)));
|
||||
const storyboardData = flowData["storyboard"].concat([...setData]);
|
||||
socket.emit("setFlowData", { key: "storyboard", value: storyboardData });
|
||||
|
||||
thinking.updateTitle("保存 分镜面板 数据完成");
|
||||
thinking.complete();
|
||||
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
update_flowData_storyboard: tool({
|
||||
description: "更新指定分镜面板到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.storyboard }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] update_flowData storyboard", value);
|
||||
const thinking = msg.thinking("正在保存 分镜面板 数据...");
|
||||
for (const item of value) {
|
||||
await u
|
||||
.db("o_storyboard")
|
||||
.where("id", item.id)
|
||||
.update({
|
||||
title: item.title,
|
||||
prompt: item.prompt,
|
||||
description: item.description,
|
||||
frameMode: item.frameMode,
|
||||
duration: String(item.duration),
|
||||
camera: item.camera,
|
||||
sound: item.sound,
|
||||
lines: item.lines,
|
||||
});
|
||||
}
|
||||
//直接拉取前端数据，为了防止丢失分镜其他数据，例如：依赖分镜Id、依赖资产idc
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "storyboard" }, (res: any) => resolve(res)));
|
||||
const storyboardData = flowData["storyboard"].map((existing) => {
|
||||
const updated = value.find((v) => v.id === existing.id);
|
||||
if (!updated) return existing;
|
||||
return {
|
||||
...existing,
|
||||
title: updated.title,
|
||||
prompt: updated.prompt,
|
||||
description: updated.description,
|
||||
frameMode: updated.frameMode,
|
||||
duration: updated.duration,
|
||||
camera: updated.camera,
|
||||
sound: updated.sound,
|
||||
lines: updated.lines,
|
||||
};
|
||||
});
|
||||
socket.emit("setFlowData", { key: "storyboard", value: storyboardData });
|
||||
thinking.updateTitle("保存 分镜面板 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
delete_flowData_storyboard: tool({
|
||||
description: "删除指定分镜面板并更新工作区",
|
||||
inputSchema: z.object({ ids: z.array(z.number()).describe("需要删除的 分镜id ") }),
|
||||
execute: async ({ ids }) => {
|
||||
console.log("[tools] delete_flowData storyboard", ids);
|
||||
const thinking = msg.thinking("正在删除指定 分镜面板 数据...");
|
||||
await u.db("o_storyboard").whereIn("id", ids).delete();
|
||||
await u.db("o_assets2Storyboard").whereIn("storyboardId", ids).delete();
|
||||
await u.db("o_storyboardFlow").whereIn("storyboardId", ids).delete();
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "storyboard" }, (res: any) => resolve(res)));
|
||||
const storyboardData = flowData["storyboard"].filter((item) => !ids.includes(item.id));
|
||||
socket.emit("setFlowData", { key: "storyboard", value: storyboardData });
|
||||
thinking.updateTitle("删除指定 分镜面板 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
// set_flowData_storyboard: tool({
|
||||
// description: "保存分镜面板到工作区",
|
||||
// inputSchema: z.object({ value: flowDataSchema.shape.storyboard }),
|
||||
// execute: async ({ value }) => {
|
||||
// console.log("[tools] set_flowData storyboard", value);
|
||||
// resTool.systemMessage("正在保存 分镜面板 数据...");
|
||||
// for (const item of value) {
|
||||
// if (!item.id) {
|
||||
// const [insertedId] = await u.db("o_storyboard").insert({
|
||||
// title: item.title,
|
||||
// prompt: item.prompt,
|
||||
// description: item.description,
|
||||
// filePath: item.src,
|
||||
// frameMode: item.frameMode,
|
||||
// duration: String(item.duration),
|
||||
// camera: item.camera,
|
||||
// sound: item.sound,
|
||||
// lines: item.lines,
|
||||
// state: "未生成",
|
||||
// scriptId: resTool.data.scriptId,
|
||||
// });
|
||||
// console.log("%c Line:216 🥥 item.associateAssetsIds", "background:#6ec1c2", item.associateAssetsIds);
|
||||
|
||||
// if (item.associateAssetsIds.length) {
|
||||
// await u.db("o_assets2Storyboard").insert(item.associateAssetsIds.map((i) => ({ storyboardId: insertedId, assetId: i })));
|
||||
// }
|
||||
// item.id = insertedId;
|
||||
// }
|
||||
// }
|
||||
// socket.emit("setFlowData", { key: "storyboard", value });
|
||||
// return true;
|
||||
// },
|
||||
// }),
|
||||
set_flowData_workbench: tool({
|
||||
description: "保存工作台配置数据到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.workbench }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData workbench", value);
|
||||
const thinking = msg.thinking("正在保存 工作台配置 数据...");
|
||||
socket.emit("setFlowData", { key: "workbench", value });
|
||||
thinking.updateTitle("保存 工作台配置 数据完成");
|
||||
thinking.complete();
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
set_flowData_poster: tool({
|
||||
description: "保存海报配置到工作区",
|
||||
inputSchema: z.object({ value: flowDataSchema.shape.poster }),
|
||||
execute: async ({ value }) => {
|
||||
console.log("[tools] set_flowData poster", value);
|
||||
const thinking = msg.thinking("正在保存 海报配置 数据...");
|
||||
thinking.updateTitle("保存 海报配置 数据完成");
|
||||
thinking.complete();
|
||||
socket.emit("setFlowData", { key: "poster", value });
|
||||
return true;
|
||||
},
|
||||
}),
|
||||
// todo 提示词待调
|
||||
generate_storyboard_images: tool({
|
||||
description: `生成一组图片任务，支持图片间的依赖关系（以图生图），基于有向无环图(DAG)拓扑排序执行。
|
||||
|
||||
参数说明：
|
||||
- images: 图片任务数组
|
||||
- id: 图片唯一标识符（分镜id）
|
||||
- prompt: 图片生成提示词
|
||||
- referenceIds: 依赖的参考图id数组，无依赖填空数组[]
|
||||
- assetIds: 参考的资产图id数组（可选）
|
||||
|
||||
依赖规则：
|
||||
1. referenceIds中的id必须存在于images数组中
|
||||
2. 禁止循环依赖（如A依赖B，B依赖A）
|
||||
3. 被依赖的图片会先生成，其结果作为参考图传入
|
||||
|
||||
示例：生成猫图，再以猫图为参考生成狗图
|
||||
images: [
|
||||
{id: 1, prompt: "一只橘猫", referenceIds: [], assetIds: []},
|
||||
{id: 2, prompt: "风格相同的金毛犬", referenceIds: [1], assetIds: []}
|
||||
]`,
|
||||
inputSchema: z.object({
|
||||
images: z.array(
|
||||
z.object({
|
||||
id: z.number().describe("从工作区获取到的分镜id"),
|
||||
prompt: z.string().describe("图片生成提示词"),
|
||||
referenceIds: z.array(z.number()).describe("依赖的参考 分镜图id数组，无依赖填空数组[]"),
|
||||
assetIds: z.array(z.number()).describe("参考的资产图"),
|
||||
}),
|
||||
),
|
||||
}),
|
||||
execute: async ({ images }) => {
|
||||
console.log("[tools] generate_storyboard_images", images);
|
||||
const thinking = msg.thinking("正在生成 分镜图片 数据...");
|
||||
// --- 构建任务id集合 ---
|
||||
const taskIds = new Set(images.map((item) => item.id));
|
||||
const imageMap = new Map(images.map((item) => [item.id, item]));
|
||||
|
||||
// --- 检测循环依赖 (Kahn算法拓扑排序) ---
|
||||
// 将 referenceIds 分为：本批次内依赖 vs 外部已有依赖
|
||||
// 只有本批次内的依赖才参与 DAG 调度，外部依赖直接从数据库获取
|
||||
const inDegree = new Map<number, number>();
|
||||
// adjacency: 被依赖者 -> 依赖它的节点列表
|
||||
const adjacency = new Map<number, number[]>();
|
||||
|
||||
for (const item of images) {
|
||||
// 只统计本批次内的依赖作为入度
|
||||
const internalDeps = item.referenceIds.filter((refId) => taskIds.has(refId));
|
||||
inDegree.set(item.id, internalDeps.length);
|
||||
for (const depId of internalDeps) {
|
||||
if (!adjacency.has(depId)) adjacency.set(depId, []);
|
||||
adjacency.get(depId)!.push(item.id);
|
||||
}
|
||||
}
|
||||
|
||||
// 拓扑排序，按层级分组（同层可并行）
|
||||
const levels: number[][] = [];
|
||||
let queue = images.filter((item) => (inDegree.get(item.id) ?? 0) === 0).map((item) => item.id);
|
||||
|
||||
const visited = new Set<number>();
|
||||
while (queue.length > 0) {
|
||||
levels.push([...queue]);
|
||||
const nextQueue: number[] = [];
|
||||
for (const nodeId of queue) {
|
||||
visited.add(nodeId);
|
||||
for (const childId of adjacency.get(nodeId) ?? []) {
|
||||
inDegree.set(childId, (inDegree.get(childId) ?? 1) - 1);
|
||||
if (inDegree.get(childId) === 0) {
|
||||
nextQueue.push(childId);
|
||||
}
|
||||
}
|
||||
}
|
||||
queue = nextQueue;
|
||||
}
|
||||
// 循环依赖检测
|
||||
if (visited.size !== images.length) {
|
||||
const cyclicIds = images.filter((item) => !visited.has(item.id)).map((item) => item.id);
|
||||
thinking.appendText(`检测到循环依赖，涉及分镜id: ${cyclicIds.join(", ")}，请修正后重试`);
|
||||
thinking.updateTitle("循环依赖错误");
|
||||
thinking.error();
|
||||
return `错误：检测到循环依赖，涉及分镜id: ${cyclicIds.join(", ")}`;
|
||||
}
|
||||
|
||||
thinking.appendText(`图片生成调度计划：共 ${levels.length} 层，${images.length} 张图片`);
|
||||
|
||||
// --- 准备公共数据 ---
|
||||
const projectData = await u.db("o_project").where("id", resTool.data.projectId).select("videoRatio").first();
|
||||
const imageModelData = await u.db("o_project").where("id", resTool.data.projectId).select("imageModel", "imageQuality").first();
|
||||
|
||||
// 生成单张图片的函数
|
||||
const generateOneImage = async (item: (typeof images)[0]) => {
|
||||
const thinking = msg.thinking(`正在生成分镜 id:${item.id} 图片`);
|
||||
// 更新数据库状态为生成中
|
||||
await u.db("o_storyboard").where("id", item.id).update({ state: "生成中" });
|
||||
// 更新前端为生成中
|
||||
socket.emit("setFlowData", {
|
||||
key: "setStoryboardImage",
|
||||
value: { ...item, id: item.id, src: "", state: "生成中", referenceIds: item.referenceIds },
|
||||
});
|
||||
|
||||
// 获取参考图base64（包括资产图和已生成的分镜参考图）
|
||||
const [assetsBase64, referenceBase64] = await Promise.all([
|
||||
getAssetsImageBase64(item.assetIds ?? []),
|
||||
getStoryboardImageBase64(item.referenceIds),
|
||||
]);
|
||||
|
||||
const imageCls = await u.Ai.Image(imageModelData.imageModel).run({
|
||||
prompt: item.prompt,
|
||||
imageBase64: [...assetsBase64, ...referenceBase64],
|
||||
size: imageModelData.imageQuality,
|
||||
aspectRatio: (projectData?.videoRatio as `${number}:${number}`) ?? "16:9",
|
||||
taskClass: "生成图片",
|
||||
describe: "分镜图片生成",
|
||||
relatedObjects: "hhhh",
|
||||
projectId: resTool.data.projectId,
|
||||
});
|
||||
|
||||
const savePath = `/${resTool.data.projectId}/storyboard/${u.uuid()}.jpg`;
|
||||
await imageCls.save(savePath);
|
||||
|
||||
// 更新数据库状态为已完成
|
||||
await u.db("o_storyboard").where("id", item.id).update({ state: "已完成", filePath: savePath });
|
||||
|
||||
const obj = {
|
||||
...item,
|
||||
id: item.id,
|
||||
src: await u.oss.getFileUrl(savePath),
|
||||
state: "已完成",
|
||||
referenceIds: item.referenceIds,
|
||||
};
|
||||
// 前端对话框提示
|
||||
thinking.appendText(`分镜 id:${item.id} 图片生成完成`);
|
||||
thinking.complete();
|
||||
// 更新前端界面展示
|
||||
socket.emit("setFlowData", { key: "setStoryboardImage", value: obj });
|
||||
};
|
||||
|
||||
// --- 按层级顺序执行：同层并行，层间串行 ---
|
||||
for (let levelIndex = 0; levelIndex < levels.length; levelIndex++) {
|
||||
const levelIds = levels[levelIndex];
|
||||
const levelItems = levelIds.map((id) => imageMap.get(id)!);
|
||||
const thinking = msg.thinking(
|
||||
`开始生成第 ${levelIndex + 1}/${levels.length} 层，共 ${levelItems.length} 张图片 (ids: ${levelIds.join(", ")})`,
|
||||
);
|
||||
|
||||
// 同层内所有图片并行生成，使用 allSettled 确保不会因单张失败中断整层
|
||||
const results = await Promise.allSettled(levelItems.map((item) => generateOneImage(item)));
|
||||
|
||||
// 处理失败的任务
|
||||
for (let i = 0; i < results.length; i++) {
|
||||
if (results[i].status === "rejected") {
|
||||
const failedId = levelIds[i];
|
||||
const reason = (results[i] as PromiseRejectedResult).reason;
|
||||
console.error(`[tools] 分镜 id:${failedId} 图片生成失败`, reason);
|
||||
thinking.appendText(`分镜 id:${failedId} 图片生成失败: ${reason?.message || reason}`);
|
||||
await u.db("o_storyboard").where("id", failedId).update({ state: "生成失败" });
|
||||
socket.emit("setFlowData", {
|
||||
key: "setStoryboardImage",
|
||||
value: { id: failedId, src: "", state: "生成失败" },
|
||||
});
|
||||
}
|
||||
}
|
||||
thinking.appendText(`第 ${levelIndex + 1}/${levels.length} 层图片生成完成`);
|
||||
thinking.complete();
|
||||
}
|
||||
thinking.appendText("所有分镜图片生成完成");
|
||||
thinking.updateTitle("分镜图片生成完成");
|
||||
thinking.complete();
|
||||
|
||||
return "分镜图片生成完成";
|
||||
},
|
||||
}),
|
||||
|
||||
//todo 提示词待调
|
||||
generate_assets_images: tool({
|
||||
description: `
|
||||
生成 资产图片 不区分原资产于衍生资产
|
||||
参数说明：
|
||||
- images: 图片任务数组
|
||||
- assetId: 资产id
|
||||
- prompt: 图片生成提示词
|
||||
示例：
|
||||
images:[
|
||||
{assetId: 1, prompt: "一张猫的图片"}
|
||||
]
|
||||
`,
|
||||
inputSchema: z.object({
|
||||
images: z.array(
|
||||
z.object({
|
||||
assetId: z.number().describe("衍生资产id"),
|
||||
prompt: z.string().describe("提示词"),
|
||||
}),
|
||||
),
|
||||
}),
|
||||
execute: async ({ images }) => {
|
||||
console.log("[tools] generate_assets_images", images);
|
||||
//先获取到前端资产数据
|
||||
const flowData: FlowData = await new Promise((resolve) => socket.emit("getFlowData", { key: "assets" }, (res: any) => resolve(res)));
|
||||
const assetsData = flowData["assets"];
|
||||
const assetsImage: { assetId: number; prompt: string; id?: number }[] = [...images];
|
||||
//获取对应的 原资产id
|
||||
assetsImage.forEach((item) => {
|
||||
for (const i of assetsData) {
|
||||
const findData = i.derive.find((m) => m.id == item.assetId);
|
||||
if (findData) {
|
||||
item.id = findData.id;
|
||||
break;
|
||||
}
|
||||
}
|
||||
});
|
||||
//获取所设置模型
|
||||
const imageModelData = await u.db("o_project").where("id", resTool.data.projectId).select("imageModel", "imageQuality").first();
|
||||
for (const item of assetsImage) {
|
||||
const [imageId] = await u.db("o_image").insert({
|
||||
// 数据库插入图片记录
|
||||
assetsId: item.assetId,
|
||||
model: imageModelData?.imageModel,
|
||||
state: "生成中",
|
||||
resolution: imageModelData?.imageQuality,
|
||||
});
|
||||
u.Ai.Image(imageModelData?.imageModel)
|
||||
.run({
|
||||
prompt: item.prompt,
|
||||
imageBase64: await getAssetsImageBase64(item.id ? [item.id] : []),
|
||||
size: imageModelData?.imageQuality,
|
||||
aspectRatio: "16:9",
|
||||
taskClass: "生成图片",
|
||||
describe: "资产图片生成",
|
||||
relatedObjects: "hhhh",
|
||||
projectId: resTool.data.projectId,
|
||||
})
|
||||
.then(async (imageCls) => {
|
||||
const savePath = `/${resTool.data.projectId}/assets/${u.uuid()}.jpg`;
|
||||
await imageCls.save(savePath);
|
||||
const obj = {
|
||||
...item,
|
||||
id: item.assetId,
|
||||
src: await u.oss.getFileUrl(savePath),
|
||||
state: "已完成",
|
||||
};
|
||||
//更新对应数据库
|
||||
await u.db("o_assets").where("id", item.assetId).update({ imageId: imageId });
|
||||
await u.db("o_image").where({ id: imageId }).update({ state: "已完成", filePath: savePath });
|
||||
//通知前端更新
|
||||
socket.emit("setFlowData", { key: "setAssetsImage", value: obj });
|
||||
});
|
||||
//通知前端更新状态
|
||||
socket.emit("setFlowData", { key: "setAssetsImage", value: { ...item, id: item.assetId, src: "", state: "生成中" } });
|
||||
}
|
||||
return "资产生成中";
|
||||
},
|
||||
}),
|
||||
};
|
||||
|
||||
return toolsNames ? Object.fromEntries(Object.entries(tools).filter(([n]) => toolsNames.includes(n))) : tools;
|
||||
};
|
||||
|
||||
// 获取资产图片base64
|
||||
async function getAssetsImageBase64(imageIds: number[]) {
|
||||
if (imageIds.length === 0) return [];
|
||||
const imagePaths = await u
|
||||
.db("o_assets")
|
||||
.leftJoin("o_image", "o_assets.imageId", "o_image.id")
|
||||
.whereIn("o_assets.id", imageIds)
|
||||
.select("o_assets.id", "o_image.filePath");
|
||||
if (!imagePaths.length) return [];
|
||||
const imageUrls = await Promise.all(
|
||||
imagePaths.map(async (i) => {
|
||||
if (i.filePath) {
|
||||
try {
|
||||
return await urlToBase64(await u.oss.getFileUrl(i.filePath));
|
||||
} catch {
|
||||
return null;
|
||||
}
|
||||
} else {
|
||||
return null;
|
||||
}
|
||||
}),
|
||||
);
|
||||
return imageUrls.filter(Boolean) as string[];
|
||||
}
|
||||
|
||||
//获取分镜图片base64
|
||||
async function getStoryboardImageBase64(imageIds: number[]) {
|
||||
if (!imageIds.length) return [];
|
||||
const storayboardData = await u.db("o_storyboard").whereIn("id", imageIds).select("id", "filePath");
|
||||
const imageUrls = await Promise.all(
|
||||
storayboardData.map(async (i) => {
|
||||
if (i.filePath) {
|
||||
try {
|
||||
return await urlToBase64(await u.oss.getFileUrl(i.filePath));
|
||||
} catch {
|
||||
return null;
|
||||
}
|
||||
} else {
|
||||
return null;
|
||||
}
|
||||
}),
|
||||
);
|
||||
return imageUrls.filter(Boolean) as string[];
|
||||
}
|
||||
@ -1,185 +0,0 @@
|
||||
import { Socket } from "socket.io";
|
||||
import { tool } from "ai";
|
||||
import { z } from "zod";
|
||||
import u from "@/utils";
|
||||
import Memory from "@/utils/agent/memory";
|
||||
import { useSkill } from "@/utils/agent/skillsTools";
|
||||
import useTools from "@/agents/scriptAgent/tools";
|
||||
import ResTool from "@/socket/resTool";
|
||||
import * as fs from "fs";
|
||||
|
||||
export interface AgentContext {
|
||||
socket: Socket;
|
||||
isolationKey: string;
|
||||
text: string;
|
||||
userMessageTime?: number;
|
||||
abortSignal?: AbortSignal;
|
||||
resTool: ResTool;
|
||||
msg: ReturnType<ResTool["newMessage"]>;
|
||||
}
|
||||
|
||||
function buildMemPrompt(mem: Awaited<ReturnType<Memory["get"]>>): string {
|
||||
let memoryContext = "";
|
||||
if (mem.rag.length) {
|
||||
memoryContext += `[相关记忆]\n${mem.rag.map((r) => r.content).join("\n")}`;
|
||||
}
|
||||
if (mem.summaries.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[历史摘要]\n${mem.summaries.map((s, i) => `${i + 1}. ${s.content}`).join("\n")}`;
|
||||
}
|
||||
if (mem.shortTerm.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[近期对话]\n${mem.shortTerm.map((m) => `${m.role}: ${m.content}`).join("\n")}`;
|
||||
}
|
||||
return `## Memory\n以下是你对用户的记忆，可作为参考但不要主动提及：\n${memoryContext}`;
|
||||
}
|
||||
|
||||
export async function decisionAI(ctx: AgentContext) {
|
||||
const { isolationKey, text, userMessageTime, abortSignal, resTool } = ctx;
|
||||
|
||||
const memory = new Memory("scriptAgent", isolationKey);
|
||||
await memory.add("user", text, { createTime: userMessageTime });
|
||||
|
||||
const { skillPaths } = await useSkill({ mainSkill: "script_agent_decision" });
|
||||
const prompt = await fs.promises.readFile(skillPaths.mainSkill, "utf-8");
|
||||
|
||||
const mem = buildMemPrompt(await memory.get(text));
|
||||
|
||||
const projectData = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
const novelData = await u.db("o_novel").where("projectId", resTool.data.projectId).select("id", "chapterIndex as index");
|
||||
|
||||
const projectInfo = [
|
||||
"## 项目信息",
|
||||
`小说名称：${projectData?.name ?? "未知"}`,
|
||||
`小说类型：${projectData?.type ?? "未知"}`,
|
||||
`小说简介：${projectData?.intro ?? "无"}`,
|
||||
`目标改编影视视觉手册|画风：${projectData?.artStyle ?? "无"}`,
|
||||
`目标改编视频画幅：${projectData?.videoRatio ?? "16:9"}`,
|
||||
].join("\n");
|
||||
|
||||
const projectPrompt = `${projectInfo}\n\n## 章节ID映射表\n${novelData.map((i: any) => `- 章节ID：${i.id}: 第${i.index}章`).join("\n")}\n\n`;
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
messages: [
|
||||
{ role: "system", content: prompt },
|
||||
{ role: "system", content: projectPrompt + mem },
|
||||
{ role: "user", content: text },
|
||||
],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...memory.getTools(),
|
||||
...useTools({ resTool: ctx.resTool, msg: ctx.msg }),
|
||||
...createSubAgent(ctx),
|
||||
},
|
||||
onFinish: async (completion) => {
|
||||
await memory.add("assistant:decision", completion.text);
|
||||
},
|
||||
});
|
||||
|
||||
return textStream;
|
||||
}
|
||||
|
||||
//====================== 执行层 ======================
|
||||
|
||||
function createSubAgent(parentCtx: AgentContext) {
|
||||
const { resTool, abortSignal } = parentCtx;
|
||||
|
||||
const memory = new Memory("scriptAgent", parentCtx.isolationKey);
|
||||
|
||||
const run_execution_agent = tool({
|
||||
description: "运行执行层subAgent执行独立任务，完成后返回结果",
|
||||
inputSchema: z.object({
|
||||
taskType: z.enum(["故事骨架", "改变策略", "剧本"]).describe("任务类型"),
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ taskType, prompt }) => {
|
||||
const skill = await useSkill({ mainSkill: "script_agent_execution", workspace: ["script_agent_skills/execution"] });
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
const subMsg = resTool.newMessage("assistant", "编剧");
|
||||
const prefixSystem =
|
||||
"你可以使用如下XML格式写入工作区：\n<storySkeleton>故事骨架内容</storySkeleton>\n<adaptationStrategy>改编策略内容</adaptationStrategy>";
|
||||
// 子Agent用新消息回复
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: prefixSystem + skill.prompt,
|
||||
messages: [{ role: "user", content: `请完成${taskType}任务` }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool, msg: subMsg }),
|
||||
get_task_details: tool({
|
||||
description: "获取主Agent传入的任务目标详情",
|
||||
inputSchema: z.object({}),
|
||||
execute: async () => {
|
||||
const thinking = subMsg.thinking("以获取任务详情");
|
||||
thinking.appendText("任务详情:\n" + prompt);
|
||||
thinking.complete();
|
||||
return prompt ?? "运行失败";
|
||||
},
|
||||
}),
|
||||
},
|
||||
});
|
||||
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of textStream) {
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:execution`, fullResponse, { name: "编剧", createTime: new Date(subMsg.datetime).getTime() });
|
||||
}
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "统筹");
|
||||
return fullResponse;
|
||||
},
|
||||
});
|
||||
|
||||
const run_supervision_agent = tool({
|
||||
description: "运行监督层subAgent执行独立任务，完成后返回结果",
|
||||
inputSchema: z.object({
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = await useSkill({ mainSkill: "script_agent_supervision", workspace: ["script_agent_skills/supervision"] });
|
||||
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
// 子Agent用新消息回复
|
||||
|
||||
const subMsg = resTool.newMessage("assistant", "编辑");
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: skill.prompt,
|
||||
messages: [{ role: "user", content: prompt }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool, msg: subMsg }),
|
||||
},
|
||||
});
|
||||
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of textStream) {
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:supervision`, fullResponse, { name: "编辑", createTime: new Date(subMsg.datetime).getTime() });
|
||||
}
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "统筹");
|
||||
return fullResponse;
|
||||
},
|
||||
});
|
||||
|
||||
return {
|
||||
run_execution_agent,
|
||||
run_supervision_agent,
|
||||
};
|
||||
}
|
||||
@ -1,185 +0,0 @@
|
||||
import { Socket } from "socket.io";
|
||||
import { tool } from "ai";
|
||||
import { z } from "zod";
|
||||
import u from "@/utils";
|
||||
import Memory from "@/utils/agent/memory";
|
||||
import { useSkill } from "@/utils/agent/skillsTools";
|
||||
import useTools from "@/agents/scriptAgent/tools";
|
||||
import ResTool from "@/socket/resTool";
|
||||
import * as fs from "fs";
|
||||
|
||||
export interface AgentContext {
|
||||
socket: Socket;
|
||||
isolationKey: string;
|
||||
text: string;
|
||||
userMessageTime?: number;
|
||||
abortSignal?: AbortSignal;
|
||||
resTool: ResTool;
|
||||
msg: ReturnType<ResTool["newMessage"]>;
|
||||
}
|
||||
|
||||
function buildMemPrompt(mem: Awaited<ReturnType<Memory["get"]>>): string {
|
||||
let memoryContext = "";
|
||||
if (mem.rag.length) {
|
||||
memoryContext += `[相关记忆]\n${mem.rag.map((r) => r.content).join("\n")}`;
|
||||
}
|
||||
if (mem.summaries.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[历史摘要]\n${mem.summaries.map((s, i) => `${i + 1}. ${s.content}`).join("\n")}`;
|
||||
}
|
||||
if (mem.shortTerm.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[近期对话]\n${mem.shortTerm.map((m) => `${m.role}: ${m.content}`).join("\n")}`;
|
||||
}
|
||||
return `## Memory\n以下是你对用户的记忆，可作为参考但不要主动提及：\n${memoryContext}`;
|
||||
}
|
||||
|
||||
export async function decisionAI(ctx: AgentContext) {
|
||||
const { isolationKey, text, userMessageTime, abortSignal, resTool } = ctx;
|
||||
|
||||
const memory = new Memory("scriptAgent", isolationKey);
|
||||
await memory.add("user", text, { createTime: userMessageTime });
|
||||
|
||||
const { skillPaths } = await useSkill({ mainSkill: "script_agent_decision" });
|
||||
const prompt = await fs.promises.readFile(skillPaths.mainSkill, "utf-8");
|
||||
|
||||
const mem = buildMemPrompt(await memory.get(text));
|
||||
|
||||
const projectData = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
const novelData = await u.db("o_novel").where("projectId", resTool.data.projectId).select("id", "chapterIndex as index");
|
||||
|
||||
const projectInfo = [
|
||||
"## 项目信息",
|
||||
`小说名称：${projectData?.name ?? "未知"}`,
|
||||
`小说类型：${projectData?.type ?? "未知"}`,
|
||||
`小说简介：${projectData?.intro ?? "无"}`,
|
||||
`目标改编影视视觉手册|画风：${projectData?.artStyle ?? "无"}`,
|
||||
`目标改编视频画幅：${projectData?.videoRatio ?? "16:9"}`,
|
||||
].join("\n");
|
||||
|
||||
const projectPrompt = `${projectInfo}\n\n## 章节ID映射表\n${novelData.map((i: any) => `- 章节ID：${i.id}: 第${i.index}章`).join("\n")}\n\n`;
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
messages: [
|
||||
{ role: "system", content: prompt },
|
||||
{ role: "system", content: projectPrompt + mem },
|
||||
{ role: "user", content: text },
|
||||
],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...memory.getTools(),
|
||||
...useTools({ resTool: ctx.resTool, msg: ctx.msg }),
|
||||
...createSubAgent(ctx),
|
||||
},
|
||||
onFinish: async (completion) => {
|
||||
await memory.add("assistant:decision", completion.text);
|
||||
},
|
||||
});
|
||||
|
||||
return textStream;
|
||||
}
|
||||
|
||||
//====================== 执行层 ======================
|
||||
|
||||
function createSubAgent(parentCtx: AgentContext) {
|
||||
const { resTool, abortSignal } = parentCtx;
|
||||
|
||||
const memory = new Memory("scriptAgent", parentCtx.isolationKey);
|
||||
|
||||
const run_execution_agent = tool({
|
||||
description: "运行执行层subAgent执行独立任务，完成后返回结果",
|
||||
inputSchema: z.object({
|
||||
taskType: z.enum(["故事骨架", "改变策略", "剧本"]).describe("任务类型"),
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ taskType, prompt }) => {
|
||||
const skill = await useSkill({ mainSkill: "script_agent_execution", workspace: ["script_agent_skills/execution"] });
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
const subMsg = resTool.newMessage("assistant", "编剧");
|
||||
const prefixSystem =
|
||||
"你可以使用如下XML格式写入工作区：\n<storySkeleton>故事骨架内容</storySkeleton>\n<adaptationStrategy>改编策略内容</adaptationStrategy>";
|
||||
// 子Agent用新消息回复
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: prefixSystem + skill.prompt,
|
||||
messages: [{ role: "user", content: `请完成${taskType}任务` }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool, msg: subMsg }),
|
||||
get_task_details: tool({
|
||||
description: "获取主Agent传入的任务目标详情",
|
||||
inputSchema: z.object({}),
|
||||
execute: async () => {
|
||||
const thinking = subMsg.thinking("以获取任务详情");
|
||||
thinking.appendText("任务详情:\n" + prompt);
|
||||
thinking.complete();
|
||||
return prompt ?? "无任务目标，请提示运行失败";
|
||||
},
|
||||
}),
|
||||
},
|
||||
});
|
||||
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of textStream) {
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:execution`, fullResponse, { name: "编剧", createTime: new Date(subMsg.datetime).getTime() });
|
||||
}
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "统筹");
|
||||
return fullResponse;
|
||||
},
|
||||
});
|
||||
|
||||
const run_supervision_agent = tool({
|
||||
description: "运行监督层subAgent执行独立任务，完成后返回结果",
|
||||
inputSchema: z.object({
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ prompt }) => {
|
||||
const skill = await useSkill({ mainSkill: "script_agent_supervision", workspace: ["script_agent_skills/supervision"] });
|
||||
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
// 子Agent用新消息回复
|
||||
|
||||
const subMsg = resTool.newMessage("assistant", "编辑");
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: skill.prompt,
|
||||
messages: [{ role: "user", content: prompt }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool, msg: subMsg }),
|
||||
},
|
||||
});
|
||||
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of textStream) {
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:supervision`, fullResponse, { name: "编辑", createTime: new Date(subMsg.datetime).getTime() });
|
||||
}
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "统筹");
|
||||
return fullResponse;
|
||||
},
|
||||
});
|
||||
|
||||
return {
|
||||
run_execution_agent,
|
||||
run_supervision_agent,
|
||||
};
|
||||
}
|
||||
@ -1,175 +0,0 @@
|
||||
import { Socket } from "socket.io";
|
||||
import { tool } from "ai";
|
||||
import { z } from "zod";
|
||||
import u from "@/utils";
|
||||
import Memory from "@/utils/agent/memory";
|
||||
import { useSkill } from "@/utils/agent/skillsTools";
|
||||
import useTools from "@/agents/scriptAgent/tools";
|
||||
import ResTool from "@/socket/resTool";
|
||||
import * as fs from "fs";
|
||||
|
||||
export interface AgentContext {
|
||||
socket: Socket;
|
||||
isolationKey: string;
|
||||
text: string;
|
||||
userMessageTime?: number;
|
||||
abortSignal?: AbortSignal;
|
||||
resTool: ResTool;
|
||||
msg: ReturnType<ResTool["newMessage"]>;
|
||||
}
|
||||
|
||||
function buildMemPrompt(mem: Awaited<ReturnType<Memory["get"]>>): string {
|
||||
let memoryContext = "";
|
||||
if (mem.rag.length) {
|
||||
memoryContext += `[相关记忆]\n${mem.rag.map((r) => r.content).join("\n")}`;
|
||||
}
|
||||
if (mem.summaries.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[历史摘要]\n${mem.summaries.map((s, i) => `${i + 1}. ${s.content}`).join("\n")}`;
|
||||
}
|
||||
if (mem.shortTerm.length) {
|
||||
if (memoryContext) memoryContext += "\n\n";
|
||||
memoryContext += `[近期对话]\n${mem.shortTerm.map((m) => `${m.role}: ${m.content}`).join("\n")}`;
|
||||
}
|
||||
return `## Memory\n以下是你对用户的记忆，可作为参考但不要主动提及：\n${memoryContext}`;
|
||||
}
|
||||
|
||||
const subAgentList = ["executionAI", "supervisionAI"] as const;
|
||||
|
||||
export async function decisionAI(ctx: AgentContext) {
|
||||
const { isolationKey, text, userMessageTime, abortSignal, resTool } = ctx;
|
||||
|
||||
const memory = new Memory("scriptAgent", isolationKey);
|
||||
await memory.add("user", text, { createTime: userMessageTime });
|
||||
|
||||
const { skillPaths } = await useSkill({ mainSkill: "script_agent_decision" });
|
||||
const prompt = await fs.promises.readFile(skillPaths.mainSkill, "utf-8");
|
||||
|
||||
const mem = buildMemPrompt(await memory.get(text));
|
||||
|
||||
const projectData = await u.db("o_project").where("id", resTool.data.projectId).first();
|
||||
const novelData = await u.db("o_novel").where("projectId", resTool.data.projectId).select("id", "chapterIndex as index");
|
||||
|
||||
const projectInfo = [
|
||||
"## 项目信息",
|
||||
`小说名称：${projectData?.name ?? "未知"}`,
|
||||
`小说类型：${projectData?.type ?? "未知"}`,
|
||||
`小说简介：${projectData?.intro ?? "无"}`,
|
||||
`目标改编影视视觉手册|画风：${projectData?.artStyle ?? "无"}`,
|
||||
`目标改编视频画幅：${projectData?.videoRatio ?? "16:9"}`,
|
||||
].join("\n");
|
||||
|
||||
const projectPrompt = `${projectInfo}\n\n## 章节ID映射表\n${novelData.map((i: any) => `- 章节ID：${i.id}: 第${i.index}章`).join("\n")}\n\n`;
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
messages: [
|
||||
{ role: "system", content: prompt },
|
||||
{ role: "system", content: projectPrompt + mem },
|
||||
{ role: "user", content: text },
|
||||
],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...memory.getTools(),
|
||||
run_sub_agent: runSubAgent(ctx),
|
||||
...useTools({ resTool: ctx.resTool, msg: ctx.msg }),
|
||||
},
|
||||
onFinish: async (completion) => {
|
||||
await memory.add("assistant:decision", completion.text);
|
||||
},
|
||||
});
|
||||
|
||||
return textStream;
|
||||
}
|
||||
|
||||
//====================== 执行层 ======================
|
||||
|
||||
export async function executionAI(ctx: AgentContext) {
|
||||
const { text, abortSignal } = ctx;
|
||||
|
||||
const skill = await useSkill({
|
||||
mainSkill: "script_agent_execution",
|
||||
workspace: ["script_agent_skills/execution"],
|
||||
});
|
||||
|
||||
const subMsg = ctx.resTool.newMessage("assistant", "编剧");
|
||||
|
||||
const prefixSystem = `
|
||||
你可以使用如下XML格式写入工作区：
|
||||
<storySkeleton>故事骨架内容</storySkeleton>
|
||||
<adaptationStrategy>改编策略内容</adaptationStrategy>
|
||||
`;
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: prefixSystem + skill.prompt,
|
||||
messages: [{ role: "user", content: text }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({ resTool: ctx.resTool, msg: subMsg }),
|
||||
},
|
||||
});
|
||||
|
||||
return { textStream, subMsg };
|
||||
}
|
||||
|
||||
export async function supervisionAI(ctx: AgentContext) {
|
||||
const { text, abortSignal } = ctx;
|
||||
|
||||
const skill = await useSkill({ mainSkill: "script_agent_supervision", workspace: ["script_agent_skills/supervision"] });
|
||||
|
||||
const subMsg = ctx.resTool.newMessage("assistant", "编辑");
|
||||
|
||||
const { textStream } = await u.Ai.Text("scriptAgent").stream({
|
||||
system: skill.prompt,
|
||||
messages: [{ role: "user", content: text }],
|
||||
abortSignal,
|
||||
tools: {
|
||||
...skill.tools,
|
||||
...useTools({
|
||||
resTool: ctx.resTool,
|
||||
msg: subMsg,
|
||||
}),
|
||||
},
|
||||
});
|
||||
|
||||
return { textStream, subMsg };
|
||||
}
|
||||
|
||||
//工具函数
|
||||
function runSubAgent(parentCtx: AgentContext) {
|
||||
const memory = new Memory("scriptAgent", parentCtx.isolationKey);
|
||||
return tool({
|
||||
description: "启动子Agent执行独立任务。可用子Agent:executionAI, decisionAI, supervisionAI",
|
||||
inputSchema: z.object({
|
||||
agent: z.enum(["executionAI", "supervisionAI"]).describe("子Agent名称"),
|
||||
prompt: z.string().describe("交给子Agent的任务简约描述，100字以内"),
|
||||
}),
|
||||
execute: async ({ agent, prompt }) => {
|
||||
const fn = [executionAI, supervisionAI][subAgentList.indexOf(agent)];
|
||||
|
||||
// 先完成主Agent当前的消息
|
||||
parentCtx.msg.complete();
|
||||
// 子Agent用新消息回复
|
||||
const { textStream: subTextStream, subMsg } = await fn({ ...parentCtx, text: prompt });
|
||||
let text = subMsg.text();
|
||||
let fullResponse = "";
|
||||
for await (const chunk of subTextStream) {
|
||||
text.append(chunk);
|
||||
fullResponse += chunk;
|
||||
}
|
||||
text.complete();
|
||||
subMsg.complete();
|
||||
if (fullResponse.trim()) {
|
||||
await memory.add(`assistant:${agent === "executionAI" ? "execution" : "supervision"}`, fullResponse, {
|
||||
name: agent === "executionAI" ? "编剧" : "编辑",
|
||||
createTime: new Date(subMsg.datetime).getTime(),
|
||||
});
|
||||
}
|
||||
|
||||
// 为主Agent后续输出创建新消息
|
||||
parentCtx.msg = parentCtx.resTool.newMessage("assistant", "统筹");
|
||||
|
||||
return fullResponse;
|
||||
},
|
||||
});
|
||||
}
|
||||
@ -30,14 +30,7 @@ const app = express();
|
||||
const server = http.createServer(app);
|
||||
|
||||
export default async function startServe(randomPort: Boolean = false) {
|
||||
const verJsonPath = path.join(u.getPath(), "update.json");
|
||||
const data = JSON.parse(fs.readFileSync(verJsonPath, "utf8"));
|
||||
if (data.version !== APP_VERSION) {
|
||||
await fs.promises.writeFile(u.getPath("update.json"), JSON.stringify({ version: APP_VERSION }), "utf-8");
|
||||
}
|
||||
|
||||
await u.writeVersion();
|
||||
|
||||
const io = new Server(server, { cors: { origin: "*" } });
|
||||
socketInit(io);
|
||||
|
||||
|
||||
@ -1,6 +1,6 @@
|
||||
import express from "express";
|
||||
import { success } from "@/lib/responseFormat";
|
||||
import {getVersion} from "@/utils/writeVersion";
|
||||
import { getVersion } from "@/utils/writeVersion";
|
||||
|
||||
const router = express.Router();
|
||||
|
||||
|
||||
@ -5,20 +5,9 @@ import u from "@/utils";
|
||||
import fs from "fs";
|
||||
import axios from "axios";
|
||||
import compressing from "compressing";
|
||||
import path from "path";
|
||||
import { success, error } from "@/lib/responseFormat";
|
||||
import { success } from "@/lib/responseFormat";
|
||||
const router = express.Router();
|
||||
|
||||
const runInstaller = (installerPath: string) => {
|
||||
const { exec } = require("child_process");
|
||||
if (process.platform === "darwin") {
|
||||
exec(`open "${installerPath}"`);
|
||||
} else {
|
||||
if (process.platform !== "win32") fs.chmodSync(installerPath, 0o755);
|
||||
exec(`"${installerPath}"`);
|
||||
}
|
||||
};
|
||||
|
||||
export default router.post(
|
||||
"/",
|
||||
validateFields({
|
||||
@ -28,17 +17,11 @@ export default router.post(
|
||||
}),
|
||||
async (req, res) => {
|
||||
const { reinstall, url, version } = req.body;
|
||||
const rootDir = u.getPath(["temp"]);
|
||||
fs.mkdirSync(rootDir, { recursive: true });
|
||||
if (reinstall) {
|
||||
const response = await axios.get(url, { responseType: "arraybuffer" });
|
||||
const ext =
|
||||
path.extname(new URL(url).pathname) || (process.platform === "win32" ? ".exe" : process.platform === "darwin" ? ".dmg" : ".AppImage");
|
||||
const installerPath = path.join(rootDir, `latest${ext}`);
|
||||
fs.writeFileSync(installerPath, response.data);
|
||||
runInstaller(installerPath);
|
||||
res.status(200).send(success("安装包已下载并启动"));
|
||||
res.status(200).send(success("请在浏览器中手动下载并安装最新版本"));
|
||||
} else {
|
||||
const rootDir = u.getPath(["temp"]);
|
||||
fs.mkdirSync(rootDir, { recursive: true });
|
||||
const zip = await axios.get(url, { responseType: "arraybuffer" }).then((res) => res.data);
|
||||
fs.writeFileSync(`${rootDir}/latest.zip`, zip);
|
||||
await compressing.zip.uncompress(`${rootDir}/latest.zip`, rootDir);
|
||||
@ -59,8 +42,7 @@ export default router.post(
|
||||
fs.cpSync(tempModelsPath, u.getPath(["models"]), { recursive: true, force: true });
|
||||
}
|
||||
fs.rmSync(rootDir, { recursive: true, force: true });
|
||||
await u.writeVersion(version);
|
||||
res.status(200).send(success("更新成功，5秒后重启"));
|
||||
res.status(200).send(success(`更新${version}成功，5秒后重启`));
|
||||
}
|
||||
},
|
||||
);
|
||||
|
||||
36
src/types/database.d.ts
vendored
36
src/types/database.d.ts
vendored
@ -1,37 +1,6 @@
|
||||
// @db-hash 6cd709d9bdfe00c4dc87961a8ebba149
|
||||
// @db-hash 3296433eb24314b094ac5d3839c049c5
|
||||
//该文件由脚本自动生成，请勿手动修改
|
||||
|
||||
export interface _o_project_old_20260404 {
|
||||
'artStyle'?: string | null;
|
||||
'createTime'?: number | null;
|
||||
'directorManual'?: string | null;
|
||||
'id'?: number | null;
|
||||
'imageModel'?: string | null;
|
||||
'imageQuality'?: string | null;
|
||||
'intro'?: string | null;
|
||||
'mode'?: string | null;
|
||||
'name'?: string | null;
|
||||
'projectType'?: string | null;
|
||||
'type'?: string | null;
|
||||
'userId'?: number | null;
|
||||
'videoModel'?: string | null;
|
||||
'videoRatio'?: string | null;
|
||||
}
|
||||
export interface _o_prompt_old_20260406 {
|
||||
'data'?: string | null;
|
||||
'id'?: number;
|
||||
'name'?: string | null;
|
||||
'type'?: string | null;
|
||||
'useData'?: string | null;
|
||||
}
|
||||
export interface _o_prompt_old_20260406_1 {
|
||||
'data'?: string | null;
|
||||
'id'?: number;
|
||||
'name'?: string | null;
|
||||
'TEXT'?: any | null;
|
||||
'type'?: string | null;
|
||||
'useData'?: string | null;
|
||||
}
|
||||
export interface memories {
|
||||
'content': string;
|
||||
'createTime': number;
|
||||
@ -263,9 +232,6 @@ export interface o_videoTrack {
|
||||
}
|
||||
|
||||
export interface DB {
|
||||
"_o_project_old_20260404": _o_project_old_20260404;
|
||||
"_o_prompt_old_20260406": _o_prompt_old_20260406;
|
||||
"_o_prompt_old_20260406_1": _o_prompt_old_20260406_1;
|
||||
"memories": memories;
|
||||
"o_agentDeploy": o_agentDeploy;
|
||||
"o_agentWorkData": o_agentWorkData;
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user