diff --git a/data/skills/production-agent/decision/SKILL.md b/data/skills/production-agent/decision/SKILL.md index 0698fdb..73da9d7 100644 --- a/data/skills/production-agent/decision/SKILL.md +++ b/data/skills/production-agent/decision/SKILL.md @@ -11,10 +11,15 @@ description: 短剧漫剧制作决策层。负责分析用户需求、制定执 | 工具 | 说明 | |------|------| -| `get_project_info` | 获取当前项目信息(名称、风格、类型、描述、集数进度等) | -| `get_state` | 获取当前执行状态,用于了解已完成的工作 | -| `read_skill_file` | 读取技能参考资料文件 | -| `execution` | 执行层工具,传入任务计划文本,由执行层完成具体工作 | +| `activate_skill` | 激活技能,加载完整指令和资源列表到上下文 | +| `read_skill_file` | 读取已激活技能目录下的参考资料文件 | +| `deepRetrieve` | 深度检索记忆,通过关键词回忆历史对话详情 | +| `run_sub_agent` | 启动子Agent执行任务(可用:`executionAI`、`supervisionAI`) | +| `get_flowData` | 获取工作区数据(key: `script` 剧本 / `assets` 资产列表) | +| `get_flowData_schema` | 获取工作区数据的类型结构 | +| `set_flowData` | 保存数据到工作区(lodash 路径) | +| `generate_assets_images` | 生成衍生资产图片(传入资产 id 列表) | +| `generate_storyboard_images` | 生成分镜图(传入剧本文本) | ## 核心工作流程(必须严格遵循) @@ -30,22 +35,22 @@ description: 短剧漫剧制作决策层。负责分析用户需求、制定执 ### 阶段一:收集信息(仅新任务触发) -1. 调用 `get_project_info` 获取项目基本信息 -2. 调用 `get_state` 了解当前已完成的工作进度 +1. 调用 `get_flowData` 获取当前工作区的剧本和资产数据,了解项目现状 +2. 调用 `deepRetrieve` 检索相关历史记忆,了解已完成的工作进度 3. 使用 `read_skill_file` 加载 `references/plan.md` 获取计划制定规范 ### 阶段二:制定计划并确认 -1. 结合项目信息、当前状态和用户需求,按照 `plan.md` 的规范生成**结构化执行计划** +1. 结合工作区数据、历史记忆和用户需求,按照 `plan.md` 的规范生成**结构化执行计划** 2. **将计划回复给用户**,请求确认 3. 如果用户要求调整,修改计划后重新回复,直到用户确认 4. 输出计划后**停止并等待用户回复**,不要自行继续 ### 阶段三:按计划执行(仅用户确认后触发) -用户确认后,按步骤顺序逐步调用 `execution` 工具: +用户确认后,按步骤顺序逐步调用 `run_sub_agent` 工具: -1. 每次调用 `execution` 时,将当前步骤的任务描述作为 `taskDescription` 参数传入 +1. 每次调用 `run_sub_agent` 时,选择 `executionAI` 作为子Agent,将当前步骤的任务描述作为 `prompt` 参数传入 2. 检查返回结果是否符合预期,不符合则调整指令重试 3. 将上一步的输出作为上下文传入下一步(如有依赖) 4. 全部步骤完成后,向用户汇报整体结果 @@ -55,7 +60,8 @@ description: 短剧漫剧制作决策层。负责分析用户需求、制定执 - 根据项目类型(短剧/漫剧)和风格调整策略 - 复杂任务拆分为可独立执行的小步骤 - 关注步骤间的依赖关系,确保顺序合理 -- 利用 `get_state` 避免重复已完成的工作 +- 利用 `deepRetrieve` 检索历史记忆,避免重复已完成的工作 +- **提取衍生资产后**:计划中必须包含"询问用户是否生成资产图片"步骤。若用户确认,执行层将调用 `generate_assets_images` 工具批量生成衍生资产图片 ## 参考资料 diff --git a/data/skills/production-agent/decision/references/plan.md b/data/skills/production-agent/decision/references/plan.md index 1d31c1c..cef4464 100644 --- a/data/skills/production-agent/decision/references/plan.md +++ b/data/skills/production-agent/decision/references/plan.md @@ -2,14 +2,14 @@ ## 计划制定规范 -根据 `get_project_info` 返回的项目信息和用户需求,按以下规范生成执行计划。 +根据 `get_flowData` 返回的工作区数据和用户需求,按以下规范生成执行计划。 ## 计划结构 ### 1. 任务总览 一段话概述: -- 项目名称和类型(来自项目信息) +- 当前工作区状态(剧本、资产情况) - 用户本次的核心需求 - 预期最终产出 @@ -21,11 +21,11 @@ |------|------| | 步骤编号 | 从 1 开始 | | 步骤名称 | 简明标题 | -| 具体内容 | 要做什么(需足够详细,可直接作为 `execution` 工具的 `plan` 参数) | +| 具体内容 | 要做什么(需足够详细,可直接作为 `run_sub_agent` 工具的 `prompt` 参数) | | 预期输出 | 完成后应产出什么 | | 依赖步骤 | 前置步骤编号(无依赖填"无") | -**关键要求**:每个步骤的"具体内容"必须是一段完整的任务描述文本,能够独立传给 `execution` 工具执行,不能是模糊的一句话。 +**关键要求**:每个步骤的"具体内容"必须是一段完整的任务描述文本,能够独立传给 `run_sub_agent` 工具执行,不能是模糊的一句话。 ### 3. 执行顺序 @@ -36,7 +36,6 @@ ``` ## 📋 执行计划 -**项目**:[项目名称] · [项目类型] **目标**:[一句话描述本次目标] **预计步骤**:[N] 步 @@ -58,8 +57,8 @@ ## 注意事项 -- 步骤粒度适中:每步对应一次 `execution` 调用 -- 结合项目当前进度(`get_state`),跳过已完成的工作 +- 步骤粒度适中:每步对应一次 `run_sub_agent` 调用 +- 利用 `deepRetrieve` 检索历史记忆,跳过已完成的工作 - 考虑用户已有的素材和资源,避免重复 - 每个步骤的内容描述要包含足够上下文,使执行层无需额外信息即可工作 diff --git a/data/skills/production-agent/execution/SKILL.md b/data/skills/production-agent/execution/SKILL.md index 8823e3f..681fad2 100644 --- a/data/skills/production-agent/execution/SKILL.md +++ b/data/skills/production-agent/execution/SKILL.md @@ -17,24 +17,21 @@ description: > ## 工作指引 -### 拆分剧本流程 - -- 当执行拆分剧本任务的时候,你需要先调用 `get_flowData` 获取原始剧本 -- 根据[剧本拆分]文档中的拆分原则和示例,将剧本拆分成视频模型能够处理的片段 -- 将拆分后的剧本片段必须使用 `set_flowData` 工具保存(key 为 `"script"`),然后仅需告知用户拆分完成 - ### 提取衍生资产流程 1. 调用 `get_flowData` 分别获取 `script`(剧本)和 `assets`(现有资产列表) 2. 根据[衍生资产提取](references/derive-assets-extraction.md)文档中的提取原则,分析剧本内容,为每个角色资产识别出关联的衍生资产(道具、服饰、法器、座驾、场景物件等) 3. 对每个有衍生状态的资产调用 `set_flowData({ key: "assets[N].derive", value: derive数组 })` 逐个保存 -4. 告知用户提取完成,列出为每个角色提取的衍生资产概要,等待用户确认 +4. 告知用户提取完成,列出为每个角色提取的衍生资产概要 +5. **询问用户是否需要生成衍生资产图片**: + - 如果用户确认需要,收集所有需要生成图片的资产 id,调用 `generate_assets_images({ ids: [资产id列表] })` 生成图片 + - 如果用户拒绝,跳过此步骤,流程结束 + - 生成图片为异步操作,可以先回复用户"正在生成图片,稍后会自动更新",等图片生成完成后再通知用户查看 ## 参考资料 本技能附带以下参考资料,根据任务需要使用 `read_skill_file` 工具按需加载: -- [剧本拆分](references/script-splitting.md) — 将剧本拆分成视频模型能够处理的片段,包含拆分原则和示例 - [衍生资产提取](references/derive-assets-extraction.md) — 从剧本和角色资产中提取衍生资产的原则和示例 **注意**:根据用户当前任务选择性加载对应参考资料,不要一次性全部加载。 diff --git a/data/skills/production-agent/execution/references/script-splitting.md b/data/skills/production-agent/execution/references/script-splitting.md deleted file mode 100644 index 031e546..0000000 --- a/data/skills/production-agent/execution/references/script-splitting.md +++ /dev/null @@ -1,39 +0,0 @@ -# 剧本拆分(仅原始文本切割,输出 string[]) - -本指南只做一件事: -把一份长剧本原文切成多个文本片段,输出 `string[]`。 - -不做结构化字段提取,不输出 JSON 对象,不附加角色卡、锚点、分镜元数据。 - -## 1. 输入与输出 - -### 输入 - -- 一段完整长剧本文本(字符串) - -### 输出 - -- `string[]` -- 数组每个元素是“原始剧本的一段子串” -- 拼接后应可还原原文语义顺序(允许空白规范化差异) -- 开头必须是**喵,** - -示例: - -```ts -[ - "喵,第一段原文...", - "喵,第二段原文...", - "喵,第三段原文..." -] -``` - -可能输出: - -```ts -[ - "喵,场景1:雨夜街道。林夏快步穿过巷口。", - "喵,场景2:天台。她停下,回头看向门口。", - "喵,场景3:脚步声逼近。她握紧手机。" -] -``` diff --git a/src/agents/productionAgent/tools.ts b/src/agents/productionAgent/tools.ts index 48700ba..d37fd8d 100644 --- a/src/agents/productionAgent/tools.ts +++ b/src/agents/productionAgent/tools.ts @@ -5,11 +5,27 @@ import { Socket } from "socket.io"; const deriveSchema = z.object({ name: z.string().min(1).max(20), desc: z.string().min(1).max(100) }); const assetSchema = z.object({ assetsId: z.string(), name: z.string(), desc: z.string(), src: z.string(), derive: z.array(deriveSchema).optional() }); -const flowDataSchema = z.object({ script: z.string(), assets: z.array(assetSchema) }); +const storyboardTableSchema = z.array( + z.object({ + id: z.number(), + title: z.string(), + description: z.string(), + camera: z.string(), + duration: z.number(), + frameMode: z.enum(["firstFrame", "endFrame", "linesSoundEffects"]), + lines: z.string().nullable(), + sound: z.string().nullable(), + associateAssetsIds: z.array(z.number()), + }), +); +const flowDataSchema = z.object({ script: z.string(), assets: z.array(assetSchema), storyboardTable: storyboardTableSchema }); + type FlowData = z.infer; -const keySchema = z.object({ key: z.enum(["script", "assets"]).describe("script=剧本,assets=资产列表") }); -const valueSchema = z.union([z.string(), z.array(assetSchema), assetSchema, z.array(deriveSchema)]).describe("路径对应的值"); +const keySchema = z.object({ key: z.enum(["script", "assets", "storyboardTable"]).describe("script=剧本,assets=资产列表,storyboardTable=分镜表") }); +const valueSchema = z + .union([z.string(), z.array(assetSchema), assetSchema, z.array(deriveSchema), z.array(storyboardTableSchema)]) + .describe("路径对应的值"); export default (socket: Socket, toolsNames?: string[]) => { const tools: Record = { @@ -50,6 +66,22 @@ export default (socket: Socket, toolsNames?: string[]) => { return true; }, }), + generate_assets_images: tool({ + description: "生成衍生资产的图片", + inputSchema: z.object({ ids: z.array(z.string()).describe("需要生成的资产id列表") }), + execute: async ({ ids }) => { + console.log("[tools] generated_assets", ids); + return new Promise((resolve) => socket.emit("generatedAssets", { ids }, (res: any) => resolve(res))); + }, + }), + generate_storyboard_images: tool({ + description: "生成分镜图", + inputSchema: z.object({ script: z.string().describe("剧本文本") }), + execute: async ({ script }) => { + console.log("[tools] generate_storyboard_images", script); + return new Promise((resolve) => socket.emit("generateStoryboardImages", { script }, (res: any) => resolve(res))); + }, + }), }; return toolsNames ? Object.fromEntries(Object.entries(tools).filter(([n]) => toolsNames.includes(n))) : tools; diff --git a/src/logger.ts b/src/logger.ts index 6a1ca0f..9eadd58 100644 --- a/src/logger.ts +++ b/src/logger.ts @@ -89,13 +89,13 @@ class Logger { (console as any)[level] = (...args: unknown[]) => { this.writing = true; try { - // this.write(level, args); + this.write(level, args); } catch (err) { this.originalConsole.error?.("[Logger Error]", err); } + this.writing = false; this.originalConsole[level]!(...args); - this.writing = false; }; }