Rdzleo/Baji_Rtc_Toy
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
37 Commits 5 Branches 0 Tags
Commit Graph

5 Commits

Author SHA1 Message Date
Rdzleo
f2be9922b6 feat(rtc-only): Phase 5 - RTC 字幕显示恢复（透明背景 + 2 行黑字 + 锁优化） 
按 GSD 框架 .planning/milestones/digital_human_rtc/phases/phase_05_subtitle_restore/
规划完成 Phase 5 字幕显示恢复。

## 核心变更（main/dzbj/ai_chat_ui.c）

### 1. chat_container 重构

- 新增 static chat_container 变量（lv_obj 父容器）
- 尺寸 320×56（= 2 行字 + padding 4px*2）
- 位置 LV_ALIGN_BOTTOM_MID 距底 10px
- 完全透明背景（LV_OPA_TRANSP），无灰底
- 初始 HIDDEN，有内容时显示

### 2. chat_label 改造

- 黑色文本（用户反馈白字在浅色背景上不清晰）
- 尺寸 312×48 限制最多 2 行
- LV_LABEL_LONG_WRAP → LV_LABEL_LONG_DOT，超出 2 行自动 ... 截断
- font_puhui_20_4 中文字体不变

### 3. ai_chat_set_chat_message() 实现

原为空函数（PoC 期间 return），本 Phase 完整实现：
- 锁外去重：static last_content[256]，相同内容直接返回
- lvgl_port_lock 200ms → 500ms（GIF 解码繁忙时给予更长等待）
- 内容空时隐藏容器，非空显示
- 成功更新后缓存 last_content

### 4. z-index 修复

bg_gif_demo_start() 后立即 lv_obj_move_foreground(chat_container)
否则 bg_img/gif_obj 后于 chat_container 创建会遮挡字幕

## 实测验证（用户协作）

60s 对话期间：
- ✅ AI 字幕完整推送 3 次（含 54 字符长字幕）
- ✅ LVGL 锁超时 14 次 → 0 次（锁外去重生效）
- ✅ 表情切换 + 字幕同步工作
- ✅ 长字幕自动 2 行截断
- ✅ 无 abort/重启

## 调用链（已对接 application.cc 现有逻辑，无需改协议层）

RTC 字幕 → display->SetChatMessage(role, msg)
  → AiChatDisplay::SetChatMessage
  → ai_chat_set_chat_message() ← 本 Phase 实现

## GSD 文档

- PLAN.md
- SUBTITLE_REPORT.md（含锁优化对比 + 布局规划 + 用户决策记录）
 2026-05-13 13:35:41 +08:00
Rdzleo
497c1b4654 feat(rtc-only): Phase 4 - 情绪标签 → 数字人 hiyori GIF 映射 + 切换接口 
按 GSD 框架 .planning/milestones/digital_human_rtc/phases/phase_04_emotion_mapping/
规划完成 Phase 4 情绪映射 + 运行时切换。

## 核心变更

### bg_gif_demo 新增运行时切换接口

```c
esp_err_t bg_gif_demo_switch_gif(const char *new_gif_path);
```

实现要点:
- 先 heap_caps_free(g_gif_data) 释放旧 PSRAM，再加载新 GIF，单峰仅一份
- 内部 static last_gif_path 去重（相同路径直接返回 ESP_OK）
- 切换后立即 lv_timer_set_period(timer, 20) 防止 lv_gif_set_src 重建为默认 10ms
- LVGL 锁保护 200ms 超时

### 22 情绪 → 3 hiyori GIF 映射表

定义在 main/dzbj/ai_chat_ui.c USE_BG_GIF_POC 包裹内：

| GIF | 情绪标签 (个数) |
|-----|----------------|
| m06 (默认/积极) | neutral, happy, laughing, funny, loving, relaxed, delicious, kissy, confident, silly, blink, curious (12) |
| m07 (思考/疲倦) | sleepy, thinking, confused, embarrassed, dizzy (5) |
| m03 (负面/严肃) | sad, crying, angry, surprised, shocked (5) |

22 个标准情绪 100% 覆盖，未映射的情绪默认 fallback 到 m06。

### ai_chat_set_emotion 改造

PoC 模式下优先切换数字人大图（不再切隐藏的 emoji 200x89）：

```c
#ifdef USE_BG_GIF_POC
if (bg_gif_demo_is_running()) {
    const char *path = find_hiyori_gif(emotion);
    bg_gif_demo_switch_gif(path);
    return;
}
#endif
// 非 PoC 模式 fallback emoji 路径保留
```

## 调用链（已与现有 RTC 字幕解析对接，无需改 application.cc）

RTC 字幕 → application.cc:1419 display->SetEmotion(emo)
  → AiChatDisplay::SetEmotion (display/ai_chat_display.cc)
  → ai_chat_set_emotion (dzbj/ai_chat_ui.c)
  → bg_gif_demo_switch_gif (PoC 模式)
  → 数字人 hiyori GIF 切换

## 烧录验证（用户实测）

监控 60s 期间捕获情绪切换：
- neutral / happy → m06（已在播，去重）
- thinking → m07 切换成功 (590ms 延迟)
- confused → m07 去重跳过
- AI 回复结束 → 自动回到 neutral
- 无 abort / 重启

m06 ↔ m07 切换屏幕可视确认，m03 走相同代码路径无需重复测试。

## GSD 文档（同时提交）

- .planning/milestones/digital_human_rtc/phases/phase_04_emotion_mapping/PLAN.md
- .planning/milestones/digital_human_rtc/phases/phase_04_emotion_mapping/EMOTION_REPORT.md
 2026-05-13 11:59:38 +08:00
Rdzleo
7d1c7dc1f0 feat(rtc-only): Phase 3 - 数字人 GIF 资源准备（hiyori m03/m06/m07，209x360） 
按 GSD 框架 .planning/milestones/digital_human_rtc/phases/phase_03_gif_resources/
规划完成 Phase 3 数字人表情 GIF 资源处理。

## 处理方式（与 PoC 阶段 hiyori_m05.gif 一致）

```bash
gifsicle --resize _x360 -O3 input.gif -o output.gif
```

- 高度 = LCD 360px，宽度按原比例自动算 → 209px
- 不裁剪（保持源 GIF 完整人物）
- 不加 --lossy / --colors（保留 256 色，画质优先）
- 只用 -O3 优化文件大小

## 处理结果

| GIF | 用途 | 源 | 处理后 | 节省 |
|-----|------|-----|--------|------|
| m03 | 负面/严肃 | 407×700 3.3MB | 209×360 1.15MB | 66% |
| m06 | 默认/积极 | 407×700 1.3MB | 209×360 0.44MB | 66% |
| m07 | 思考/疲倦 | 407×700 1.2MB | 209×360 0.40MB | 66% |
| 合计 | — | 5.7MB | 1.94MB | 66% |

## 决策过程（避免后续重复犯错）

Phase 3 初稿曾尝试裁剪到 240×320 + PIL 全帧 bbox 居中裁剪，
用户烧录后反馈"视觉感官不好"——角色被横向压扁（240×320 纵横比 0.75
vs 源 407×700 纵横比 0.583）。回归 PoC 等比例缩放方式后效果与 PoC 一致。

PoC 处理标准已写入用户级 feedback memory（feedback_hiyori_gif_processing.md），
后续 hiyori GIF 处理一律用本方式，除非用户主动要求修改。

## 显示效果（用户已目视确认）

LCD 360×360 居中显示 209×360 GIF：
- 垂直方向: 360 = 360，完全充满
- 横向: 209 < 360，左右各 75.5px 留边显示背景图
- 角色比例: 完整保留源 GIF 的 407:700 = 0.582 纵横比，人物细高自然

## 删除项

- spiffs_image/hiyori_m05.gif (2.3MB) 已删除 - 被 m06/m07/m03 替代
  文件历史保留在 git，可通过 git show eb96130:spiffs_image/hiyori_m05.gif 恢复

## 默认表情切换

main/dzbj/ai_chat_ui.c:234:
- PoC: bg_gif_demo_start(..., "/spiflash/hiyori_m05.gif")
- Phase 3: bg_gif_demo_start(..., "/spiflash/hiyori_m06.gif")

## 烧录运行时验证

- 烧录后 0 次重启（连续监控 18 秒）
- BG_GIF: GIF 已加载到 PSRAM: /spiflash/hiyori_m06.gif (441.8 KB)
- AudioCodec: Audio codec started（首次冷启动直接成功）
- 用户目视确认显示效果良好

## GSD 文档（同时提交）

- .planning/milestones/digital_human_rtc/phases/phase_03_gif_resources/PLAN.md
- .planning/milestones/digital_human_rtc/phases/phase_03_gif_resources/GIF_REPORT.md

## SPIFFS 容量

新 SPIFFS 4.94MB 当前实际占用 ~2MB（40%），余量 ~2.94MB 充足。
 2026-05-13 11:42:30 +08:00
Rdzleo
ce7a3aad63 feat(rtc-only): Phase 2 - 16MB Flash 分区调整（OTA 5.5MB + SPIFFS 4.9MB） 
按 GSD 框架 .planning/milestones/digital_human_rtc/phases/phase_02_partition_resize/
规划完成 Phase 2 分区表调整，为 Phase 3 数字人 GIF 资源扩容铺路。

## 分区表变更

| 分区 | 旧 | 新 | 变化 |
|------|-----|-----|------|
| model | 0x10000 / 64KB | — 已移除 | -64KB |
| ota_0 | 0x20000 / 6.5MB | 0x10000 / 5.5MB | -1MB |
| ota_1 | 0x6A0000 / 6.5MB | 0x590000 / 5.5MB | -1MB |
| storage | 0xD20000 / 2.875MB | 0xB10000 / 4.9375MB | +2.0625MB |

合计：16MB（不变），SPIFFS 净扩容 2.0625MB

## 决策依据

- 当前 =n 固件 4.63MB，5.5MB ota 留 19% 成长 buffer
- SPIFFS 4.9MB 为 3 个 hiyori GIF + 背景图扩容（Phase 3 预算 ~3.9MB）
- 移除未使用的 64KB model 分区
- NVS 分区位置/大小不变，WiFi 凭据等数据完整保留

## 验收结果（详见 PARTITION_REPORT.md）

- =n 编译：✅ kapi.bin 4.63MB ≤ 5.5MB ota_0
- =y 双模式编译：链接通过但 6.05MB > 5.5MB ota（**预期降级**，
  数字人 RTC 单一形态只用 =n 固件，Phase 3 资源精简后或可恢复）
- 烧录运行时验证：
  ✅ Running partition: ota_0
  ✅ NVS 数据完整保留（WiFi 凭据/设备配置）
  ✅ SPIFFS 自动挂载，hiyori_m05.gif 加载成功
  ✅ AI 对话模式启动，Codec 工作，WiFi 连接，RTC WebSocket 协议初始化
  ✅ free_heap=5.2MB（无 regression）

## GSD 文档（同时提交）

- .planning/milestones/digital_human_rtc/phases/phase_02_partition_resize/PLAN.md
- .planning/milestones/digital_human_rtc/phases/phase_02_partition_resize/PARTITION_REPORT.md
 2026-05-13 11:00:35 +08:00
Rdzleo
672506e7c7 feat(rtc-only): Phase 1 - 通过 CONFIG_BAJI_BADGE_MODE 屏蔽电子吧唧模式 
按 GSD 框架 .planning/milestones/digital_human_rtc/ 规划完成 Phase 1。
源代码全部保留，通过 Kconfig 开关 + CMakeLists 条件编译 + #ifdef 调用点保护
实现"吧唧模式不进固件但代码可恢复"。

## 核心变更

### Kconfig 开关（默认关闭）
- 新增 CONFIG_BAJI_BADGE_MODE（main/Kconfig.projbuild）
- sdkconfig.defaults 默认 =n
- =y 时恢复双模式（电子吧唧 + AI 对话）
- =n 时仅 AI 数字人 RTC 模式

### CMakeLists 剥离（剥离式不重写）
- 9 个 dzbj/ 吧唧专属 + 9 个 ui/screens/ 吧唧 UI 进入 if(CONFIG_BAJI_BADGE_MODE) 条件块
- 公共保留: dzbj/lcd.c, ai_chat_ui.c, sprite_demo.c, dual_gif_demo.c,
  bg_gif_demo.c, pages_pwm.c, dzbj_init.c, fatfs.c
- 修正 PLAN 漏判：dzbj_init/fatfs 公共化（AI 模式调用 dzbj_hw_display_init/DecodeImg）

### 调用点 #ifdef 保护
- application.cc: L20 include, L63-66 background_task, L536 device_mode 分支
- movecall_moji_esp32s3.cc: dzbj headers, init_spiffs_image_list extern,
  dzbj_boot_click_handler extern, device_mode_is_badge 分支, InitializeBadgeMode,
  InitializeBadgeModeButtons, mode_switch_combo 注册, device_mode_in_switch_suppress
- 保留公共 extern: ai_chat_screen_init, ai_chat_resume_animation, pwm_init

### 整体文件级 #ifdef 包裹
- dzbj/dzbj_button.c/h
- dzbj/sleep_mgr.c
- sleep_mgr/include/sleep_mgr.h

### 6 个文件显式 #include "sdkconfig.h"
- ESP-IDF 不会 force-include，必须手动 include 才能拿到 CONFIG_* 宏

## G7 验收双向编译

- =n 模式 build: ✅ EXIT=0（数字人 RTC 单一形态）
- =y 模式 build: ✅ EXIT=0（双模式恢复可用）

## 固件大小变化

| 段 | =n | =y | 节省 |
|----|-----|------|------|
| .text | 2.03 MB | 2.06 MB | 27 KB |
| .rodata | 2.48 MB | 3.87 MB | 1.39 MB |
| Total | 4.63 MB | 6.05 MB | 1.45 MB |

## GSD 文档（同时提交）

- .planning/milestones/digital_human_rtc/MILESTONE.md
- .planning/milestones/digital_human_rtc/ROADMAP.md
- .planning/milestones/digital_human_rtc/INTEL.md
- .planning/milestones/digital_human_rtc/phases/phase_01_kconfig_isolation/PLAN.md
- .planning/milestones/digital_human_rtc/phases/phase_01_kconfig_isolation/SIZE_REPORT.md
- .planning/milestones/digital_human_rtc/phases/phase_01_kconfig_isolation/BADGE_MODE_ISOLATION_MAP.md
- 编译大小原始数据: size_*.txt

## 已知事项

- =n 固件 4.63 MB 仍 > 4 MB 目标，Phase 2 调整分区 + Phase 3 物理移除图片资源解决
- main/dzbj/ 下所有源文件完整保留，无任何物理删除
 2026-05-13 10:22:48 +08:00