Rdzleo/Baji_Rtc_Toy
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
61 Commits 5 Branches 0 Tags
Commit Graph

5 Commits

Author SHA1 Message Date
Rdzleo
31982ba7b9 feat(ui): Phase 10 - 数字人模式 LVGL → esp_emote_gfx 完整切换 
✅ 验证完成：
- 音频卡顿明显改善（用户实测）
- 数字人 hiyori 动画正常显示
- nm 验证：固件中 0 个 lv_*/lvgl_* 函数符号
- kapi.bin: 4.7MB → 2.75MB（-42%）

关键改动:
- main/dzbj/ai_chat_ui_eaf.c (404 行新增)：
  完全替代 LVGL 版 ai_chat_ui.c，提供同名 C API（ai_chat_screen_init
  / set_status / set_emotion / set_chat_message / resume_animation）。
  AiChatDisplay C++ 桥接层无需改动。
  内部用 gfx_emote_init + gfx_disp_add + gfx_anim + mmap_assets。
- main/CMakeLists.txt：双轨编译
  CONFIG_BAJI_BADGE_MODE=y → ai_chat_ui.c (LVGL) + bg_gif_demo.c
  CONFIG_BAJI_BADGE_MODE=n → ai_chat_ui_eaf.c (esp_emote_gfx)
- main/dzbj/dzbj_init.c：EAF 模式跳过 lvgl_lcd_init() 调用
- main/dzbj/lcd.c/h：暴露 lcd_io_handle 给 EAF 注册 IO 完成回调

踩坑修复（commit message 留档供后续参考）:
1. esp_mmap_assets v2.0.0 在 use_fs=true 模式下 mmap_assets_get_mem()
   返回的是文件内偏移量而非 RAM 指针（fseek bug + offset 没加
   data_section_start），导致 LoadProhibited panic。
   解决：完全绕过 mmap_assets，自己 fopen + 解析 MMAP bin 头
   （layout: 头 16B + 每 entry 28B + data 段每文件 2B magic + 数据）。
2. esp_emote_gfx 期望 esp_lcd_touch v2.x 新 API，项目用 v1.1.2 旧 API。
   在 managed_components 内 gfx_touch.c 加 shim 桥接（local patch，
   reconfigure 后需 reapply）。
3. EAF format magic 是 0x89 'EAF'（gfx_eaf_dec.h），不是 0x5A5A
   （那是 esp_mmap_assets 内部文件分隔符）。
4. SPIFFS 需要在 ai_chat_screen_init 入口自动挂载（不能依赖
   bg_gif_demo 的惰性挂载，那个已被 CONFIG 排除）。

依赖增量:
- espressif2022/esp_emote_gfx: ~3.0.5
- espressif/esp_mmap_assets: * (仅用于声明依赖，运行时被绕过)

数字人模式核心 UI 范围:
- 显示数字人动画 ✅ (hiyori_m06/m07, 居中循环)
- 情绪 → GIF 映射 ✅ (23 情绪 → 2 EAF，sad/angry 暂用 m07，m03 待补)
- 字幕/状态文字: stub ⏳（字体接驳留待后续，需打包 .bin 字体到资源）
- 触摸: 不支持（PoC 阶段不需要）

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-15 15:53:21 +08:00
Rdzleo
3a1111e99d plan(rtc-only): Phase 9 取消 + Phase 10/11/12 规划（LVGL → esp_emote_gfx） 
Phase 9 三轮增量优化（jitter buffer / codec init / Core 1 绑定）效果不
明显，用户决策完整切 EAF 验证 GIF 抢资源假设。

Phase 9 → CANCELLED：
- v1 jitter buffer device_state 判错（漏 kDeviceStateDialog）
- v1 ES7210 重试破坏 ES8311 init 导致开机播报无声
- v2 修正 device_state 后 jitter 工作但仍卡
- v3 background_task 绑 Core 1 + DIAG-5 未硬件验证
- 所有代码改动 git restore 回滚（无 commit），Phase 8 DIAG 埋点保留
- CANCELLED.md 记录教训

Phase 10 新增（数字人模式 LVGL → esp_emote_gfx 完整切换）：
- 添加 espressif2022/esp_emote_gfx ~3.0.5 依赖（已 reconfigure 拉取）
- API 风险扫清：GFX_LABEL_LONG_WRAP 支持中文换行、
  gfx_font_lv_load_from_binary 兼容 LVGL bitmap font
- 双轨编译：CONFIG_BAJI_BADGE_MODE=y 保 LVGL，=n 走 EAF
- PLAN.md 含 10 个子任务从依赖到完整 UI 切换
- 预估 3-5 天

Phase 11 占位：LVGL 释放的 ~40KB DRAM + ~80KB PSRAM 投到 WiFi
缓冲扩容（STATIC_RX 10→16、DYN_RX/TX 32→48、RX_BA_WIN 6→16）+
Opus/RTC SDK jitter buffer 扩容

Phase 12 占位：原 Phase 10 集成测试 + 推送，重编号

ROADMAP 同步更新，依赖关系矫正。

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
 2026-05-15 13:37:34 +08:00
Rdzleo
14776acb0a feat: 完成 AI/吧唧双模式完全隔离重构 + 触摸坐标日志 + SPIFFS 预烧录 
## 核心变更

### 1. 双模式完全隔离 (Phase 2+4)
- 拆分 InitializeButtons() 为 InitializeBadgeModeButtons() + InitializeAiModeButtons()
- 构造函数按 device_mode 分支：吧唧模式不创建 PowerSaveTimer/BackgroundTask
- 吧唧模式不注册音量/故事按键回调，避免调用 GetAudioCodec() 崩溃
- GPIO0 由 iot_button 统一处理，dzbj_button 仅注册 KEY2(GPIO4)
- SetDeviceState() 中 background_task_ 空指针保护

### 2. 吧唧模式 BOOT 按键崩溃修复
- 新增 dzbj_boot_click_handler()（C 函数，避免 lvgl.h 与 display.h 冲突）
- 移植 dzbj 的唤醒屏幕/退出手电筒/返回Home 完整逻辑

### 3. esp_timer 阻塞 LVGL 渲染修复
- iot_button 回调在 esp_timer 任务中执行，vTaskDelay 会阻塞 lv_tick_inc
- 改为 xTaskCreate 派发到独立 FreeRTOS 任务，避免冻结 LVGL 渲染

### 4. 触摸坐标日志 + SPIFFS 预烧录
- esp_lvgl_port_touch.c 添加触摸坐标打印
- CMakeLists.txt 添加 spiffs_create_partition_image 自动打包 spiffs_image/

### 5. dzbj 模块文件新增
- device_mode: NVS 设备模式管理 (AI=0/吧唧=1)
- dzbj_button: GPIO4 KEY2 中断 + BOOT 点击处理
- dzbj_ble: BLE GATT 图传服务 (0x0B00)
- dzbj_battery: ADC 电池电压监测
- sleep_mgr: 10s 超时熄屏低功耗管理
- pages: 图片浏览/GIF播放/PWM亮度
- fatfs: SPIFFS 文件管理

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-28 10:23:04 +08:00
Rdzleo
c24a9bc162 feat: 集成 dzbj LVGL 显示模块 + 配网模式内存优化 
阶段1: 将 dzbj 项目的 LVGL 8.3.11 LCD 显示集成到 AI小智 主项目，
开机显示 ScreenHome 界面，同时优化配网模式下的内存使用，
确保 WiFi+BLE+LVGL 三者共存运行。

## 新增功能

### dzbj 显示模块集成
- 新增 main/dzbj/ 目录，移植 LCD 驱动(ST77916 QSPI)、触摸驱动(CST816S)、
  LVGL 初始化和 SquareLine Studio UI 界面
- I2C 总线共享：dzbj 触摸控制器复用主项目的 I2C_NUM_1 总线
- GPIO 冲突解决：LED(GPIO21)、Touch1(GPIO1)、Touch4(GPIO7) 改为 NC，
  电池 ADC 从 GPIO6 改为 GPIO3
- 添加 LVGL、esp_lcd_st77916、esp_lcd_touch_cst816s 等组件依赖
- managed_components 纳入版本管理

### 配网模式轻量化启动
- BoxAudioCodec: 新增 output_only 模式，仅创建 I2S TX 通道（省 ~13KB DMA）
  跳过 ES7210 ADC 初始化（省 ~2-4KB）
- AudioCodec: 新增 StartOutputOnly() 方法，仅启用扬声器输出
- Application: 配网模式跳过 Opus 编码器、输入重采样器、协议初始化、
  天气位置检测等网络业务
- 板级构造函数: 配网模式跳过电池检测、IMU传感器、PowerSaveTimer

### WifiBoard 配网流程修复
- NeedsProvisioning() 静态方法: 读取 NVS force_ap 和 SSID 列表，
  用于提前判断配网模式
- force_ap 竞态修复: 构造函数不再清零 force_ap，改在 StartNetwork() 清零，
  确保 NeedsProvisioning() 能正确读到 force_ap=1
- Application 缓存 provisioning_mode_ 成员变量，避免重复读 NVS

### BLE 配网重启修复
- 配网成功后用 esp_timer 延迟重启替代 xTaskCreate，
  避免内存紧张时任务创建失败导致设备不重启
- 注释掉 WiFi 连接成功后的 MAC 地址发送步骤

### sdkconfig 内存优化
- BT_ALLOCATION_FROM_SPIRAM_FIRST=y (BLE 动态分配优先 PSRAM)
- SPIRAM_MALLOC_RESERVE_INTERNAL=32768
- NVS_ALLOCATE_CACHE_IN_SPIRAM=y
- WiFi 静态缓冲区数量优化 (RX=10, TX=8)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-27 17:07:51 +08:00
Rdzleo
7498e7b4a9 初始化补充提交 2026-02-24 15:57:32 +08:00