|
|
31982ba7b9
|
feat(ui): Phase 10 - 数字人模式 LVGL → esp_emote_gfx 完整切换
✅ 验证完成：
- 音频卡顿明显改善（用户实测）
- 数字人 hiyori 动画正常显示
- nm 验证：固件中 0 个 lv_*/lvgl_* 函数符号
- kapi.bin: 4.7MB → 2.75MB（-42%）
关键改动:
- main/dzbj/ai_chat_ui_eaf.c (404 行新增)：
完全替代 LVGL 版 ai_chat_ui.c，提供同名 C API（ai_chat_screen_init
/ set_status / set_emotion / set_chat_message / resume_animation）。
AiChatDisplay C++ 桥接层无需改动。
内部用 gfx_emote_init + gfx_disp_add + gfx_anim + mmap_assets。
- main/CMakeLists.txt：双轨编译
CONFIG_BAJI_BADGE_MODE=y → ai_chat_ui.c (LVGL) + bg_gif_demo.c
CONFIG_BAJI_BADGE_MODE=n → ai_chat_ui_eaf.c (esp_emote_gfx)
- main/dzbj/dzbj_init.c：EAF 模式跳过 lvgl_lcd_init() 调用
- main/dzbj/lcd.c/h：暴露 lcd_io_handle 给 EAF 注册 IO 完成回调
踩坑修复（commit message 留档供后续参考）:
1. esp_mmap_assets v2.0.0 在 use_fs=true 模式下 mmap_assets_get_mem()
返回的是文件内偏移量而非 RAM 指针（fseek bug + offset 没加
data_section_start），导致 LoadProhibited panic。
解决：完全绕过 mmap_assets，自己 fopen + 解析 MMAP bin 头
（layout: 头 16B + 每 entry 28B + data 段每文件 2B magic + 数据）。
2. esp_emote_gfx 期望 esp_lcd_touch v2.x 新 API，项目用 v1.1.2 旧 API。
在 managed_components 内 gfx_touch.c 加 shim 桥接（local patch，
reconfigure 后需 reapply）。
3. EAF format magic 是 0x89 'EAF'（gfx_eaf_dec.h），不是 0x5A5A
（那是 esp_mmap_assets 内部文件分隔符）。
4. SPIFFS 需要在 ai_chat_screen_init 入口自动挂载（不能依赖
bg_gif_demo 的惰性挂载，那个已被 CONFIG 排除）。
依赖增量:
- espressif2022/esp_emote_gfx: ~3.0.5
- espressif/esp_mmap_assets: * (仅用于声明依赖，运行时被绕过)
数字人模式核心 UI 范围:
- 显示数字人动画 ✅ (hiyori_m06/m07, 居中循环)
- 情绪 → GIF 映射 ✅ (23 情绪 → 2 EAF，sad/angry 暂用 m07，m03 待补)
- 字幕/状态文字: stub ⏳（字体接驳留待后续，需打包 .bin 字体到资源）
- 触摸: 不支持（PoC 阶段不需要）
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-05-15 15:53:21 +08:00 |
|
|
|
4b7b1949d4
|
perf(rtc-only): Phase 6 收尾 - 卡顿优化 + PowerSaveTimer 守卫 + 开机加速
代码改动:
- AudioLoop 加 vTaskDelay(1)，让出 Core 1 idle task 防 WiFi/RTC 饥饿
- BackgroundTask 优先级 2 → 5，提升 Opus 解码实时性
- LVGL 刷新 5ms → 16ms (60Hz)，CPU 占用降 60%
- GIF 定时器 20ms → 33ms (3 处)，PSRAM 流量减半
- AI 字幕推送 100ms 节流，避免 LVGL 锁争抢
- EnterIdleHibernate 清空 audio_decode_queue_，防 standby_sound 残留误触发首帧
- PowerSaveTimer OnEnterSleepMode 加 device_state 守卫，拦截 dialog/connecting
期间关功放（修复欢迎语期间被静音 bug）
- 取消开机 ADC 阻塞采样，开机播报响应从 6 秒缩到 < 3 秒
新增规划:
- Phase 7 占位文档：电量保护 + PowerSaveTimer 重构 + 唤醒杂音根治 + RTC 抖动缓解
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-05-14 11:38:48 +08:00 |
|
|
|
eb96130fc9
|
feat(Rtc_AIavatar): 数字人透明 GIF 显示方案 PoC 完成（背景图+透明GIF叠加）
源代码变更:
- main/dzbj/bg_gif_demo.c/h: 方案 C 最终实现 - JPG 背景图(lv_img) + 透明 GIF(lv_gif) 叠加
- main/dzbj/dual_gif_demo.c/h: 方案 B 中间产物 - 双 GIF 循环切换
- main/dzbj/sprite_demo.c/h: 方案 A 已弃用 - DMA 直写 GRAM 与 LVGL 争抢 LCD IO 失败
- main/dzbj/ai_chat_ui.c: 集成 USE_BG_GIF_POC 开关，加载背景图+透明 GIF
- main/dzbj/lcd.c: panel_handle 移除 static，便于其他模块访问
- main/CMakeLists.txt: 新增 3 个 dzbj 模块编译
资源新增:
- spiffs_image/Background_360x360.jpg: 设备背景图(20KB)
- spiffs_image/hiyori_m05.gif: Cubism Editor 直接导出的透明 GIF(2.3MB)
- docs/Rtc_AIavatar/: Live2D 模型(Hiyori/Haru) + 32 段 Haru GIF + 方案文档第18章 PoC 实战记录
- tools/sprite_poc/: Python GIF→RGB565 转换脚本
踩坑要点(详见 docs/Rtc_AIavatar 第18章):
- PIL Image.quantize() 会破坏 RGBA 透明度，必须改用 gifsicle
- PIL 保存动画 GIF 仅第1帧有透明，后续帧不透明 - LVGL gifdec 按帧读取
- Cubism Editor 直接导出 GIF 才能逐帧保留透明信息(FREE 版限制部分模型)
- gifsicle --lossy 会严重锯齿化，去掉只保留 --colors 256 + -O3 即可
- 裁剪居中需用全帧 bbox 不能只看第1帧(Live2D 角色每帧位置有偏移)
- LVGL 默认不支持 PNG，背景图用 JPG + esp_jpeg 解码到 RGB565 buffer
- 透明 GIF 显示黑色背景: gifdec.c canvas 初始化 alpha 须改为 0x00
|
2026-05-12 17:14:49 +08:00 |
|
|
|
0bdf7be875
|
feat: 应援灯防撕裂优化 - DMA直接填充GRAM + LVGL flush拦截 + PWM黑屏遮蔽
应援灯颜色切换从 LVGL 渲染改为直接 DMA 填充 GRAM，彻底消除 LVGL 刷新竞争：
lcd.c/lcd.h:
- 新增 lcd_fill_color_with_buf() 直接 DMA 分条填充全屏纯色
- 新增 TEON(0x35) 启用 TE 内部同步信号
- 新增 lcd_read_scanline()/lcd_wait_vsync_timeout() VSYNC 读取接口
（实测 QSPI 模式下 TESLRD 始终返回 0xFFFF，软件 VSYNC 不可用）
ui_ScreenSet.c:
- LVGL flush 回调拦截：进入应援灯时替换为空操作，退出时恢复
解决 LVGL 周期刷新覆盖 DMA 颜色导致红色方块残留的问题
- DMA 缓冲区生命周期管理：进入时分配，退出时释放
- 颜色切换 PWM=0 黑屏遮蔽：DMA 期间完全熄灭背光，撕裂不可见
- 滑块交互优化：拖动期间锁定其他按钮 + PWM 50ms 节流
- 手动滑动检测替代 LVGL 手势（layer_top 上手势不可靠）
.gitignore: 排除 docs/*.pdf 文档文件
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-03-30 15:18:41 +08:00 |
|
|
|
c24a9bc162
|
feat: 集成 dzbj LVGL 显示模块 + 配网模式内存优化
阶段1: 将 dzbj 项目的 LVGL 8.3.11 LCD 显示集成到 AI小智 主项目，
开机显示 ScreenHome 界面，同时优化配网模式下的内存使用，
确保 WiFi+BLE+LVGL 三者共存运行。
## 新增功能
### dzbj 显示模块集成
- 新增 main/dzbj/ 目录，移植 LCD 驱动(ST77916 QSPI)、触摸驱动(CST816S)、
LVGL 初始化和 SquareLine Studio UI 界面
- I2C 总线共享：dzbj 触摸控制器复用主项目的 I2C_NUM_1 总线
- GPIO 冲突解决：LED(GPIO21)、Touch1(GPIO1)、Touch4(GPIO7) 改为 NC，
电池 ADC 从 GPIO6 改为 GPIO3
- 添加 LVGL、esp_lcd_st77916、esp_lcd_touch_cst816s 等组件依赖
- managed_components 纳入版本管理
### 配网模式轻量化启动
- BoxAudioCodec: 新增 output_only 模式，仅创建 I2S TX 通道（省 ~13KB DMA）
跳过 ES7210 ADC 初始化（省 ~2-4KB）
- AudioCodec: 新增 StartOutputOnly() 方法，仅启用扬声器输出
- Application: 配网模式跳过 Opus 编码器、输入重采样器、协议初始化、
天气位置检测等网络业务
- 板级构造函数: 配网模式跳过电池检测、IMU传感器、PowerSaveTimer
### WifiBoard 配网流程修复
- NeedsProvisioning() 静态方法: 读取 NVS force_ap 和 SSID 列表，
用于提前判断配网模式
- force_ap 竞态修复: 构造函数不再清零 force_ap，改在 StartNetwork() 清零，
确保 NeedsProvisioning() 能正确读到 force_ap=1
- Application 缓存 provisioning_mode_ 成员变量，避免重复读 NVS
### BLE 配网重启修复
- 配网成功后用 esp_timer 延迟重启替代 xTaskCreate，
避免内存紧张时任务创建失败导致设备不重启
- 注释掉 WiFi 连接成功后的 MAC 地址发送步骤
### sdkconfig 内存优化
- BT_ALLOCATION_FROM_SPIRAM_FIRST=y (BLE 动态分配优先 PSRAM)
- SPIRAM_MALLOC_RESERVE_INTERNAL=32768
- NVS_ALLOCATE_CACHE_IN_SPIRAM=y
- WiFi 静态缓冲区数量优化 (RX=10, TX=8)
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
|
2026-02-27 17:07:51 +08:00 |
|
