Baji_Rtc_Toy

Rdzleo/Baji_Rtc_Toy

Fork 0

Commit Graph

Author	SHA1	Message	Date
Rdzleo	eb96130fc9	feat(Rtc_AIavatar): 数字人透明 GIF 显示方案 PoC 完成（背景图+透明GIF叠加）源代码变更: - main/dzbj/bg_gif_demo.c/h: 方案 C 最终实现 - JPG 背景图(lv_img) + 透明 GIF(lv_gif) 叠加 - main/dzbj/dual_gif_demo.c/h: 方案 B 中间产物 - 双 GIF 循环切换 - main/dzbj/sprite_demo.c/h: 方案 A 已弃用 - DMA 直写 GRAM 与 LVGL 争抢 LCD IO 失败 - main/dzbj/ai_chat_ui.c: 集成 USE_BG_GIF_POC 开关，加载背景图+透明 GIF - main/dzbj/lcd.c: panel_handle 移除 static，便于其他模块访问 - main/CMakeLists.txt: 新增 3 个 dzbj 模块编译资源新增: - spiffs_image/Background_360x360.jpg: 设备背景图(20KB) - spiffs_image/hiyori_m05.gif: Cubism Editor 直接导出的透明 GIF(2.3MB) - docs/Rtc_AIavatar/: Live2D 模型(Hiyori/Haru) + 32 段 Haru GIF + 方案文档第18章 PoC 实战记录 - tools/sprite_poc/: Python GIF→RGB565 转换脚本踩坑要点(详见 docs/Rtc_AIavatar 第18章): - PIL Image.quantize() 会破坏 RGBA 透明度，必须改用 gifsicle - PIL 保存动画 GIF 仅第1帧有透明，后续帧不透明 - LVGL gifdec 按帧读取 - Cubism Editor 直接导出 GIF 才能逐帧保留透明信息(FREE 版限制部分模型) - gifsicle --lossy 会严重锯齿化，去掉只保留 --colors 256 + -O3 即可 - 裁剪居中需用全帧 bbox 不能只看第1帧(Live2D 角色每帧位置有偏移) - LVGL 默认不支持 PNG，背景图用 JPG + esp_jpeg 解码到 RGB565 buffer - 透明 GIF 显示黑色背景: gifdec.c canvas 初始化 alpha 须改为 0x00	2026-05-12 17:14:49 +08:00
Rdzleo	919bf8f28f	feat: GIF动画表情系统 + 情绪映射增强 + HTTPS音频中止修复一、新增功能： 1、新增8种GIF动画表情(200x89) + 3种叠加图标(45x45)，实现22种情绪标签到GIF的映射表； 2、新增30+组英文近义词情绪fallback映射（如worried→sad），防止AI使用非标准标签时GIF无法切换； 3、新增HTTPS中止后诊断日志，自动追踪前20帧音频处理流程便于定位无声问题；二、Bug修复： 4、修复HTTPS播放中止后RTC音频解码参数未恢复（16000/60→8000/20），通过background_task_串行化恢复； 5、修复AbortHttpsPlayback解码器竞态崩溃，将重置/恢复/DMA flush全部串行化执行； 6、修复LVGL gifdec不支持无全局颜色表GIF的问题，支持仅使用局部颜色表的压缩GIF； 7、修复GIF透明区域显示黑色方块，canvas初始alpha改为0x00； 8、修复lv_gif定时器gif对象为NULL时的空指针崩溃；三、优化： 9、情绪标签从等待is_final改为第一条字幕即时触发GIF切换，新增去重和回复结束自动恢复neutral； 10、对话状态表情映射优化：THINKING→thinking、ANSWERING→happy、INTERRUPTED→surprised； 11、CPU核心绑定：LVGL任务Core0，音频循环Core1，避免GIF解码与音频争抢； 12、中文情绪词映射扩展，新增担心/心疼/着急等映射； Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-03-19 15:28:14 +08:00
Rdzleo	58c33e3cb4	feat: AI对话模式emoji表情系统 + 中文字体 + 分区优化 1. 新增AI对话LVGL界面（ai_chat_ui），支持emoji图片 + 状态文本 + 聊天消息 2. 新增7个emoji表情资源（64×64 PNG C数组）：neutral/happy/sad/angry/crying/funny/laughing 3. 新增阿里巴巴普惠体20px 4bpp中文字体（GB2312字符集） 4. 利用火山RTC会话状态（VOLC_MSG_CONV_STATUS）驱动emoji切换： - LISTENING→happy, THINKING→neutral, ANSWERING→laughing - INTERRUPTED→funny, ANSWER_FINISH→happy 5. 设备状态emoji映射：Listening→happy, Speaking→laughing, Dialog→happy 6. 配网模式显示happy emoji 7. 分区优化：model 3MB→64KB，OTA 5MB→6.5MB 8. 编译优化：-Og→-Os，移除SimSun CJK字体 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-02-28 18:14:19 +08:00

Author

SHA1

Message

Date

Rdzleo

eb96130fc9

feat(Rtc_AIavatar): 数字人透明 GIF 显示方案 PoC 完成（背景图+透明GIF叠加）

源代码变更:
- main/dzbj/bg_gif_demo.c/h: 方案 C 最终实现 - JPG 背景图(lv_img) + 透明 GIF(lv_gif) 叠加
- main/dzbj/dual_gif_demo.c/h: 方案 B 中间产物 - 双 GIF 循环切换
- main/dzbj/sprite_demo.c/h: 方案 A 已弃用 - DMA 直写 GRAM 与 LVGL 争抢 LCD IO 失败
- main/dzbj/ai_chat_ui.c: 集成 USE_BG_GIF_POC 开关，加载背景图+透明 GIF
- main/dzbj/lcd.c: panel_handle 移除 static，便于其他模块访问
- main/CMakeLists.txt: 新增 3 个 dzbj 模块编译

资源新增:
- spiffs_image/Background_360x360.jpg: 设备背景图(20KB)
- spiffs_image/hiyori_m05.gif: Cubism Editor 直接导出的透明 GIF(2.3MB)
- docs/Rtc_AIavatar/: Live2D 模型(Hiyori/Haru) + 32 段 Haru GIF + 方案文档第18章 PoC 实战记录
- tools/sprite_poc/: Python GIF→RGB565 转换脚本

踩坑要点(详见 docs/Rtc_AIavatar 第18章):
- PIL Image.quantize() 会破坏 RGBA 透明度，必须改用 gifsicle
- PIL 保存动画 GIF 仅第1帧有透明，后续帧不透明 - LVGL gifdec 按帧读取
- Cubism Editor 直接导出 GIF 才能逐帧保留透明信息(FREE 版限制部分模型)
- gifsicle --lossy 会严重锯齿化，去掉只保留 --colors 256 + -O3 即可
- 裁剪居中需用全帧 bbox 不能只看第1帧(Live2D 角色每帧位置有偏移)
- LVGL 默认不支持 PNG，背景图用 JPG + esp_jpeg 解码到 RGB565 buffer
- 透明 GIF 显示黑色背景: gifdec.c canvas 初始化 alpha 须改为 0x00

2026-05-12 17:14:49 +08:00

Rdzleo

919bf8f28f

feat: GIF动画表情系统 + 情绪映射增强 + HTTPS音频中止修复

一、新增功能：
1、新增8种GIF动画表情(200x89) + 3种叠加图标(45x45)，实现22种情绪标签到GIF的映射表；
2、新增30+组英文近义词情绪fallback映射（如worried→sad），防止AI使用非标准标签时GIF无法切换；
3、新增HTTPS中止后诊断日志，自动追踪前20帧音频处理流程便于定位无声问题；

二、Bug修复：
4、修复HTTPS播放中止后RTC音频解码参数未恢复（16000/60→8000/20），通过background_task_串行化恢复；
5、修复AbortHttpsPlayback解码器竞态崩溃，将重置/恢复/DMA flush全部串行化执行；
6、修复LVGL gifdec不支持无全局颜色表GIF的问题，支持仅使用局部颜色表的压缩GIF；
7、修复GIF透明区域显示黑色方块，canvas初始alpha改为0x00；
8、修复lv_gif定时器gif对象为NULL时的空指针崩溃；

三、优化：
9、情绪标签从等待is_final改为第一条字幕即时触发GIF切换，新增去重和回复结束自动恢复neutral；
10、对话状态表情映射优化：THINKING→thinking、ANSWERING→happy、INTERRUPTED→surprised；
11、CPU核心绑定：LVGL任务Core0，音频循环Core1，避免GIF解码与音频争抢；
12、中文情绪词映射扩展，新增担心/心疼/着急等映射；

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

2026-03-19 15:28:14 +08:00

Rdzleo

58c33e3cb4

feat: AI对话模式emoji表情系统 + 中文字体 + 分区优化

1. 新增AI对话LVGL界面（ai_chat_ui），支持emoji图片 + 状态文本 + 聊天消息
2. 新增7个emoji表情资源（64×64 PNG C数组）：neutral/happy/sad/angry/crying/funny/laughing
3. 新增阿里巴巴普惠体20px 4bpp中文字体（GB2312字符集）
4. 利用火山RTC会话状态（VOLC_MSG_CONV_STATUS）驱动emoji切换：
   - LISTENING→happy, THINKING→neutral, ANSWERING→laughing
   - INTERRUPTED→funny, ANSWER_FINISH→happy
5. 设备状态emoji映射：Listening→happy, Speaking→laughing, Dialog→happy
6. 配网模式显示happy emoji
7. 分区优化：model 3MB→64KB，OTA 5MB→6.5MB
8. 编译优化：-Og→-Os，移除SimSun CJK字体

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

2026-02-28 18:14:19 +08:00

3 Commits