Baji_Rtc_Toy

Rdzleo/Baji_Rtc_Toy

Fork 0

Commit Graph

Author	SHA1	Message	Date
Rdzleo	bffd31645e	feat(provisioning): BLE 配网完整修复 (跳过 EAF 资源 + EAF 最小化 + 音效播放) 修复 4 个配网模式核心问题, 让 Rtc_AIavatar 分支 (含火山 RTC SDK + 软件 AEC + 完整业务) 能像 adaptation_dzbjImg_shar 一样正常配网, 同时显示居中提示文字. ============ 问题与修复 ============ ### 问题 1: 配网模式 BLE 广播 ADV_DATA malloc 失败 (手机搜不到设备) 日志: E (3731) BLE_INIT: Malloc failed E (3731) BT_HCI: CC evt: op=0x2008 (HCI_BLE_WRITE_ADV_DATA), status=0x7 I (3731) BluetoothProvisioning: ✅ 广播启动成功 (假成功, 广播数据空) 根因: Rtc_AIavatar 比 adaptation_dzbjImg_shar 多 ~50-80 KB DRAM 业务 .bss (软件 AEC + HTTPS 完整状态机 + dialog watchdog + 完整 RTC 状态), + 火山 RTC SDK 静态库 .bss ~30-50 KB (g_cnxMgr 14.6KB, ack$14 12.6KB 等), 配网模式时 BLE Bluedroid stack 抢不到广播数据 malloc 所需的 ~10KB DRAM. 修复 (前次 commit 已做): sdkconfig 关闭 BLE 5.0 6 个特性 (项目实际只用 4.2 legacy), 省 ~15 KB controller DRAM, 广播数据 malloc 成功. ### 问题 2: 配网模式下 LCD 绘制跟 WiFi/BLE 初始化抢 DRAM 导致 reboot 日志: E (1200) wifi:Expected to init 10 rx buffer, actual is 1 E (1220) BluetoothProvisioning: WiFi初始化失败: ESP_ERR_NO_MEM assert failed: vQueueDelete queue.c:2355 (pxQueue) ← BLE GATT fixed_queue_new 失败 → 反向清理 NULL 队列排查路径 (失败方案记录): - esp_lcd_panel_draw_bitmap 一次画 360x360 (253KB): SPI queue 满, 下半屏未画 + DRAM 抢 WiFi - 分块画 (60 行/块) + vTaskDelay 块间: SPI driver 内部 queue 持续保留 DRAM, 仍然抢 - 强制 codec output_only=false 完整 duplex: 多 15KB DRAM, BLE BTU_StartUp malloc 失败 reboot - CONFIG_BT_BLE_DYNAMIC_ENV_MEMORY=y: 引入 BTU bt_workqueue 分配失败 → vQueueDelete NULL → assert 修复 (本次 commit): EAF 最小化初始化 movecall_moji_esp32s3.cc 配网模式调用新增的 ai_chat_screen_init_provisioning(), 跳过 8 张 EAF 资源加载 (省 4.32 MB PSRAM + ~10KB DRAM), 跳过数字人 anim, 只启用 gfx_emote renderer + 单个 gfx_label, flush buffer 启动时预分配 (~30KB DRAM 一次到位), 跟 BLE 初始化不再有动态分配冲突. 跟 adaptation_dzbjImg_shar 用 LVGL 显示 GIF 同思路, 用 EAF 替代 LVGL 避免引入 50-80KB LVGL .bss. ### 问题 3: 配网模式音效不播放根因: ResetWifiConfiguration 由 BOOT 按键 OnClick 调用, 跑在 esp_timer task 上下文, vTaskDelay(4000ms) 实测只等了 1.1 秒就被唤醒, 音效没播完就 esp_restart. 修复 (前次 commit 已做): 派发到独立 task 跑 PlaySound + vTaskDelay + esp_restart, 独立 task 中 vTaskDelay 正常工作, 等 4 秒确保解码 + DMA + 功放尾音完整. ### 问题 4: 配网时屏幕黑屏 (UX 不友好) 实施: ai_chat_screen_init_provisioning("请使用APP\n蓝牙配网～") LCD 黑底白字居中显示提示文字, 用户感知"配网中". label height=64 (恰好包 2 行 + 余白), GFX_ALIGN_CENTER 上下左右居中. ============ 文件改动 ============ main/application.cc: Application 构造时显式注释: 不能在配网模式置 background_task_=nullptr (OnAudioOutput 无判空, 会 std::mutex::lock 异常 abort). main/boards/common/wifi_board.cc: ResetWifiConfiguration 派发独立 task 跑 PlaySound + 4s delay + esp_restart, EnterWifiConfigMode BLE 启动后早 return (StartBleProvisioning 内部已 Alert 音效). main/boards/movecall-moji-esp32s3/movecall_moji_esp32s3.cc: AI 对话模式分支: 配网时调 ai_chat_screen_init_provisioning() 显示文字, 正常模式调 ai_chat_screen_init() 显示数字人. main/dzbj/ai_chat_ui.h: 新增 ai_chat_screen_init_provisioning(const char* hint_text) 声明. main/dzbj/ai_chat_ui_eaf.c: 新增 ai_chat_screen_init_provisioning() 实现, EAF 最小化路径: gfx_emote_init + gfx_disp_add + 单 label 显示文字, 跳过 EAF 资源/anim/背景图. ============ 测试结果 (设备实测) ============ - 按 BOOT 触发配网: 听到完整配网音效 (P3_LALA_WIFICONFIG 约 1 秒) - 设备重启 → 配网模式启动 → LCD 显示"请使用APP\n蓝牙配网～" 居中 - 手机能搜到 Airhub_d0:cf:13:03:bb:f2 → 能连接 → 配网完成 - 配网完成重启 → 正常模式数字人 + RTC 对话功能正常 Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-21 14:42:13 +08:00
Rdzleo	919bf8f28f	feat: GIF动画表情系统 + 情绪映射增强 + HTTPS音频中止修复一、新增功能： 1、新增8种GIF动画表情(200x89) + 3种叠加图标(45x45)，实现22种情绪标签到GIF的映射表； 2、新增30+组英文近义词情绪fallback映射（如worried→sad），防止AI使用非标准标签时GIF无法切换； 3、新增HTTPS中止后诊断日志，自动追踪前20帧音频处理流程便于定位无声问题；二、Bug修复： 4、修复HTTPS播放中止后RTC音频解码参数未恢复（16000/60→8000/20），通过background_task_串行化恢复； 5、修复AbortHttpsPlayback解码器竞态崩溃，将重置/恢复/DMA flush全部串行化执行； 6、修复LVGL gifdec不支持无全局颜色表GIF的问题，支持仅使用局部颜色表的压缩GIF； 7、修复GIF透明区域显示黑色方块，canvas初始alpha改为0x00； 8、修复lv_gif定时器gif对象为NULL时的空指针崩溃；三、优化： 9、情绪标签从等待is_final改为第一条字幕即时触发GIF切换，新增去重和回复结束自动恢复neutral； 10、对话状态表情映射优化：THINKING→thinking、ANSWERING→happy、INTERRUPTED→surprised； 11、CPU核心绑定：LVGL任务Core0，音频循环Core1，避免GIF解码与音频争抢； 12、中文情绪词映射扩展，新增担心/心疼/着急等映射； Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-03-19 15:28:14 +08:00
Rdzleo	58c33e3cb4	feat: AI对话模式emoji表情系统 + 中文字体 + 分区优化 1. 新增AI对话LVGL界面（ai_chat_ui），支持emoji图片 + 状态文本 + 聊天消息 2. 新增7个emoji表情资源（64×64 PNG C数组）：neutral/happy/sad/angry/crying/funny/laughing 3. 新增阿里巴巴普惠体20px 4bpp中文字体（GB2312字符集） 4. 利用火山RTC会话状态（VOLC_MSG_CONV_STATUS）驱动emoji切换： - LISTENING→happy, THINKING→neutral, ANSWERING→laughing - INTERRUPTED→funny, ANSWER_FINISH→happy 5. 设备状态emoji映射：Listening→happy, Speaking→laughing, Dialog→happy 6. 配网模式显示happy emoji 7. 分区优化：model 3MB→64KB，OTA 5MB→6.5MB 8. 编译优化：-Og→-Os，移除SimSun CJK字体 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>	2026-02-28 18:14:19 +08:00

Author

SHA1

Message

Date

Rdzleo

bffd31645e

feat(provisioning): BLE 配网完整修复 (跳过 EAF 资源 + EAF 最小化 + 音效播放)

修复 4 个配网模式核心问题, 让 Rtc_AIavatar 分支 (含火山 RTC SDK + 软件 AEC + 完整业务)
能像 adaptation_dzbjImg_shar 一样正常配网, 同时显示居中提示文字.

============ 问题与修复 ============

### 问题 1: 配网模式 BLE 广播 ADV_DATA malloc 失败 (手机搜不到设备)

  日志:
    E (3731) BLE_INIT: Malloc failed
    E (3731) BT_HCI: CC evt: op=0x2008 (HCI_BLE_WRITE_ADV_DATA), status=0x7
    I (3731) BluetoothProvisioning: ✅ 广播启动成功  (假成功, 广播数据空)

  根因:
    Rtc_AIavatar 比 adaptation_dzbjImg_shar 多 ~50-80 KB DRAM 业务 .bss
      (软件 AEC + HTTPS 完整状态机 + dialog watchdog + 完整 RTC 状态),
    + 火山 RTC SDK 静态库 .bss ~30-50 KB (g_cnxMgr 14.6KB, ack$14 12.6KB 等),
    配网模式时 BLE Bluedroid stack 抢不到广播数据 malloc 所需的 ~10KB DRAM.

  修复 (前次 commit 已做): sdkconfig 关闭 BLE 5.0 6 个特性 (项目实际只用 4.2 legacy),
    省 ~15 KB controller DRAM, 广播数据 malloc 成功.

### 问题 2: 配网模式下 LCD 绘制跟 WiFi/BLE 初始化抢 DRAM 导致 reboot

  日志:
    E (1200) wifi:Expected to init 10 rx buffer, actual is 1
    E (1220) BluetoothProvisioning: WiFi初始化失败: ESP_ERR_NO_MEM
    assert failed: vQueueDelete queue.c:2355 (pxQueue) ← BLE GATT fixed_queue_new 失败 → 反向清理 NULL 队列

  排查路径 (失败方案记录):
    - esp_lcd_panel_draw_bitmap 一次画 360x360 (253KB): SPI queue 满, 下半屏未画 + DRAM 抢 WiFi
    - 分块画 (60 行/块) + vTaskDelay 块间: SPI driver 内部 queue 持续保留 DRAM, 仍然抢
    - 强制 codec output_only=false 完整 duplex: 多 15KB DRAM, BLE BTU_StartUp malloc 失败 reboot
    - CONFIG_BT_BLE_DYNAMIC_ENV_MEMORY=y: 引入 BTU bt_workqueue 分配失败 → vQueueDelete NULL → assert

  修复 (本次 commit): EAF 最小化初始化
    movecall_moji_esp32s3.cc 配网模式调用新增的 ai_chat_screen_init_provisioning(),
    跳过 8 张 EAF 资源加载 (省 4.32 MB PSRAM + ~10KB DRAM), 跳过数字人 anim,
    只启用 gfx_emote renderer + 单个 gfx_label, flush buffer 启动时预分配 (~30KB DRAM 一次到位),
    跟 BLE 初始化不再有动态分配冲突. 跟 adaptation_dzbjImg_shar 用 LVGL 显示 GIF 同思路,
    用 EAF 替代 LVGL 避免引入 50-80KB LVGL .bss.

### 问题 3: 配网模式音效不播放

  根因:
    ResetWifiConfiguration 由 BOOT 按键 OnClick 调用, 跑在 esp_timer task 上下文,
    vTaskDelay(4000ms) 实测只等了 1.1 秒就被唤醒, 音效没播完就 esp_restart.

  修复 (前次 commit 已做): 派发到独立 task 跑 PlaySound + vTaskDelay + esp_restart,
    独立 task 中 vTaskDelay 正常工作, 等 4 秒确保 解码 + DMA + 功放尾音完整.

### 问题 4: 配网时屏幕黑屏 (UX 不友好)

  实施: ai_chat_screen_init_provisioning("请使用APP\n蓝牙配网～")
    LCD 黑底白字居中显示提示文字, 用户感知"配网中".
    label height=64 (恰好包 2 行 + 余白), GFX_ALIGN_CENTER 上下左右居中.

============ 文件改动 ============

  main/application.cc:
    Application 构造时显式注释: 不能在配网模式置 background_task_=nullptr
    (OnAudioOutput 无判空, 会 std::mutex::lock 异常 abort).

  main/boards/common/wifi_board.cc:
    ResetWifiConfiguration 派发独立 task 跑 PlaySound + 4s delay + esp_restart,
    EnterWifiConfigMode BLE 启动后早 return (StartBleProvisioning 内部已 Alert 音效).

  main/boards/movecall-moji-esp32s3/movecall_moji_esp32s3.cc:
    AI 对话模式分支: 配网时调 ai_chat_screen_init_provisioning() 显示文字,
    正常模式调 ai_chat_screen_init() 显示数字人.

  main/dzbj/ai_chat_ui.h:
    新增 ai_chat_screen_init_provisioning(const char* hint_text) 声明.

  main/dzbj/ai_chat_ui_eaf.c:
    新增 ai_chat_screen_init_provisioning() 实现, EAF 最小化路径:
      gfx_emote_init + gfx_disp_add + 单 label 显示文字, 跳过 EAF 资源/anim/背景图.

============ 测试结果 (设备实测) ============
  - 按 BOOT 触发配网: 听到完整配网音效 (P3_LALA_WIFICONFIG 约 1 秒)
  - 设备重启 → 配网模式启动 → LCD 显示"请使用APP\n蓝牙配网～" 居中
  - 手机能搜到 Airhub_d0:cf:13:03:bb:f2 → 能连接 → 配网完成
  - 配网完成重启 → 正常模式数字人 + RTC 对话功能正常

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>

2026-05-21 14:42:13 +08:00

Rdzleo

919bf8f28f

feat: GIF动画表情系统 + 情绪映射增强 + HTTPS音频中止修复

一、新增功能：
1、新增8种GIF动画表情(200x89) + 3种叠加图标(45x45)，实现22种情绪标签到GIF的映射表；
2、新增30+组英文近义词情绪fallback映射（如worried→sad），防止AI使用非标准标签时GIF无法切换；
3、新增HTTPS中止后诊断日志，自动追踪前20帧音频处理流程便于定位无声问题；

二、Bug修复：
4、修复HTTPS播放中止后RTC音频解码参数未恢复（16000/60→8000/20），通过background_task_串行化恢复；
5、修复AbortHttpsPlayback解码器竞态崩溃，将重置/恢复/DMA flush全部串行化执行；
6、修复LVGL gifdec不支持无全局颜色表GIF的问题，支持仅使用局部颜色表的压缩GIF；
7、修复GIF透明区域显示黑色方块，canvas初始alpha改为0x00；
8、修复lv_gif定时器gif对象为NULL时的空指针崩溃；

三、优化：
9、情绪标签从等待is_final改为第一条字幕即时触发GIF切换，新增去重和回复结束自动恢复neutral；
10、对话状态表情映射优化：THINKING→thinking、ANSWERING→happy、INTERRUPTED→surprised；
11、CPU核心绑定：LVGL任务Core0，音频循环Core1，避免GIF解码与音频争抢；
12、中文情绪词映射扩展，新增担心/心疼/着急等映射；

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

2026-03-19 15:28:14 +08:00

Rdzleo

58c33e3cb4

feat: AI对话模式emoji表情系统 + 中文字体 + 分区优化

1. 新增AI对话LVGL界面（ai_chat_ui），支持emoji图片 + 状态文本 + 聊天消息
2. 新增7个emoji表情资源（64×64 PNG C数组）：neutral/happy/sad/angry/crying/funny/laughing
3. 新增阿里巴巴普惠体20px 4bpp中文字体（GB2312字符集）
4. 利用火山RTC会话状态（VOLC_MSG_CONV_STATUS）驱动emoji切换：
   - LISTENING→happy, THINKING→neutral, ANSWERING→laughing
   - INTERRUPTED→funny, ANSWER_FINISH→happy
5. 设备状态emoji映射：Listening→happy, Speaking→laughing, Dialog→happy
6. 配网模式显示happy emoji
7. 分区优化：model 3MB→64KB，OTA 5MB→6.5MB
8. 编译优化：-Og→-Os，移除SimSun CJK字体

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

2026-02-28 18:14:19 +08:00

3 Commits