|
|
f1c2bfce93
|
Phase 01 JPEG Dump 诊断 + YVYU 修正 + 矛盾分析汇总
核心变更：
- face_tracker.cc: YUYV→YVYU 序列修正（byte[1]=V, byte[3]=U），
基于 JPEG Dump 诊断工具验证 OV3660 FORMAT_CTRL00=0x61 实际是 YVYU
- face_tracker.cc: 启动时 base64 打印一帧 JPEG 到串口，用于肉眼验证
- config.h: XCLK 20MHz→10MHz，给飞线信号完整性 2x 裕度
- scripts/auto_capture_jpeg.py: 自动串口抓帧工具（DTR/RTS 复位 + base64 解码）
- scripts/extract_jpeg_from_log.py: 从日志离线提取 JPEG
- Coglet项目分析与开发指南.md: 新增"六点六"章节，汇总 Phase 01
主要矛盾（画面可辨识≠模型可识别）、YUV→RGB 色偏三层原因、
esp-dl 模型输入分布敏感性、延迟分析、三方案对比、方案 B 突破口
- docs/: 新增 2 篇 OV3660 相关 CSDN 参考资料
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-22 11:01:02 +08:00 |
|
|
|
fc07d3806d
|
Phase 01 调试迭代: OV3660 人脸检测集成 + 23 条踩坑经验汇总
## 代码变更
### main/application.cc
修复 T01 probe 日志 %lld 格式 bug（改用 %lu + unsigned long）
### main/boards/common/esp32_camera.cc
- 修复 DVP V4L2 单 buffer 导致 DMA 饥饿：req.count 从 1 改为 2
- 修复 [T01] Probe 日志 elapsed=ldus 显示问题（同上格式修复）
### main/face_tracker.cc
多轮迭代：
- 新增 frame debug 诊断日志（打印 top-left/center 16B + zero_bytes 统计）
- pix_type 尝试路径：YUYV → RGB565LE → RGB565BE → YUYV → RGB888（手动转换）
- 手动实现 BT.601 公式 YUYV→RGB888 转换，绕过 ImagePreprocessor 黑盒
- face_tracker 任务从 Core 0 切换到 Core 1，避让 RMT/LED 死锁
- 新增 INFO 级限频日志（每秒 1 条 face 检测记录）
- 修复推理时长日志 %lld 格式 bug
- 连续 3 秒无人脸时打印 no face detected
### main/idf_component.yml
esp_video 升级 1.3.1 → ~1.4.1（手动 patch 修 xclk_freq bug）
### partitions/v2/16m.csv
OTA 分区扩容：3.94MB → 5MB，assets 缩到 5.875MB，支持 4.23MB 固件
### docs/phase-01-face-tracking/PROGRESS.md
更新 Phase 01 执行日志，记录实机调试细节
## 文档更新
### Coglet项目分析与开发指南.md 新增第六点五节
完整记录本轮调试的 23 个踩坑，分为：
1. 编译/配置类（5 个）：板级重置、依赖冲突、bootloader 缓存、%lld 格式、xclk_freq bug
2. 摄像头数据链路（5 个）：sensor driver 启用、V4L2 buffer 数量、分区扩容、镜头保护膜、光照
3. esp-dl 人脸检测（3 个）：MSR letterbox 伪影、ESPDET OOD 默认输出、字节序判断
4. 任务调度（3 个）：WDT 崩溃、GDMA ISR 崩溃、弱符号链接
5. RP2040 端（4 个）：idle 回中、坐标累加撞限位、mpremote 阻塞、两分支代码差异
6. 硬件（3 个）：飞线验证、360° 舵机误用、烧录生效验证
附调试方法论 6 条 + 未解决遗留问题 3 条
## 已解决问题
- ✅ ESP-IDF 编译链路（依赖/分区/格式）
- ✅ ESP32 + RP2040 端到端协议（face:x,y UART）
- ✅ WDT 崩溃（face_tracker 切到 Core 1）
- ✅ RP2040 眼球回中机制（idle 时回正）
- ✅ V4L2 双 buffer（DMA 数据更新正常）
## 遗留问题（待解决）
- ❌ face 检测 box 固定伪激活（无论 pix_type / 画面内容 / 模型选择）
- ❌ GDMA ISR 每 ~30s 触发 InstrFetchProhibited 崩溃
- ⚠️ 端到端验收：眼球未真正跟随人脸
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-20 18:22:15 +08:00 |
|
|
|
e95d0c414e
|
Phase 01 批次 1-3: 单摄像头人脸追踪基础设施
实现 ESP32-S3 上单摄像头人脸追踪的核心代码骨架，替代 Grove Vision AI V2
模块，通过 UART 发送人脸坐标驱动 RP2040 控制的眼球/YAW 舵机。
## 规划文档（docs/phase-01-face-tracking/）
- GOAL.md Phase 目标与 5 大成功标准
- RESEARCH.md esp-dl v3.2/3.3 + human_face_detect 0.4.1 技术调研
- PLAN.md 15 个原子任务的执行计划（T01-T15）
- PLAN_CHECK.md 计划审查报告（PASS_WITH_NOTES）
- PROGRESS.md 执行进度追踪（批次 1-3 已完成）
## 批次 1：依赖与开关（T01-T03）
- main/idf_component.yml
新增 esp-dl ~3.3.0 + human_face_detect 0.4.1（仅 S3/P4）
esp-sr 从 ~2.2.0 升级到 ~2.3.1，解决 esp-dsp 1.6/1.7 版本冲突
- main/Kconfig.projbuild
新增 CONFIG_XIAOZHI_ENABLE_FACE_TRACKING 开关（默认 y，depends on S3）
新增 CONFIG_XIAOZHI_FACE_TRACKING_FPS_CHOICE（5/10/15）
- main/boards/common/esp32_camera.{h,cc}
新增 ProbeFrameCapture() 最小 V4L2 DQBUF/QBUF 探针（T01）
- main/application.cc
Start() 末尾调用 probe 验证摄像头硬件链路
## 批次 2：人脸检测核心（T04-T06）
- main/boards/common/esp32_camera.{h,cc}
新增 FrameRef 结构体 + CaptureForDetection/ReleaseDetectionFrame
双超时 mutex 策略：face_tracker 10ms timeout 跳帧，Capture() RAII guard
- main/face_tracker.{h,cc}（新建）
Core 0 / 优先级 2 / 栈 8KB 独立任务
集成 esp-dl HumanFaceDetect 推理
坐标归一化 cx*224/W-112，匹配 RP2040 pixel_centre=112
多人脸遍历挑 score 最高，避免多脸时眼球摇摆
三重保护：Kconfig depends on S3 + 源文件 #if 守卫 + CMake 条件排除
- main/CMakeLists.txt
非 S3 目标从 SOURCES 移除 face_tracker.cc
## 批次 3：UART 协议扩展（T07）
- main/uart_component.{h,cc}
新增 uart_send_face(x,y) 发送 face:x,y\r\n 协议
extern "C" 链接名配合 face_tracker 的弱符号声明
全局 TX mutex 保护所有 UART 写入，防并发帧交织
uart_send_string 同步加锁保持一致性
## 编译验证
idf.py build 通过，固件 2.51MB / 剩余 1.46MB (36% free)
当前 face_tracker 未被 application 激活（留到 T11），
UART/摄像头现有功能零影响。
## 未完成（下次继续）
- T01 硬件 probe 实机验证
- T08-T10 RP2040 端 parse_face + facetrack 双数据源改造
- T11-T15 application 接入 + 端到端联调 + 性能调优 + 最终验收
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
2026-04-17 18:24:27 +08:00 |
|
