LilaWakeup_App/CLAUDE.md

Lila Wakeup APK 工程上下文（com.lila.wakeup）

本文件用于 Claude Code 插件加载，自动获取项目背景。 本工程是 OrangePi CM5 数字人产品的 KWS 软件唤醒服务（独立 APK），与第三方 Unity 数字人 APP（包名 com.qy.lila）通过 Android Broadcast 协议联动。

---

一、项目本质（一句话）

基于 sherpa-onnx 引擎的 Android 13 KWS（Keyword Spotting / 关键词唤醒）APK，监听用户喊"你好 Lila"等唤醒词后通过 Broadcast 通知数字人 APP 显示数字人 + 接通火山 RTC。

替代原方案的"ESP32 + 离线语音芯片 + USB 串口 SO_WAKEUP1"硬件方案，省 BOM 成本 + 更灵活。

---

二、核心元信息（写代码前必读）

项	值
本 APK 包名	com.lila.wakeup
数字人 APP 包名	com.qy.lila（已确认，来源 LTY_Project ProjectSettings.asset）
目标系统	Android 13 (API 33)
目标架构	arm64-v8a（仅打包此架构，节省 APK 体积）
目标设备	OrangePi CM5（Rockchip RK3588，rk3588s_s）
协议版本	v2.1（详见上游 docs/OrangePi_CM5/MD_Document/KWS唤醒协议-V2.md）
KWS 引擎	sherpa-onnx Zipformer wenetspeech 3.3M（中文，已预编译 native）
集成方式	基于 sherpa-onnx 官方 SherpaOnnxKws demo 改造（不是 Maven 依赖，因 Android arm64-v8a .so + Kotlin Wrapper 在 Maven 上没发布完整包）
当前阶段	方案 A（普通 APK）（量产前升级到方案 B：系统签名 + /system/priv-app/）

---

三、协议规约（v2.1 核心摘要）

三个 Broadcast Action（双向 setPackage 强制要求）

方向	Action	字段
WAKEUP（本 → APP）	com.lila.intent.action.WAKEUP	keyword: String / timestamp: long / confidence: float
KWS_PAUSE（APP → 本）	com.lila.intent.action.KWS_PAUSE	silence_ms: long（默认 3000，Networking 场景 60000）/ reason: String
KWS_RESUME（APP → 本）	com.lila.intent.action.KWS_RESUME	reason: String

关键设计约束（不要破坏）

1. silence_ms 二次保险：收到 PAUSE 后即使收到 RESUME 也要等到 silence 满才真正 resume —— 防 AI 自我唤醒
2. 2 分钟兜底超时：APP 漏发 RESUME 时 KWS 自动恢复（防永久哑火）
3. 后验平滑：连续 N 帧（默认 2）置信度过阈值才发 WAKEUP —— 降误唤醒
4. AudioRecord 暂停时完全 release：把麦克风让给 RTC SDK，避免资源冲突
5. WAKEUP 命中后不自动 PAUSE 自己：必须由 APP 主动发 PAUSE —— 防漏命中导致的死锁

---

四、工程结构（基于 sherpa-onnx demo 改造后）

工程根/（原 sherpa-onnx/android/SherpaOnnxKws）
├── CLAUDE.md                              ← 本文件
├── app/
│   ├── build.gradle.kts                   ← 已改：包名 + arm64-v8a only + targetSdk 33
│   └── src/main/
│       ├── AndroidManifest.xml            ← 已改：完整权限 + 4 个组件声明
│       ├── assets/
│       │   └── sherpa-onnx-kws-zipformer-wenetspeech-3.3M-2024-01-01/
│       │       ├── *.onnx                 ← 原 demo 自带（不动）
│       │       ├── tokens.txt             ← 原 demo 自带（不动）
│       │       └── keywords.txt           ← 已改：5 个 Lila 唤醒词
│       └── java/com/lila/wakeup/          ← 已改：包名 + 9 个新文件
│           ├── Config.kt                  ← 协议常量、阈值、模型路径
│           ├── MainActivity.kt            ← 状态查看 UI + 权限申请（开发期辅助）
│           ├── BootReceiver.kt            ← 开机自启
│           ├── WakeupForegroundService.kt ← 前台 Service 主体
│           ├── kws/
│           │   ├── AudioCapture.kt        ← AudioRecord 16kHz mono PCM16
│           │   ├── KwsEngine.kt           ← sherpa-onnx KWS 封装
│           │   └── KwsStateMachine.kt     ← LISTENING/PAUSED 状态机 + silence_ms
│           ├── protocol/
│           │   ├── BroadcastSender.kt     ← 发 WAKEUP 给 com.qy.lila
│           │   └── ProtocolReceiver.kt    ← 收 PAUSE/RESUME
│           └── （sherpa-onnx 自带的 Wrapper 类保留，包名 com.k2fsa.sherpa.onnx 不动）
└── build.gradle.kts (项目级)              ← 不动

9 个我们写的 Kotlin 文件代码量

文件	行数	职责
Config.kt	108	全局常量
MainActivity.kt	117	状态 UI + 权限申请
BootReceiver.kt	50	开机自启
WakeupForegroundService.kt	142	Service 主体 + 通知栏
AudioCapture.kt	112	AudioRecord 封装
KwsEngine.kt	119	sherpa-onnx 封装
KwsStateMachine.kt	163	状态机 + silence_ms + 兜底
BroadcastSender.kt	36	发 WAKEUP
ProtocolReceiver.kt	63	收 PAUSE/RESUME

---

五、关键参考文档（在主仓库 OrangePi_CM5_Project 中）

这些文档是工程的"上游契约"，本工程实现必须与之一致。改协议要先去主仓库改文档。

文档	路径	作用
协议规约 v2.1	/Volumes/LinuxDev/OrangePi_CM5_Project/docs/OrangePi_CM5/MD_Document/KWS唤醒协议-V2.md	双方对接契约（最权威）
服务设计	/Volumes/LinuxDev/OrangePi_CM5_Project/docs/OrangePi_CM5/MD_Document/KWS服务设计.md	我侧实现指南
第三方评估	/Volumes/LinuxDev/OrangePi_CM5_Project/docs/OrangePi_CM5/MD_Document/KWS唤醒方案适配评估_Unity.md	Unity APP 团队的对接评估（含 v2 微调建议）
工程骨架 README	/Volumes/LinuxDev/OrangePi_CM5_Project/docs/OrangePi_CM5/MD_Document/KWS-APK-工程骨架/README.md	9 步实施指南（含路线图、坑提示）

上游参考（可选 clone，不进本仓库）

需要查阅 sherpa-onnx 的 Kotlin Wrapper 源码或 native C++ 实现时：

git clone --depth 1 https://github.com/k2-fsa/sherpa-onnx ~/Desktop/sherpa-onnx-reference

SherpaOnnxKws demo 在 android/SherpaOnnxKws/ 目录，可作本工程改造的对照参考。不进 LilaWakeup_App 仓库——它是上游开源依赖（Apache 2.0），公开可拿，避免重复存储和 license 复杂化。

---

六、用户偏好与代码风格（继承自主项目）

• 语言：所有沟通用中文，代码注释用中文
• 代码风格：snake_case 变量、UPPER_SNAKE_CASE 常量、_t 后缀类型；Kotlin 这边按 Kotlin 标准（CamelCase 类名 / camelCase 变量），但注释一律中文
• 嵌入式原则：节省 RAM/Flash > 时序优化 > 模块化（虽然这是 Android 但 OrangePi 资源仍宝贵）
• 不主动加冗余校验（CLAUDE.md 全局规则）
• 破坏性操作先确认（git push --force / rm 等）
• 优先静态分配：避免频繁 malloc/free，字符串处理用固定缓冲区

---

七、当前任务路线图

阶段	内容	状态
0. 算法验证	sherpa-onnx 预编译 KWS APK 装到板子，测识别率	✅ 已完成（5/8 命中）
1. 工程骨架	9 个 Kotlin 类 + Manifest + gradle	✅ 已完成（在主仓库 KWS-APK-工程骨架/）
2. AS 装齐组件	API 33 / Build-Tools 33 / NDK 25 / CMake 3.22	🔄 进行中
3. 克隆 sherpa-onnx + 改造	git clone + Refactor 包名 + 拷骨架文件	📋 待做
4. Build → adb install 到 OrangePi CM5	验证唤醒效果	📋 待做
5. 协议联调（与 Unity APP）	按协议 v2.1 §八 联调清单	📋 待 APP 团队
6. 方案 B 升级	系统签名 + 集成进 update.img	📋 联调通过后
7. 长稳测试	72h 连续运行	📋 量产前

---

八、关键技术决策记录（不要重新讨论）

决策	结论	理由（一句话）
用 Maven 依赖还是克隆 demo？	克隆 demo	Maven 上 sherpa-onnx 的 Android arm64-v8a .so + Kotlin Wrapper 不全
方案 A / B / C 怎么走？	A 跑通 → B 升级（不走 C）	C 改 AOSP system_server 收益不抵成本
silence_ms 默认值	3000ms	第三方实测 RTC 远端音频回灌 800-1500ms + AI TTS 触发，2000ms 不够
Networking 场景是否唤醒？	不允许（APP 进入发 PAUSE）	配网中被唤醒会要求 APP 新增响应逻辑 + 决策跳哪里
BroadcastReceiver 与 Service 通信方式	Locator 模式	比 startService / AIDL 简单，性能好
AudioRecord 暂停时是 stop 还是 release？	完全 release	释放麦克风给 RTC SDK，避免资源冲突

---

九、绝对不要做的事

1. ❌ 不要改包名 com.qy.lila：APP 团队已确认，改了协议失效
2. ❌ 不要改 Action 名 com.lila.intent.action.*：双方协议契约
3. ❌ 不要把 sherpa-onnx 源码包名 com.k2fsa.sherpa.onnx 改掉：JNI native 库 binding 的硬编码包名
4. ❌ 不要在前台 Service 里调耗时操作（vTaskDelay 类）阻塞 main looper：StateMachine 的 timeout 用 Handler.postDelayed
5. ❌ 不要在 AudioCapture 线程里同步调网络 / 文件 IO：会丢音频帧
6. ❌ 不要禁用 START_STICKY：Service 异常重启依赖此标志
7. ❌ 不要把 RECORD_AUDIO 申请放在 Service：必须在 Activity 里申请（Android 限制）

---

十、与主项目（OrangePi_CM5_Project）的协作

主项目的 Claude Code 会话负责：

• 协议规约文档（KWS唤醒协议-V2.md）演进
• 服务设计文档（KWS服务设计.md）演进
• 与第三方 APP 团队对接
• 系统侧（kernel / dts / Audio HAL）相关修改
• 整机集成（方案 B 升级）

本工程（sherpa-onnx 改造）的 Claude Code 会话负责：

• 9 个 Kotlin 文件的具体实现
• Gradle / Manifest 配置
• Android Studio Build / Run 调试
• KWS 引擎参数调优（threshold、N 帧平滑）
• 真机测试（与 OrangePi CM5 联调）

协议改动必须先在主项目改文档，再同步到本工程。

---

十一、典型工作请求示例（让 Claude Code 上手）

新来 Claude Code 插件可以处理的典型任务：

• "帮我改 KwsStateMachine.kt 的后验平滑窗口从 2 帧改为 3 帧"
• "把 build.gradle.kts 的 minSdk 从 26 改为 24"
• "新增一个 keywords 重载接口，让 KwsEngine.kt 支持热更新唤醒词"
• "MainActivity.kt 状态展示太丑，帮我用 Compose 重写"
• "Build 报错 Unresolved reference: KeywordSpotter，怎么改？"
• "帮我加一个 logcat 过滤器，只看 KWS 命中日志"

需要主项目协调的请求（不要自己改本工程）：

• "改协议字段名" → 让用户回主项目讨论
• "升级方案 B" → 涉及 SDK 集成，回主项目
• "对接第三方新需求" → 协议要先改

---

十二、运行时验证

# 装到板子
adb install -r -g ./app/build/outputs/apk/debug/app-debug.apk

# 看日志
adb logcat -s KwsService.Svc:* KwsService.Engine:* KwsService.State:* KwsService.Audio:* KwsService.Send:* KwsService.Proto:* KwsService.Boot:*

# 关键日志关键字
[Engine] init done            ← 引擎加载成功
[State] -> LISTENING          ← 进入监听
[KWS] HIT confirmed           ← 命中
[Broadcast] WAKEUP -> com.qy.lila  ← 发广播给 APP

# 测试 APP 端 PAUSE/RESUME（不依赖 Unity APP，用 adb 模拟）
adb shell am broadcast -a com.lila.intent.action.KWS_PAUSE \
  -n com.lila.wakeup/.protocol.ProtocolReceiver \
  --el silence_ms 3000 --es reason "test_pause"

adb shell am broadcast -a com.lila.intent.action.KWS_RESUME \
  -n com.lila.wakeup/.protocol.ProtocolReceiver \
  --es reason "test_resume"