ESP32-S3 吊坠设备固件,集成火山引擎 RTC 语音助手、蓝牙配网、 VEML7700 环境光传感器驱动及石头同频匹配交友功能。 VEML7700 驱动: - 基于 ESP-IDF i2c_master API 实现,复用项目 I2cDevice 基类 - 支持 ALS + White 双通道、自动量程、Vishay 非线性校正 - 3 次采样取中位数过滤偶发异常 石头同频匹配算法(双维度): - 维度1:光谱比值 ALS/White(石头固有光学特征,不随光照强度变化) - 维度2:亮度等级(5级对数划分,排除极端环境差异) - 比值阈值 15%,实测同石头姿势变化波动 1.6%~9.6%,安全余量充足 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
4.7 KiB
4.7 KiB
ConversationalAI Embedded Kit
快速开始
具体操作,请参考 官网文档。
运行设备端(乐鑫)
以下操作以 macOS 操作系统为例。
环境与硬件要求
- 乐鑫 ESP32-S3-Korvo-2
- USB 数据线:两条 A 转 Micro-B 数据线,一条作为电源线,一条作为串口线。
- PC 设备服:编译和烧录。支持 Windows、Linux 或者 macOS 操作系统。(本文操作以 macOS 为例)
配置乐鑫环境
详见开发环境配置文档。
- 安装 CMake 和 Ninja 编译工具。
brew install cmake ninja dfu-util - 将乐鑫 ADF 框架克隆到本地,并同步各子仓(submodule)代码。
注意:Demo 中使用的 ADF 版本为
eca11f20e56f9b5321b714da4305e123672d92a9,对应 IDF 版本为v5.4,请确保 ADF 版本与 IDF 版本匹配。# 1. clone 乐鑫 ADF 框架 git clone https://github.com/espressif/esp-adf.git # 2. 进入esp-adf目录 cd esp-adf # 3. 切换到乐鑫 ADF 指定版本 git reset --hard eca11f20e56f9b5321b714da4305e123672d92a9 # 4. 同步各子仓代码 git submodule update --init --recursive - 安装乐鑫 esp32s3 开发环境相关依赖。
成功安装所有依赖后,命令行会出现如下提示:./install.sh esp32s3All done! You can now run: . ./export.sh如在上述任何步骤中遇到以下错误:
<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:xxx)可前往访达->应用程序->Python 文件夹,点击Install Certificates.command安装证书。更多信息,请参考 安装 ESP-IDF 工具时出现的下载错误。 - 设置环境变量。
每次打开命令行窗口均需要运行该命令进行设置。
. ./export.sh
下载并配置工程
- 将实时对话式 AI 硬件示例工程克隆到 乐鑫 ADF examples 目录下。
- 进入 esp-adf/examples 目录。
cd $ADF_PATH/examples- 克隆实时对话式 AI 硬件示例工程。
git clone https://github.com/volcengine/ConversationalAI-Embedded-Kit-2.0.git - 禁用乐鑫工程中的火山组件。
- 进入 esp-adf 目录。
cd $ADF_PATH- 禁用乐鑫工程中的火山组件。
git apply $ADF_PATH/examples/ConversationalAI-Embedded-Kit-2.0/high_quality_first/espressif/0001-feat-disable-volc-esp-libs.patch - 修复乐鑫按键问题
- 进入 esp-adf 目录。
cd $ADF_PATH- 修复乐鑫按键问题。
git apply $ADF_PATH/examples/ConversationalAI-Embedded-Kit-2.0/high_quality_first/espressif/0002-fix-esp-button.patch
编译固件
进入 esp-adf/examples/ConversationalAI-Embedded-Kit-2.0/high_quality_first/espressif 目录下编译固件。
- 进入 espressif 目录。
cd $ADF_PATH/examples/ConversationalAI-Embedded-Kit-2.0/high_quality_first/espressif - 设置编译目标平台。
idf.py set-target esp32s3 - 设置 实例ID、产品ID、产品秘钥、设备ID等参数。
进入idf.py menuconfigExample Configuration菜单,在volcano instance id中填入你的实例ID,在volcano product key中填入你的产品Key,在volcano product secret中填入你的产品秘钥,在device name中填入你的设备ID, 在bot id中填入你的智能体ID,并保存。 - 编译固件。
idf.py build
烧录并运行示例 Demo
-
打开乐鑫开发板电源开关。
-
烧录固件。
idf.py flash -
运行示例 Demo 并查看串口日志输出。
idf.py monitor -
Wi-Fi 配网。
- 手机找到名如 VolcConvAI-XXXXXX” 的 Wi-Fi 热点,密码同Wi-Fi名,连接上 Wi-Fi。
- 打开浏览器,在地址栏输入
http://192.168.4.1,进入 Wi-Fi 配网页面。 - 输入 Wi-Fi 名称和密码,点击提交。
注意:如果需更换 Wi-Fi,请重启设备。如果设备重启后无法连接到之前保存的 Wi-Fi(例如超出了范围或旧网络已关闭),请等待 30s 进入配网模式,再重新执行上面 Wi-Fi 配网的 3 个步骤。