📝 README for CN

pull/216/head
yehangyang 2022-03-03 17:14:43 +08:00
parent 1ad8eab3fd
commit 8f3a53234e
1 changed files with 88 additions and 46 deletions

View File

@ -1,65 +1,107 @@
# ESP-S3-EYE 示例说明 # ESP-S3-EYE
## 交互系统 该示例**仅适用于** [ESP32-S3-EYE](https://www.espressif.com/zh-hans/products/devkits) 开发板,能帮助你快速上手使用开发板,体验语音唤醒、语音命令识别、人脸检测和识别等功能。
### 语音
语音交互逻辑遵循“先说唤醒词,再说命令词”。
### 按键 ## 运行示例
#### ### 步骤1设定唤醒词和命令词
## 工作模式 该示例预设了中文和英文两套唤醒词和命令词。
该示例共包含四个工作模式:“待机模式”、“实时显示”、“人脸识别”和“移动侦测”。下面对这四个模式做简要介绍。 #### 中文:
### 待机模式 如果使用中文时,需要将 `sdkconfig.defaults`中的 [Line49~Line60](/sdkconfig.defaults#L60) 用“#”注释掉,并且把 [Line35~Line46](/sdkconfig.defaults#L35) 前的“#”去掉。
待机模式下LCD 屏幕上仅显示 Espressif Logo。该模式也是开发板上电以后的默认模式 中文的唤醒词为“Hi, 乐鑫”,命令词包括:“停止工作”、“仅显示”、“人脸识别”、“添加人脸”、“删除人脸”和“识别一下”
### 实时显示 #### 英文:
实时显示模式下LCD 屏幕上会实时显示摄像头采集的图片 如果使用英文时,需要将 `sdkconfig.defaults`中的 [Line35~Line46](/sdkconfig.defaults#L35) 用“#”注释掉,并且把 [Line49~Line60](/sdkconfig.defaults#L60) 前的“#”去掉
### 人脸识别 英文的唤醒词为“Hi, ESP”命令词包括“Stop Working”、“Display Only”、“Face Recognition”、“Enter Face”、“Delete Face”和“Recognize Face”。
人脸识别模式下LCD 屏幕上会实时显示摄像头采集的图片。并且实时检测画面中的人脸,并显示检测框和关键点。通过按键和语音交互可以实现人脸识别相关的操作,详见下表: > 当然你也可以在 menuconfig 中选择其他唤醒词和命令词。
| 操作 | 说明 | 按键触发 | 语音触发 |
| :------: | :------------------------------------------: | :------: | :------------------------------------: |
| 识别人脸 | 识别当前画面中的人脸,并显示识别结果 | “PLAY” | “Hi乐鑫”唤醒后说出命令词“识别一下” |
| 添加人脸 | 添加当前画面中的人脸,并显示添加的 ID 号 | “UP” | “Hi乐鑫”唤醒后说出命令词“添加人脸” |
| 删除人脸 | 删除人脸库中的最后一个 ID 并显示剩余 ID 数 | “DOWN” | “Hi乐鑫”唤醒后说出命令词“删除人脸” |
### 移动侦测
移动侦测模式下LCD 屏幕上会实时显示摄像头采集的图片。并且实时检测画面中是否出现物体移动,如果物体移动,画面左上角会显示蓝点。
#### 进入默认固件 ### 步骤2设定目标芯片
上电后等待3秒不对开发板做任何操作当LCD屏幕显示Espressif LOGO表示已进入默认固件。
#### 默认固件模式 打开终端,进入该示例,运行以下命令设定目标芯片(注意:仅支持 ESP32-S3
默认固件存在四种运行模式,固件会默认先进入人脸识别模式:
1. 待机模式该模式下开发板只有LCD工作显示公司LOGO。
2. 实时显示模式该模式下LCD会实时显示摄像头拍摄到的画面。
3. 人脸识别模式该模式下LCD会实时显示摄像头拍摄到的画面如果画面中存在人脸LCD显示的画面上会框出人脸并画出人脸的五个特征点。该模式下提供三种功能录入人脸、识别人脸、删除人脸。
- 录入人脸: 按下MENU键。或者使用“Hi乐鑫”唤醒词唤醒唤醒后摄像头旁的LED会被点亮随后说出“添加人脸”。
- 识别人脸: 按下UP键。或者使用“Hi乐鑫”唤醒词唤醒唤醒后摄像头旁的LED会被点亮随后说出“识别一下”。
- 删除人脸: 按下PLAY键。或者使用“Hi乐鑫”唤醒词唤醒唤醒后摄像头旁的LED会被点亮随后说出“删除人脸”。
4. 移动侦测模式: 该模式下LCD会实时显示摄像头拍摄到的画面。若画面中存在物体移动LCD中左上角会显示蓝色色块。
#### 模式切换 ```shell
在任何时候都可以使用“Hi乐鑫”唤醒词唤醒开发板四种模式分别对应四个命令词。说出相应的命令词识别成功后随即切换到对应的模式。工作模式与命令词的对应关系如下 idf.py set-target esp32s3
1. 待机模式:“停止工作” ```
2. 实时显示模式:“仅显示”
3. 人脸识别模式:“人脸识别”
4. 移动侦测模式:“移动侦测”
#### 语音系统
- 语音唤醒默认固件工作时任何时刻都可以使用“Hi乐鑫”唤醒词唤醒开发板。开发板被唤醒后摄像头旁的LED会常亮。
- 命令词识别唤醒后会等待用户说出命令词。若识别成功摄像头旁的LED会从常亮变为闪烁一秒, LED会随后熄灭。 ### 步骤3运行和监视
烧录程序,运行 IDF 监视器:
```shell
idf.py flash monitor
```
## 示例说明
### 工作模式
该示例共包含四个工作模式:“待机模式”、“实时显示”、“人脸识别”和“移动侦测”。上电后默认进入“待机模式”:
1. 待机模式该模式下LCD 屏幕上仅显示 Espressif Logo。该模式也是开发板上电以后的默认模式。
1. 实时显示该模式下LCD 屏幕上会实时显示摄像头采集的图片。
1. 人脸识别该模式下LCD 屏幕上会实时显示摄像头采集的图片。并且实时检测画面中的人脸,并显示检测框和关键点。通过按键和语音交互可以实现人脸识别相关的操作,详见下表:
| 操作 | 说明 | 按键触发 | 语音触发 |
| :------: | :------------------------------------------- | :------: | :------------------------------------: |
| 识别人脸 | 识别当前画面中的人脸,并显示识别结果 | “PLAY” | “Hi乐鑫”唤醒后说出命令词“识别一下” |
| 添加人脸 | 添加当前画面中的人脸,并显示添加的 ID 号 | “UP+” | “Hi乐鑫”唤醒后说出命令词“添加人脸” |
| 删除人脸 | 删除人脸库中的最后一个 ID 并显示剩余 ID 数 | “DN-” | “Hi乐鑫”唤醒后说出命令词“删除人脸” |
4. 移动侦测该模式下LCD 屏幕上会实时显示摄像头采集的图片。并且实时检测画面中是否出现物体移动,如果物体移动,画面左上角会显示蓝点,反之则不会。
### 模式切换
模式切换可以通过语音和按键实现。
#### 通过语音
在任何时候都可以通过语音进行模式切换,对应的详细方法见下表:
| 模式 | 中文 | 英文 |
| :------: | -------------------------------------- | --------------------------------------------- |
| 待机模式 | “Hi乐鑫”唤醒后说出命令词“停止工作” | “HiESP”唤醒后说出命令词“Stop Working” |
| 实时显示 | “Hi乐鑫”唤醒后说出命令词“仅显示” | “HiESP”唤醒后说出命令词“Display Only” |
| 人脸识别 | “Hi乐鑫”唤醒后说出命令词“人脸识别” | “HiESP”唤醒后说出命令词“Face Recognition” |
| 移动侦测 | “Hi乐鑫”唤醒后说出命令词“移动侦测” | “HiESP”唤醒后说出命令词“Motion Detection” |
#### 通过按键
在任何时候都可以通过按下”MENU“按键进行模式切换。模式之间会按照如下顺序循环切换”待机模式“ > ”实时显示“ > ”人脸识别“ > ”移动侦测“继续按下“MENU”按键会重新回到“待机模式”以此往复。
### LED 交互
#### 语音反馈
当说出唤醒词并且唤醒成功,开发板上的 LED 灯亮起,表示等待命令词。此时,
- 如果6秒内说出命令词并且正确识别LED 灯会闪烁一秒后熄灭,回到待唤醒状态,
- 如果6秒内没有说出命令词或者没有说出正确的命令词6秒后 LED 灯熄灭,回到待唤醒状态。
#### 按键反馈
当按下任意按键不包括“boot”和“reset”LED 灯会闪烁一秒。