2019春-智能硬件-第四次课-教学计划

2019-03-19

PYNQ Audio实验

• 实验1-笔记本电脑：认识人声与时频谱图（spectrogram）

语音信号；傅里叶变换；短时距傅里叶变换；小波变换；

样例下载： http://gitlab.icenter.tsinghua.edu.cn/zhenchen/STIS-2019.git

• 实验2-PYNQ板上：

（自带手机耳机1条；）

(1) 在PYNQ板子上，找到example目录下的audio_playback.ipynb

(2) PYNQ_Audio

• 实验3-话声检测：（思考）

问题：如何判定有人说话？说特定的关键词？

Voice activity detection（VAD）/speech detection, https://en.wikipedia.org/wiki/Voice_activity_detection

Keyword spotting, https://en.wikipedia.org/wiki/Keyword_spotting

1. 原理：iCenter课程内容 - 人脸检测
2. 例程：PYNQ官方OpenCV例程 - 人脸检测程序
3. 例程：PYNQ官方OpenCV例程 - 滤镜程序
4. 应用：大数据智能-Lucida使用

综合以上两个实验，制作一套智能迎宾系统。根据目前的硬件情况，简化流程，要求该系统能够达到：

1. 检测宾客是否出现
2. 检测到宾客出现后，主动亮灯
3. 宾客出现，播放欢迎语音 (暂不要求)
4. 欢迎后记录一段宾客留言 (暂不要求)

具体实验流程见PYNQ-智能迎宾系统。