查看“2019春-智能硬件-第四次课-教学计划”的源代码

2019-03-19

==PYNQ Audio实验==

PYNQ Audio实验

*实验1-笔记本电脑：认识人声与时频谱图（spectrogram）

语音信号；傅里叶变换；短时距傅里叶变换；小波变换；

样例下载： http://gitlab.icenter.tsinghua.edu.cn/zhenchen/STIS-2019.git 

*实验2-PYNQ板上：
（自带手机耳机1条；）

(1) 在PYNQ板子上，找到example目录下的audio_playback.ipynb

(2) [https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/audio/audio_playback.ipynb PYNQ_Audio]

*实验3-话声检测：（思考）

问题：如何判定有人说话？说特定的关键词？

Voice activity detection（VAD）/speech detection, https://en.wikipedia.org/wiki/Voice_activity_detection

Keyword spotting, https://en.wikipedia.org/wiki/Keyword_spotting

==PYNQ OpenCV实验==

#原理：[[智能硬件-人脸识别|iCenter课程内容 - 人脸检测]] 
#例程：[https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/video/opencv_face_detect_webcam.ipynb PYNQ官方OpenCV例程 - 人脸检测程序]
#例程：[https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/video/opencv_filters_webcam.ipynb PYNQ官方OpenCV例程 - 滤镜程序]
#应用：[[大数据智能-Lucida使用]]

==PYNQ 智能迎宾系统==

综合以上两个实验，制作一套智能迎宾系统。根据目前的硬件情况，简化流程，要求该系统能够达到：
# 检测宾客是否出现
# 检测到宾客出现后，主动亮灯
#<del>宾客出现，播放欢迎语音</del> (暂不要求)
#<del>欢迎后记录一段宾客留言</del> (暂不要求)

具体实验流程见[[PYNQ-智能迎宾系统]]。