“2019春-智能硬件-第四次课-教学计划”版本间的差异
来自iCenter Wiki
（→PYNQ Audio实验） |
|||
| （2位用户的10个中间修订版本未显示） | |||
| 第1行： | 第1行： | ||
2019-03-19 | 2019-03-19 | ||
| − | + | ==PYNQ Audio实验== | |
| − | + | PYNQ Audio实验 | |
| − | + | *实验1-笔记本电脑：认识人声与时频谱图（spectrogram） | |
| − | + | 语音信号；傅里叶变换；短时距傅里叶变换；小波变换； | |
| − | + | 样例下载： http://gitlab.icenter.tsinghua.edu.cn/zhenchen/STIS-2019.git | |
| − | + | ||
| − | * | + | *实验2-PYNQ板上： |
| − | + | （自带手机耳机1条；） | |
| − | + | (1) 在PYNQ板子上，找到example目录下的audio_playback.ipynb | |
| − | [https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/ | + | (2) [https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/audio/audio_playback.ipynb PYNQ_Audio] |
| − | + | *实验3-话声检测：（思考） | |
| − | + | 问题：如何判定有人说话？说特定的关键词？ | |
| − | [[大数据智能-Lucida使用]] | + | Voice activity detection（VAD）/speech detection, https://en.wikipedia.org/wiki/Voice_activity_detection |
| + | |||
| + | Keyword spotting, https://en.wikipedia.org/wiki/Keyword_spotting | ||
| + | |||
| + | ==PYNQ OpenCV实验== | ||
| + | |||
| + | #原理：[[智能硬件-人脸识别|iCenter课程内容 - 人脸检测]] | ||
| + | #例程：[https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/video/opencv_face_detect_webcam.ipynb PYNQ官方OpenCV例程 - 人脸检测程序] | ||
| + | #例程：[https://github.com/Xilinx/PYNQ/blob/master/boards/Pynq-Z1/base/notebooks/video/opencv_filters_webcam.ipynb PYNQ官方OpenCV例程 - 滤镜程序] | ||
| + | #应用：[[大数据智能-Lucida使用]] | ||
| + | |||
| + | ==PYNQ 智能迎宾系统== | ||
| + | |||
| + | 综合以上两个实验，制作一套智能迎宾系统。根据目前的硬件情况，简化流程，要求该系统能够达到： | ||
| + | # 检测宾客是否出现 | ||
| + | # 检测到宾客出现后，主动亮灯 | ||
| + | #<del>宾客出现，播放欢迎语音</del> (暂不要求) | ||
| + | #<del>欢迎后记录一段宾客留言</del> (暂不要求) | ||
| + | |||
| + | 具体实验流程见[[PYNQ-智能迎宾系统]]。 | ||
2019年3月22日 (五) 14:07的最后版本
2019-03-19
PYNQ Audio实验
PYNQ Audio实验
- 实验1-笔记本电脑：认识人声与时频谱图（spectrogram）
语音信号；傅里叶变换；短时距傅里叶变换；小波变换；
样例下载： http://gitlab.icenter.tsinghua.edu.cn/zhenchen/STIS-2019.git
- 实验2-PYNQ板上：
（自带手机耳机1条；）
(1) 在PYNQ板子上，找到example目录下的audio_playback.ipynb
(2) PYNQ_Audio
- 实验3-话声检测：（思考）
问题：如何判定有人说话？说特定的关键词？
Voice activity detection（VAD）/speech detection, https://en.wikipedia.org/wiki/Voice_activity_detection
Keyword spotting, https://en.wikipedia.org/wiki/Keyword_spotting
PYNQ OpenCV实验
PYNQ 智能迎宾系统
综合以上两个实验，制作一套智能迎宾系统。根据目前的硬件情况，简化流程，要求该系统能够达到：
- 检测宾客是否出现
- 检测到宾客出现后，主动亮灯
宾客出现，播放欢迎语音(暂不要求)欢迎后记录一段宾客留言(暂不要求)
具体实验流程见PYNQ-智能迎宾系统。
