智能硬件-云端整合

语音识别

智能硬件-语音识别

实验（1）基于Web的云端整合

PYNQ端+Web端实验

Python for Zynq （PYNQ）是xilinx生产的一款嵌入式智能硬件。

（1）https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/overlay_download.ipynb

PYNQ 端

基于PYNQ开发，完成功能有：

1. 调用API录音
2. 发送录音文件或频谱图

Audio Input

https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/audio_playback.ipynb

实验（2）基于Thrift的云端整合

Thrift协议

远程RPC通讯协议，与谷歌protobuf类似，由Facebook开发。

移动终端（Client）

基于Android开发，完成功能有：

1. 调用API录音
2. 调用Thrift接口，发送录音文件或频谱图

服务器端（Server）

• 基于Flask开发，完成功能：

1. 接收录音文件，调用服务端处理程序
2. 运行Keras或者TensorFlow，对频谱图进行判断
3. 返回识别结果

• 推断模型AudioNet

AudioNet

实验成果

1. 项目报告（Word版本）
2. 项目代码（托管在GitLab）

教学资源

智能平板 HUAWEI MediaPad M2 8.0

嵌入式设备 Xilinx Pynq

嵌入式设备 Jetson Kit

参考链接

1. PYNQ开发入门
2. Android开发入门
3. Thrift