“智能硬件-云端整合”版本间的差异

来自iCenter Wiki
跳转至: 导航搜索
 
(相同用户的10个中间修订版本未显示)
第1行: 第1行:
=实验(1)基于Web的云端整合=
+
=语音识别=
  
==PYNQ端+Web端实验==
+
[[智能硬件-语音识别]]
  
Python for Zynq (PYNQ)是xilinx生产的一款嵌入式智能硬件。
 
  
(1)https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/overlay_download.ipynb
+
=实验1-基于Web的云端整合=
  
==Audio Input==
+
==PYNQ端+Web端实验==
  
https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/audio_playback.ipynb
+
Python for Zynq (PYNQ)是xilinx生产的一款嵌入式智能硬件。
  
==AudioNet==
+
[https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/overlay_download.ipynb pynq_overlay]
  
http://gitlab.icenter.tsinghua.edu.cn/zhengwenxun/audioNet
+
== PYNQ 端 ==
  
 +
基于PYNQ开发,完成功能有:
  
=实验(2)基于Thrift的云端整合=
+
# 调用API录音
 +
# 发送录音文件或频谱图
  
== Thrift协议 ==
+
==Audio Input==
  
远程RPC通讯协议,与谷歌protobuf类似,由Facebook开发。
+
[https://github.com/Xilinx/PYNQ/blob/master/Pynq-Z1/notebooks/examples/audio_playback.ipynb pynq_audio_playback]
  
=== 移动终端(Client) ===
+
= 服务器端(Server) =
 +
*基于Flask开发,完成功能:
 +
# 接收录音文件,调用服务端处理程序
 +
# 运行Keras或者TensorFlow,对频谱图进行判断
 +
# 返回识别结果
  
完成功能:
+
*推断模型AudioNet
  
# 调用API录音
+
[http://gitlab.icenter.tsinghua.edu.cn/zhengwenxun/audioNet AudioNet]
# 调用Thrift接口,发送录音文件或频谱图
+
  
=== 云端(Server) ===
+
= 实验成果 =
  
完成功能:
+
输出:3-4页左右的书面报告,包括截图与文字。
 
+
# 接收录音文件
+
# 调用服务端程序
+
# 运行Keras或者TensorFlow,对频谱图进行判断
+
# 返回结果
+
 
+
= 实验成果 ==
+
  
 
# 项目报告(Word版本)
 
# 项目报告(Word版本)
第44行: 第41行:
  
 
= 教学资源 =
 
= 教学资源 =
 
智能平板 HUAWEI MediaPad M2 8.0
 
  
 
嵌入式设备 Xilinx Pynq
 
嵌入式设备 Xilinx Pynq
  
嵌入式设备 Jetson Kit
+
= 参考链接 =
  
=== 参考链接 ===
 
 
# [http://pynq.io PYNQ开发入门]
 
# [http://pynq.io PYNQ开发入门]
# [https://developer.android.com/ Android开发入门]
 
# [http://thrift.apache.org/ Thrift]
 

2017年6月7日 (三) 09:05的最后版本

语音识别

智能硬件-语音识别


实验1-基于Web的云端整合

PYNQ端+Web端实验

Python for Zynq (PYNQ)是xilinx生产的一款嵌入式智能硬件。

pynq_overlay

PYNQ 端

基于PYNQ开发,完成功能有:

  1. 调用API录音
  2. 发送录音文件或频谱图

Audio Input

pynq_audio_playback

服务器端(Server)

  • 基于Flask开发,完成功能:
  1. 接收录音文件,调用服务端处理程序
  2. 运行Keras或者TensorFlow,对频谱图进行判断
  3. 返回识别结果
  • 推断模型AudioNet

AudioNet

实验成果

输出:3-4页左右的书面报告,包括截图与文字。

  1. 项目报告(Word版本)
  2. 项目代码(托管在GitLab

教学资源

嵌入式设备 Xilinx Pynq

参考链接

  1. PYNQ开发入门