第一组日志

组名：卓越国防

组长：何之舟

组员：王鸿、李鹏、郭佼瑞、 杨丽艳、蔺相飞、赵凌

分工

 1、录音语音指令 -- 负责人：杨丽艳
 2、格式转换 ------ 负责人：李鹏
 3、TensorFlow ---  负责人：蔺相飞、王鸿
 4、AudioNet -----  负责人：郭佼瑞
 5、任务过程记录 -- 负责人：赵凌
 6、任务总结 ------ 负责人：何之舟

第一天 2017年7月22日

上午：

 1、陈 老 师：智能声控硬件实践的理论学习，讲解重难点，对每项任务的实施进行划分和方法指导；
 2、组    员：组织商量任务的具体分工，职责到人；
 具体流程：
   a. 日志创建：赵凌记录任务完成过程，创建本组任务日志页面和过程记录；
   b. 录制音频：杨丽艳组织全组成员，按要求每人录制24条语音指令，进行音频文件制作；
   c. 收集音频：王鸿、蔺相飞收集、整理了全组成员的音频文件；
   d. 整理上交：何之舟负责完成了统筹、汇总、更名和上交。

• 

  说明1 认真完成任务

下午：

 1、陈 老 师: 回顾上午的所学，并对下一步的任务进行布置和讲解；
 2、组    员：何之舟、蔺相飞拷贝和安装好WavReader.py文件和WavReader.txt文档；
 3、陈 老 师：讲解WavReader.py文件操作方法（格式转化、读取语音波形、频谱图生成），并对每一步的操作进行演示；
 4、组    员：选取了何之舟和李鹏两位组员的音频文件，按照步骤完成音频文件的格式转化，读取语音波形和频谱图生成；
 5、陈 老 师：就实际操作过程中出现的困难和问题，进行面对面解答和指导；全组成员在合作和探究中，发现问题，提出问题并解决问题；
 具体流程：
    a.准备工作: 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件
    b.制作步骤: 查看IPython工作路径,打开IPython软件
      运行脚本： import os os.path.realpath('.') 
    c.调用ffmpeg.exe软件: 将24个音频全部转换成wav文件
      运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1') 
    d.读取波形图: 调用matplotlab.pyplot将24个wav音频文件生成波形图，并另存为*.png文件;
      运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show() 
    e.生成频谱图: 调用sox.exe交互软件,增加音频效果，依据波形图生成频谱图，并另存为*out.png文件;
      运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav-nrate 4kspectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show()  
 6、陈老师：讲解图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型（核心）等知识

• 

  说明1 图示1

• 

  说明2 图示2

晚上：

 一、准备工作：
 1、安装Anaconda3软件到c盘； 
 2、audionet文件夹放置在桌面； 
 3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中； 
 4、确认ffmpeg和sox文件夹中有相应文件； 
 5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。 
 二、TensorFlow安装：
 1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序； 
 2、在Anaconda Prompt-python窗口中，输入python，回车； 
 3、输入quit()，回车； 
 4、输入pip install tensorflow,回车，此时开始安装，等待安装结束； 
 5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。 
 三、批量生成音频：
 1、输入cd desktop回车，再输入cd audioNet回车； 
 2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。 
 四、安装keras：
 1、在Anaconda Prompt-python窗口中，输入python，回车； 
 2、输入quit()，回车； 
 3、输入pip install keras,回车，此时开始安装，等待安装结束。 
 五、测试：
 1、输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。

• 

  说明1 陈老师指导和答疑

• 

  说明2 小组合作探究

第二天 2017年7月23日

上午：

 1、陈 老 师：陈老师讲解Android studio的操作界面和使用方案；
 2、组    员：认真听讲，积极思考，主动与老师、组员沟通反馈和交流。
   教学互动流程：
   a. 陈老师讲解Android studio的操作界面和使用方案；
   b. 陈老师分发各组所需的代码和数据；
   c. 蔺相飞、郭佼瑞发现本组的工作电脑未安装Android studio软件；
   d. 老师第一时间提供了Android studio安装包，组员自行安装完成；
      （在软件安装的过程中，组员遇到了一些的问题，例如：安装之后软件不能正常运行，重复多次安装，在老师的指导下，最后安装成功）
   e. Android手机安装APP应用并试音；
      （例：在给手机安装app时，出现了因安卓版本不同，某些手机无法正常安装及使用，何之舟和李鹏尝试并探究解决问题，其他成员再寻找可以使用的手机，最后通过
   组内合作探究发现，在软件中加载安卓版本库以适应不同安卓版本的手机，最后将成功解决了APP安装问题。）
   f. 使用中发现的问题，例如“上一首”“下一首”“下一曲”“上一曲”识别的正确率太低；没有采集的音源目标，无法识别；语音指令不明确或不清晰的情况下，随机回应指令。

• 

  说明2 探讨和交流

下午：

 陈老师介绍PYNQ入门指南
 一、检查硬件设备准备情况：
 1、PYNQ-Z1开发板
 2、Mirco-SD卡（最少容量8GB）
 3、检查网线和接口
 4、检查USB连接线

 二、软件准备：
 1、电脑下载win32Disklmager刻录软件；并安装；
 2、在老师提供的安装包里找出PYNQ-Z1 image镜像文件；
 3、运用win32Disklmager刻录软件将PYNQ-Z1 image镜像文件刻录到内存卡里；
 4、按要求设置PYNQ开发板，详见指南硬件设置内容；
 5、给主机分配IP地址，用网线将电脑和PYNQ板连接并开机；
 6、再打开http：//192.168.2.99:9090；

 三、实操训练
 1、打开训练模块音频采集程序，程序名为audio play_back.ipynb;
 2、代码被拆分成一块，每一块代表一个功能，点击当前块，再点击运行图标时，即可执行该段代码；
 3、运行时的指令，前方标识转为“×”，运行完成后转为数字，表示执行步骤；
 4、该程序分为“3s语音记录保存”“语音读取并转换格式”“语音转换为波形图”“语音转换为频谱图”；

 第三天 2017年07月24日

 上午

 一、陈震教师回顾上一次课所实践的音频处理，并布置今天的新任务——视频处理； 
 1、执行usb_webcam.ipynb，进行视频采集；
 2、通过摄像头采集到彩色原始图像；
 3、将原始图像转换为黑白图像；
 4、将原始图像进行旋转。

 二、拓展新知和学习任务反馈
 1、基础训练中心实验室张主任讲解智能硬件图书馆的相关内容、马老师讲解工业云的相关知识； 
 2、陈震老师做总结，各小组汇报PYNQ板实验完成情况；
 3、各个小组实时更新网络日志。