查看“第一组日志”的源代码


组名：卓越国防

组长：何之舟

组员：王鸿、李鹏、郭佼瑞、 杨丽艳、蔺相飞、赵凌

分工  
  1、录音语音指令 -- 负责人：杨丽艳
  2、格式转换 ------ 负责人：李鹏
  3、TensorFlow ---  负责人：蔺相飞、王鸿
  4、AudioNet -----  负责人：郭佼瑞
  5、任务过程记录 -- 负责人：赵凌
  6、任务总结 ------ 负责人：何之舟

第一天 2017年7月22日

<big>上午：</big>
  1、陈 老 师：智能声控硬件实践的理论学习，讲解重难点，对每项任务的实施进行划分和方法指导；
  2、组    员：组织商量任务的具体分工，职责到人；
  具体流程：
    a. 日志创建：赵凌记录任务完成过程，创建本组任务日志页面和过程记录；
    b. 录制音频：杨丽艳组织全组成员，按要求每人录制24条语音指令，进行音频文件制作；
    c. 收集音频：王鸿、蔺相飞收集、整理了全组成员的音频文件；
    d. 整理上交：何之舟负责完成了统筹、汇总、更名和上交。
<gallery>
文件:23-5.jpg|说明1 认真完成任务
</gallery>

<big>下午：</big>
  1、陈 老 师: 回顾上午的所学，并对下一步的任务进行布置和讲解；
  2、组    员：何之舟、蔺相飞拷贝和安装好WavReader.py文件和WavReader.txt文档；
  3、陈 老 师：讲解WavReader.py文件操作方法（格式转化、读取语音波形、频谱图生成），并对每一步的操作进行演示；
  4、组    员：选取了何之舟和李鹏两位组员的音频文件，按照步骤完成音频文件的格式转化，读取语音波形和频谱图生成；
  5、陈 老 师：就实际操作过程中出现的困难和问题，进行面对面解答和指导；全组成员在合作和探究中，发现问题，提出问题并解决问题；
  具体流程：
     a.准备工作: 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件
     b.制作步骤: 查看IPython工作路径,打开IPython软件
       运行脚本： import os os.path.realpath('.') 
     c.调用ffmpeg.exe软件: 将24个音频全部转换成wav文件
       运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1') 
     d.读取波形图: 调用matplotlab.pyplot将24个wav音频文件生成波形图，并另存为*.png文件;
       运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show() 
     e.生成频谱图: 调用sox.exe交互软件,增加音频效果，依据波形图生成频谱图，并另存为*out.png文件;
       运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav-nrate 4kspectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show()  
  6、陈老师：讲解图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型（核心）等知识
<gallery>
文件:1 (15).jpg|说明1 图示1
文件:1 (11).jpg|说明2 图示2
</gallery>

<big>晚上：</big>
  '''一、准备工作：'''
  1、安装Anaconda3软件到c盘； 
  2、audionet文件夹放置在桌面； 
  3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中； 
  4、确认ffmpeg和sox文件夹中有相应文件； 
  5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。 
  '''二、TensorFlow安装：'''
  1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序； 
  2、在Anaconda Prompt-python窗口中，输入python，回车； 
  3、输入quit()，回车； 
  4、输入pip install tensorflow,回车，此时开始安装，等待安装结束； 
  5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。 
  '''三、批量生成音频：'''
  1、输入cd desktop回车，再输入cd audioNet回车； 
  2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。 
  '''四、安装keras：'''
  1、在Anaconda Prompt-python窗口中，输入python，回车； 
  2、输入quit()，回车； 
  3、输入pip install keras,回车，此时开始安装，等待安装结束。 
  '''五、测试：'''
  1、输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。
<gallery>
文件:1 (1).jpg|说明1 陈老师指导和答疑
文件:1 (3).jpg|说明2 小组合作探究
</gallery>

第二天 2017年7月23日

<big>上午：</big>
  1、陈 老 师：陈老师讲解Android studio的操作界面和使用方案；
  2、组    员：认真听讲，积极思考，主动与老师、组员沟通反馈和交流。
    教学互动流程：
    a. 陈老师讲解Android studio的操作界面和使用方案；
    b. 陈老师分发各组所需的代码和数据；
    c. 蔺相飞、郭佼瑞发现本组的工作电脑未安装Android studio软件；
    d. 老师第一时间提供了Android studio安装包，组员自行安装完成；
       （在软件安装的过程中，组员遇到了一些的问题，例如：安装之后软件不能正常运行，重复多次安装，在老师的指导下，最后安装成功）
    e. Android手机安装APP应用并试音；
       （例：在给手机安装app时，出现了因安卓版本不同，某些手机无法正常安装及使用，何之舟和李鹏尝试并探究解决问题，其他成员再寻找可以使用的手机，最后通过
    组内合作探究发现，在软件中加载安卓版本库以适应不同安卓版本的手机，最后将成功解决了APP安装问题。）
    f. 使用中发现的问题，例如“上一首”“下一首”“下一曲”“上一曲”识别的正确率太低；没有采集的音源目标，无法识别；语音指令不明确或不清晰的情况下，随机回应指令。
<gallery>
文件:23-4.jpg|说明2 探讨和交流
</gallery>

<big>下午：</big>
  陈老师介绍PYNQ入门指南
  一、检查硬件设备准备情况：
  1、PYNQ-Z1开发板
  2、Mirco-SD卡（最少容量8GB）
  3、检查网线和接口
  4、检查USB连接线

  二、软件准备：
  1、电脑下载win32Disklmager刻录软件；并安装；
  2、在老师提供的安装包里找出PYNQ-Z1 image镜像文件；
  3、运用win32Disklmager刻录软件将PYNQ-Z1 image镜像文件刻录到内存卡里；
  4、按要求设置PYNQ开发板，详见指南硬件设置内容；
  5、给主机分配IP地址，用网线将电脑和PYNQ板连接并开机；
  6、再打开http：//192.168.2.99:9090；
 
  三、实操训练
  1、打开训练模块音频采集程序，程序名为audio play_back.ipynb;
  2、代码被拆分成一块，每一块代表一个功能，点击当前块，再点击运行图标时，即可执行该段代码；
  3、运行时的指令，前方标识转为“×”，运行完成后转为数字，表示执行步骤；
  4、该程序分为“3s语音记录保存”“语音读取并转换格式”“语音转换为波形图”“语音转换为频谱图”；
 
[[文件:Fg24-1.jpg|缩略图|左]]            [[文件:Fg24-2.jpg|缩略图|居中]]                  
[[文件:7467.JPG|缩略图|左]]

  第三天 2017年07月24日

  '''上午'''

  一、陈震教师回顾上一次课所实践的音频处理，并布置今天的新任务——视频处理； 
  1、执行usb_webcam.ipynb，进行视频采集；
  2、通过摄像头采集到彩色原始图像；
  3、将原始图像转换为黑白图像；
  4、将原始图像进行旋转。

  二、拓展新知和学习任务反馈
  1、基础训练中心实验室张主任讲解智能硬件图书馆的相关内容、马老师讲解工业云的相关知识； 
  2、陈震老师做总结，各小组汇报PYNQ板实验完成情况；
  3、各个小组实时更新网络日志。
[[文件:Fg2 (2).png||左]]

[[文件:Fg2 (4).png||居中]]