第四组日志

团队介绍

队名：英雄大联盟H&L

组长：尹倩

学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟

团队分工：

   1、录音语音指令 -- 负责人：谌丽容
   2、格式转换 ------ 负责人：杨厚平
   3、TensorFlow ---  负责人：尹倩
   4、AudioNet -----  负责人：刘伟
   5、安卓应用开发 -- 负责人：曾丽霞
   6、任务过程记录 -- 负责人：徐玉娟
   7、任务总结 ------ 负责人：尹倩

2017年07月22日

上午

学习内容

一、智能声控硬件实践的理论学习

二、团队建设及具体分工安排

三、按要求录制音频文件

下午

1.准备工作：

安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件， 工作过程如下图所示。

2、制作步骤

(1)、查看IPython工作路径：

打开IPython软件，运行脚本：

import os

os.path.realpath('.')

(2)、调用ffmepg软件将音频格式转换成a.m4a文件：

运行脚本：

os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')

(3)、读取语音波形

运行脚本：

import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')

plt.plot(data)

plt.show()

(4)、调用sox软件生成频谱图：

运行脚本：

import os

from matplotlib import image, pyplot

os.path.exists('.\\sox\\sox.exe')

os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')

img = image.imread('.\\aout.png')

pyplot.imshow(img)

pyplot.axis('off')

pyplot.show()

3、团队阶段性成果，谱图制作结果如下图所示

1.理论讲解

陈老师首先就神经网络训练进行理论性讲解，并对操作步骤进行演示。

2.工作步骤

（1）准备工作：确定各文件路径的正确：

(a)把从陈老师拷的audioNet文件夹放置在桌面；

(b)在audioNet下新建文件夹raw，将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中；

(c)确认ffmpeg和sox文件夹中有相应的文件。

（2）批量生成音频

(a)输入cd desktop回车，再输入cd audioNet回车；

(b)输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下；

（3）测试

输入python train.py 回车，开始测试。

7月23日

上午

一、学习内容

1.陈老师对7月22日讲授的神经网络训练进行复习指导

2.任务布置

3.安装android studio软件，将7.22日训练完成后的数据生成APP，并在手机上进行测试，测试准确率高达91.67%，测试结果如图所示。

二、存在问题

①计算机在训练过程中经常自动关机

②计算机在训练时无法接收到client数据

③Android studio无法打开程序；

三、解决方案

1.训练过程中关机的原因有：

① 计算机CPU太差

②机器学习时，训练及测试数据的频率过快

解决方案：

打开train.py文件，更改train=sockDataGenerator（9009，50），test=sockDataGenerator（9009，10）这两个函数括号中的参数，

如：train=sockDataGenerator（9009，20），test=sockDataGenerator（9009，5）

2.计算机在训练时无法接收到client数据的原因有：

命令窗口在执行train数据计算时，client数据传送过早

3.Android studio无法打开程序的原因有：

① 没有Java环境

②没有联网

③缺少SDK插件

解决方案：

① 安装Java jdk，添加环境变量

下午

一、学习内容

（一）、日志编辑及格式修改

整理日志资料，并汇报智能声控的学习进展和学习心得

步骤

1、烧录PYNQ-Z1 image系统

运用Win32Disklmager工具在SD卡上烧录PYNQ-Z1 image系统

2、硬件设置

（1）将boot 跳线（板上标记的JP4）选择为从SD 卡驱动

（2） 将已安装镜像文件的SD 卡插入SD 卡卡槽

（3）使用Micro USB 线将PYNQ 开发板的PROG UART 接口连接到电脑。这将用来给PYNQ 供电以及作为串口通信

（4）使用网线将PYNQ 开发板连接到路由器或电脑（根据网线端口的选择，后续操作会有不同）

（5）将开关拨到ON 以打开PYNQ，等待系统启动。大约一分钟后将有两个蓝色的LED 和四个黄绿色的LED 同时闪动，随后蓝色LED 关闭，四个黄绿色的LED 灯亮。此时系统启动完毕。

出现的错误

1、烧录软件将write弄错成read

2、PYNQ板JP5未接入USB

3、PYNQ板JP5未打开SW1、SW0开关

2017年07月24日

上午

（一）、PYNQ板

1.更改IP地址：将PYNQ通过网线连接到电脑，设置电脑IP地址

2.录音及音频处理

进入Example文件夹，点击audio_playback.ipynb，点击工具栏的run图标一次运行各个代码块。录制一段录音，转换成频谱图。

3.图像处理

4.应用程序将7月22日上午小组成员录制的音频一次性转换为波形图和频谱图

（二）、理论知识学习

1.张老师讲解介绍了智能实验室系统中智能硬件进行简要介绍；

2.马老师讲解介绍云计算机房设施的配置、云平台的几个S（基础设施即服务、平台即服务、软件即服务）的相关概念等。

二、阶段性学习成果