2017年7月23日 (日) 08:48的版本

团队介绍

队名：英雄大联盟H&L

组长：尹倩

学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟

团队分工：

   1、录音语音指令 -- 负责人：谌丽容
   2、格式转换 ------ 负责人：杨厚平
   3、TensorFlow ---  负责人：尹倩
   4、AudioNet -----  负责人：刘伟
   5、安卓应用开发 -- 负责人：曾丽霞
   6、任务过程记录 -- 负责人：徐玉娟
   7、任务总结 ------ 负责人：尹倩

2017年07月22日

上午

学习内容

一、智能声控硬件实践的理论学习

二、团队建设及具体分工安排

三、按要求录制音频文件

下午

学习内容

一、频谱图制作

1.准备工作：

安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件， 工作过程如下图所示。

2、制作步骤

(1)、查看IPython工作路径：

打开IPython软件，运行脚本：

import os

os.path.realpath('.')

(2)、调用ffmepg软件将音频格式转换成a.m4a文件：

运行脚本：

os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')

(3)、读取语音波形

运行脚本：

import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')

plt.plot(data)

plt.show()

(4)、调用sox软件生成频谱图：

运行脚本：

import os

from matplotlib import image, pyplot

os.path.exists('.\\sox\\sox.exe')

os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')

img = image.imread('.\\aout.png')

pyplot.imshow(img)

pyplot.axis('off')

pyplot.show()

3、团队阶段性成果，谱图制作结果如下图所示

二、神经网络训练

1.理论讲解

陈老师首先就神经网络训练进行理论性讲解，并对操作步骤进行演示。

2.工作步骤

（1）准备工作：确定各文件路径的正确：

(a)把从陈老师拷的audioNet文件夹放置在桌面；

(b)在audioNet下新建文件夹raw，将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中；

(c)确认ffmpeg和sox文件夹中有相应的文件。

（2）批量生成音频

(a)输入cd desktop回车，再输入cd audioNet回车；

(b)输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下；

（3）测试

输入python train.py 回车，开始测试。

7月23日

上午

一、学习内容

1.陈老师对7月22日讲授的神经网络训练进行复习指导

2.任务布置

3.安装android studio软件，将7.22日训练完成后的数据生成APP，并在手机上进行测试，测试准确率高达91.67%，测试结果如图所示。

二、存在问题

①计算机在训练过程中经常自动关机

②计算机在训练时无法接收到client数据

③Android studio无法打开程序；

三、解决方案

1.训练过程中关机的原因有：

① 计算机CPU太差

②机器学习时，训练及测试数据的频率过快

解决方案：

打开train.py文件，更改train=sockDataGenerator（9009，50），test=sockDataGenerator（9009，10）这两个函数括号中的参数，

如：train=sockDataGenerator（9009，20），test=sockDataGenerator（9009，5）

2.计算机在训练时无法接收到client数据的原因有：

命令窗口在执行train数据计算时，client数据传送过早

3.Android studio无法打开程序的原因有：

① 没有Java环境

②没有联网

③缺少SDK插件

解决方案：

① 安装Java jdk，添加环境变量

下午

1.日志编辑及格式修改