1、团队介绍===团队介绍===
队名:英雄大联盟H&L
组长:尹倩
学员:杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟
团队分工:
1、录音语音指令 -- 负责人:谌丽容
2、格式转换 ------ 负责人:杨厚平
3、TensorFlow --- 负责人:尹倩
6、任务过程记录 -- 负责人:徐玉娟
7、任务总结 ------ 负责人:尹倩
[[文件:团队.jpg|缩略图|居中]]
=2017年07月22日=
==上午==
===学习内容===
<gallery>
文件:团队.jpg
</gallery>
2、2017年07月22日
2.1 上午
学习内容:
一、智能声控硬件实践的理论学习
二、团队建设及具体分工安排
三、按要求录制音频文件
2.2 == 下午学习内容:一、频谱图制作1.准备工作:安装Ipython软件,在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件, 工作过程如下图所示。 <gallery>文件:图片1.jpg</gallery>==
2、制作步骤:===学习内容=== ===一、频谱图制作=== ===1.准备工作:=== 安装Ipython软件,在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件, 工作过程如下图所示。[[文件:图片1.png|缩略图|居中]] ===2、制作步骤===
(1)、查看IPython工作路径:
打开IPython软件,运行脚本:
import os
os.path.realpath('.')
(2)、调用ffmepg软件将音频格式转换成a.m4a文件:
运行脚本:
os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
(3)、读取语音波形
运行脚本:
import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
plt.plot(data)
plt.show()
(4)、调用sox软件生成频谱图:
运行脚本:
import os
from matplotlib import image, pyplot
os.path.exists('.\\sox\\sox.exe')
os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
img = image.imread('.\\aout.png')
pyplot.imshow(img)
pyplot.axis('off')
pyplot.show()
===3、团队阶段性成果,谱图制作结果如下图所示===<gallery>[[文件:图片3.jpgpng|缩略图|居中]]</gallery> ===二、神经网络训练=== ===1.理论讲解:陈老师首先就神经网络训练进行理论性讲解,并对操作步骤进行演示。理论讲解=== 陈老师首先就神经网络训练进行理论性讲解,并对操作步骤进行演示。 ===2.工作步骤===
(1)准备工作:确定各文件路径的正确:
(a)把从陈老师拷的audioNet文件夹放置在桌面;
(b)在audioNet下新建文件夹raw,将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中;
(c)确认ffmpeg和sox文件夹中有相应的文件。
(2)批量生成音频
(a)输入cd desktop回车,再输入cd audioNet回车;
(b)输入python convert_file.py ./raw,回车,自动在audioNet\data\train下转换成.wav 文件格式,复制其中的100个文件到audioNet\data\test文件夹下;
(3)测试
输入python train.py 回车,开始测试。
=7月23日=
3. 7月23日==上午== ===一、学习内容===
3.1 上午
一、学习内容:
1.陈老师对7月22日讲授的神经网络训练进行复习指导
2.任务布置
3.安装android studio软件,将7.22日训练完成后的数据生成APP,并在手机上进行测试,测试结果如图所示。
<gallery>
文件:图片7.jpg
</gallery>
3.安装android studio软件,将7.22日训练完成后的数据生成APP,并在手机上进行测试,测试准确率高达'''<big>91.67%</big>''',测试结果如图所示。
[[文件:图片7.jpg|缩略图|居中]] ===二、存在问题===
①计算机在训练过程中经常自动关机
②计算机在训练时无法接收到client数据
③Android studio无法打开程序;
===三、解决方案===
1.训练过程中关机的原因有:
① 计算机CPU太差
②机器学习时,训练及测试数据的频率过快
解决方案:
打开train.py文件,更改train=sockDataGenerator(9009,50),test=sockDataGenerator(9009,10)这两个函数括号中的参数,如:trainsockDataGenerator(9009,10)这两个函数括号中的参数, 如:train=sockDataGenerator(9009,20),test=sockDataGenerator(9009,5)
2.计算机在训练时无法接收到client数据的原因有:
命令窗口在执行train数据计算时,client数据传送过早
3.Android studio无法打开程序的原因有:
① 没有Java环境
②没有联网
③缺少SDK插件
解决方案:
① 安装Java jdk,添加环境变量
<gallery>[[文件:图片9.png|缩略图|居中]] ==下午== ===一、学习内容=== ====(一)、日志编辑及格式修改==== 整理日志资料,并汇报智能声控的学习进展和学习心得 [[文件:图片4Liuwei.jpg|缩略图|居中]]</gallery><gallery>====(二)、PYNQ板系统刻录==== ====步骤==== 1、烧录PYNQ-Z1 image系统 运用Win32Disklmager工具在SD卡上烧录PYNQ-Z1 image系统 2、硬件设置 (1)将boot 跳线(板上标记的JP4)选择为从SD 卡驱动 (2) 将已安装镜像文件的SD 卡插入SD 卡卡槽 (3)使用Micro USB 线将PYNQ 开发板的PROG UART 接口连接到电脑。这将用来给PYNQ 供电以及作为串口通信 (4)使用网线将PYNQ 开发板连接到路由器或电脑(根据网线端口的选择,后续操作会有不同) (5)将开关拨到ON 以打开PYNQ,等待系统启动。大约一分钟后将有两个蓝色的LED 和四个黄绿色的LED 同时闪动,随后蓝色LED 关闭,四个黄绿色的LED 灯亮。此时系统启动完毕。 [[文件:图片5图片12.jpg|缩略图|居中]]</gallery><gallery>====出现的错误==== 1、烧录软件将write弄错成read 2、PYNQ板JP5未接入USB 3、PYNQ板JP5未打开SW1、SW0开关 [[文件:图片7图片11.jpgpng|缩略图|居中]]</gallery>②连接网络=2017年07月24日= ==上午== ===一、学习内容=== ===(一)、PYNQ板=== 1.更改IP地址:将PYNQ通过网线连接到电脑,设置电脑IP地址 2.录音及音频处理 进入Example文件夹,点击audio_playback.ipynb,点击工具栏的run图标一次运行各个代码块。录制一段录音,转换成频谱图。③安装SDK插件3.图像处理 4.应用程序将7月22日上午小组成员录制的音频一次性转换为波形图和频谱图 [[文件:Zhidao.jpg|缩略图|居中]][[文件:Zeng.jpg|缩略图|居中]] ===(二)、理论知识学习===1.张老师讲解介绍了智能实验室系统中智能硬件进行简要介绍; 2 下午.马老师讲解介绍云计算机房设施的配置、云平台的几个S(基础设施即服务、平台即服务、软件即服务)的相关概念等。 ===二、阶段性学习成果===[[文件:原始图.png|缩略图|居中]][[文件:灰度图像.png|缩略图|居中]][[文件:旋转图像.png|缩略图|居中]]