2017-智能硬件-挑战
时间地点
时间:7月22日-7月24日
地点:B634房间
准备
机器六台; 电源
时间地点
时间:7月22日-7月24日
地点:B634房间
准备
机器六台; 电源
分组
6个组,每组6-7人。
每组人员分工:
1人负责记录过程:最终形成所有的报告,过程汇报。
1人波形文件录音,整理24句录音的波形图;频谱图;
4人分别对应四个过程。
第一组日志
第二组日志
第三组日志
第四组日志
第五组日志
第五组日志 组长:周辉
组员:龙红、龚健勇、陈堃、李英姿、贾宇
分工
录音语音指令:李英姿
格式转换:贾宇
TensorFlow实践:周辉
AudioNet安卓应用开发:龙红
记录:龚健勇、陈堃
1、2017年7月22日上午由录音员李英姿录制24条语音指令,进行音频文件制作并转换。
2、2017年7月22下午把转换的音频文件转频谱图,操作步骤如下:
(1)将wavReader.py和ffmpeg、sox两个文件夹放置在同一目录下;打开IPython软件,输入import os和os.path.realpath('.')两个命令,确定工作路径正确。
(2)把24个音频拷贝到同一路径下,使用ffmepg工具进行格式转换并注意文件名的修改。
(3)输入读取语音波形命令组,分别修改音频名称,生成并修改相应的波形图名称。
(4)用同样方法输入频谱图生成命令组,修改相应的波形图名称及频谱图名称并保存。
通过此次练习,我们发现在生成波形图时,前两条指令只需输入一次,通过修改第三条指令中的文件名即可连续生成不同波形图;做频谱图时可用同样的方法,前三条指令只需输入一次,通过修改第四条指令中的文件名即可连续生成不同的频谱图,这样在没有学习批量指令前,可加快文件处理速度。
3、2017年7月22日晚 训练并测试数据操作步骤如下:
第一步:准备工作(确定各文件路径的正确)
1、安装Anaconda3软件到c:盘;
2、audioNet文件夹放置在桌面;
3、在audioNet下新建文件夹raw,把960个音频文件复制到raw文件夹中;
4、确认ffmpeg和sox文件夹中有相应文件:
5、用记事本打开audioNet文件夹中train.py文件,修改速度参数;
第二步:Tensorflow安装
1、在运行处输入cmd,打开管理员提示窗口,再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序:
2、在Anaconda Prompt-python窗口中,输入python,回车。
3、输入quit(),回车。
4、输入pip install tensorflow,回车,此时开始安装,等待安装结束。
5、 输入python,回车,再输入import tensorflow as tf,回车,确认运行正常。
第三步:批量生成音频
1、输入cd desktop回车,再输入cd audioNet回车。
2、输入python convert_file.py ./raw,回车,自动在audioNet\data\train下转换成.wav 文件格式,复制其中的100个文件到audioNet\data\test文件夹下。
第四步:安装keras
1、在Anaconda Prompt-python窗口中,输入python,回车。
2、输入quit(),回车。
3、输入pip install keras,回车,此时开始安装,等待安装结束。
第五步:测试
输入python train.py 回车,开始测试,请关掉所有防护软件和防火墙。
第六组日志
队名:挑战--2017
2017年7月22日
地点:李兆基科技楼634
组长:吴臣
学员:吴臣、袁晴春、刘雯婧、江华、周益兰、阳娟娟
分工:
1、录音语音指令 -- 负责人:周益兰 2、格式转换 ------ 负责人:刘雯婧 3、TensorFlow --- 负责人:吴臣 4、AudioNet ----- 负责人:袁晴春 5、任务过程记录 -- 负责人:阳娟娟 6、任务总结 ------ 负责人:江华
Day1 上午:
1、智能硬件理论学习,讲授人陈震老师。
2、小组成员分别录音。
3、刘雯婧负责收集及转换录音,吴臣协助。
Day1 下午
第一阶段:
1、将“频谱图”,ffmpeg、sox软件及录制好的音频文件放到“我的文档”下存放。
2、吴臣负责查看iPython工作路径。
3、将录音文件资料格式转换成标准格式。刘雯婧负责格式转换,吴臣和袁晴春协助,江华和周益兰负责审核。
4、读取语音波形文件,音频文件全部改好,吴臣、江华、刘雯婧负责。
5、吴臣正在负责改和生成频谱图,袁晴春在旁边协助解决问题,刘雯婧,江华和周益兰自行摸索学习。
6、运营sox声音交互软件,增加音频效果,秀频谱图,运行sox声音交互软件。
第二阶段 主题:神经网络训练
第一步:理论学习。
陈震老师讲授理论知识:损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow(不断地设计结构调参数,TF示例演示-神经网络训练过程 谷歌开发)、卷积网络、循环网络-RNN(处理语音的。思路:权重共享)、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
第二步:讲授完,各组组长到陈震老师那儿拷贝文件ODO.NET(语音识别软件)。本组组长吴臣负责拷贝文件。
Day 2
时间:2017.7.23.
地点:李兆基科技楼634
上午:
1、陈老师带领各组回顾昨天的内容,对今天上午的任务进行说明。
2、请陈震老师到组内进行指导,9:15开始组长吴臣开始进行数据测试,袁晴春从旁协助。
3、组长负责电脑上安装安卓开发软件androidAudioRecg12,编辑程序,进行数据模拟测试,并检测,袁晴春协助,另外组员探讨摸索。
4、组长吴臣和袁晴春负责安装Android Studio Setup,并测试,安装成功。
下午:
1、陈震老师讲授理论知识:变量的创建与初始化(张量的秩(秩=2是一个矩阵,秩=1是向量)、张量的形状(shape[5]是一维长度为5的向量,shape[3,4]是一纬长度为3和4的向量)、数据的类型)、Tensorflow工作流程(示例讲解)、Tensor与Tensorflow的依赖关系、Tensorflow的组件、Keras的介绍和安装方法(一个好用的神经网络框架)、Keras定义训练方法(训练网络、测试网络、预测数据)