|
|
| 第1行： |
第1行： |
| | | | |
| − |
| |
| − | =时间地点=
| |
| − | 时间：7月22日-7月24日
| |
| − |
| |
| − | 地点：B634房间
| |
| − |
| |
| − | =准备=
| |
| − | [[智能硬件-挑战单元-明细]]
| |
| − |
| |
| − | 机器六台； 电源
| |
| − |
| |
| − | =时间地点=
| |
| − | 时间：7月22日-7月24日
| |
| − |
| |
| − | 地点：B634房间
| |
| − |
| |
| − | =准备=
| |
| − | [[智能硬件-挑战单元-明细]]
| |
| − |
| |
| − | 机器六台； 电源
| |
| − |
| |
| − | =分组=
| |
| − |
| |
| − | 6个组，每组6-7人。
| |
| − |
| |
| − | 每组人员分工：
| |
| − |
| |
| − | 1人负责记录过程：最终形成所有的报告，过程汇报。
| |
| − |
| |
| − | 1人波形文件录音，整理24句录音的波形图；频谱图；
| |
| − |
| |
| − | 4人分别对应四个过w程。
| |
| − |
| |
| − |
| |
| − | =第一组日志=
| |
| − | ［［国防职院-智能硬件挑战-第1组］］
| |
| − |
| |
| − | 2017年7月22日 第一天
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − | 主讲：陈 震 副研究员 清华大学 基础工业训练中心 互联网+实验室 主任
| |
| − |
| |
| − | 组长：何之舟
| |
| − |
| |
| − | 组员：王鸿、李鹏、郭佼瑞、杨丽艳、蔺相飞、赵凌
| |
| − |
| |
| − | 分工：
| |
| − | 1、录音语音指令 --- 负责人：杨丽艳
| |
| − | 2、格式转换 --- 负责人：李鹏
| |
| − | 3、TensorFlow --- 负责人：郭佼瑞
| |
| − | 4、AudioNet --- 负责人：王鸿
| |
| − | 5、安卓应用开发 --- 负责人：蔺相飞
| |
| − | 6、任务过程记录 --- 负责人：赵凌
| |
| − | 7、任务总结 --- 负责人：何之舟
| |
| − |
| |
| − | 操作：
| |
| − | 上 午
| |
| − | 1、陈 老 师：智能声控硬件实践的理论学习，讲解重难点，对每项任务的实施进行划分和方法指导；
| |
| − | 2、组 员：组织商量任务的具体分工，职责到人；
| |
| − | 3、具体流程：
| |
| − | a. 日志创建：赵凌记录任务完成过程，创建本组任务日志页面和过程记录；
| |
| − | b. 录制音频：杨丽艳组织全组成员，按要求每人录制24条语音指令，进行音频文件制作；
| |
| − | c. 收集音频：王鸿、蔺相飞收集、整理了全组成员的音频文件；
| |
| − | d. 整理上交：何之舟负责完成了统筹、汇总、更名和上交。
| |
| − |
| |
| − | 下 午
| |
| − | 1、陈 老 师: 回顾上午的所学，并对下一步的任务进行布置和讲解；
| |
| − | 2、组 员：何之舟、蔺相飞拷贝和安装好WavReader.py文件和WavReader.txt文档；
| |
| − | 3、陈 老 师：讲解WavReader.py文件操作方法（格式转化、读取语音波形、频谱图生成），并对每一步的操作进行演示；
| |
| − | 4、组 员：选取了何之舟和李鹏两位组员的音频文件，按照步骤完成音频文件的格式转化，读取语音波形和频谱图生成；
| |
| − | 5、陈 老 师：就实际操作过程中出现的困难和问题，进行面对面解答和指导；全组成员在合作和探究中，发现问题，提出问题并解决问题；
| |
| − | 6、具体流程：
| |
| − | a.准备工作: 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。
| |
| − | b.制作步骤: 查看IPython工作路径,打开IPython软件
| |
| − | 运行脚本： import os os.path.realpath('.')
| |
| − | c.调用ffmpeg.exe软件: 将24个音频全部转换成wav文件
| |
| − | 运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| |
| − | d.读取波形图: 调用matplotlab.pyplot将24个wav音频文件生成波形图，并另存为*.png文件;
| |
| − | 运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()
| |
| − | e.生成频谱图: 调用sox.exe交互软件,增加音频效果，依据波形图生成频谱图，并另存为*out.png文件;
| |
| − | 运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav-
| |
| − | nrate 4kspectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show() ]]
| |
| − |
| |
| − | 7、陈 老 师：理论新知讲授 --- 损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（设计结构调参数，TF示例演示-神经网络训
| |
| − | 练过程）、图像使用卷积网络、语音识别使用循环网络-RNN（权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别
| |
| − | 原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
| |
| − |
| |
| − | 晚上 训练测试数据
| |
| − | 第一步:准备工作：确定各文件路径的正确
| |
| − | 1、安装Anaconda3软件到c:盘；
| |
| − | 2、audioNet文件夹放置在桌面；
| |
| − | 3、在audioNet下新建文件夹raw，把960个音频文件复制到raw文件夹中；
| |
| − | 4、确认ffmpeg和sox文件夹中有相应文件；
| |
| − | 5、用记事本打开audioNet文件夹中train.py文件，修改速度参数；
| |
| − |
| |
| − | 第二步:Tensorflow安装
| |
| − | 1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；
| |
| − | 2、在Anaconda Prompt-python窗口中，输入python，回车；
| |
| − | 3、输入quit()，回车；
| |
| − | 4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；
| |
| − | 5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常；
| |
| − |
| |
| − | 第三步:批量生成音频
| |
| − | 1、输入cd desktop回车，再输入cd audioNet，回车；
| |
| − | 2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下；
| |
| − |
| |
| − | 第四步:安装keras
| |
| − | 1、在Anaconda Prompt-python窗口中，输入python，回车，如图；
| |
| − | 2、输入quit()，回车；
| |
| − | 3、输入pip install keras,回车，此时开始安装，等待安装结束。
| |
| − |
| |
| − | 第五步:测试
| |
| − | 1、输入python train.py 回车，开始测试，关掉所有防护软件和防火墙。
| |
| − |
| |
| − |
| |
| − |
| |
| − |
| |
| − | 2017年7月23日 第二天
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − | 上午
| |
| − |
| |
| − | =第二组日志=
| |
| − | [[第二组日志]]
| |
| − |
| |
| − | <big>队名：王者荣耀</big>
| |
| − |
| |
| − | == <big>day 1 #2017.07.22 ==
| |
| − |
| |
| − | 组员基本安排表</big>
| |
| − |
| |
| − | {| class="wikitable"
| |
| − | |-
| |
| − | ! 组员 !! 组员分工 !! 主要职责
| |
| − | |-
| |
| − | | 谭佳宇 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
| |
| − | |-
| |
| − | | 李顺娟 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
| |
| − | |-
| |
| − | | 曾莹莹 || TensorFlow实践 || audioNet 实践与操作
| |
| − | |-
| |
| − | | 任洁敏 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
| |
| − | |-
| |
| − | | 尹繁荣 || 录音指令 || 录音汇总、拷贝
| |
| − | |-
| |
| − | | 曹科 || 格式转化 || 将各小组录音进行转换、整理录音波形图、频谱图
| |
| − | |-
| |
| − | |}
| |
| − |
| |
| − | === <big>'''上午''' ===
| |
| − |
| |
| − | 1. 地点：李兆基科技楼634
| |
| − |
| |
| − | 2. 时间及任务规划：</big>
| |
| − | <big>8:30-10:00 陈震教师讲解有关人工智能的相关知识，对每项任务进行分配与规划；
| |
| − |
| |
| − | 10:00-11:30 各小组分别进行相关人员分配；
| |
| − | 任洁敏创建小组日志，记录各项过程的实施；
| |
| − | 小组成员各自进行录音，由曾莹莹拷贝成员录音；
| |
| − | 谭佳宇负责汇总和整合</big>
| |
| − |
| |
| − | 3. <big>'''总结与体会'''：</big>
| |
| − | 2017.07.22上午，小组成功进行所有的任务分配与规划，并完成小组成员所有的24条录音；
| |
| − | 在此过程中，小组成员们互帮互助顺利完成上午的基本任务；
| |
| − | 路漫漫其修远兮，吾将上下而求索。未来的学习，我们小组将继续努力！
| |
| − |
| |
| − | === <big>'''下午''' ===
| |
| − |
| |
| − | # 地点：李兆基科技楼634
| |
| − | # 时间及任务规划：
| |
| − | 13:30-14:00 陈震教师讲解有关音频转换的相关知识（Ipython），对每一个具体步骤进行相关的讲解，组员查看iPython工作路径；
| |
| − |
| |
| − | 14:00-15:30 由尹繁荣提供音频材料（编号25）
| |
| − | 曹科负责拷贝音频转换的相关软件（sox.exe/ffmpeg.exe），记录程序转化的相关步骤；
| |
| − | 谭佳宇实时操空电脑，读取语音波形文件，生成频谱图 ；
| |
| − | 李顺娟、曾莹莹对谭佳宇给予协助，并解决相关问题；
| |
| − | 小组各成员上机实施操作，体验音频转换、波形图及频谱图的产生；
| |
| − |
| |
| − | 15:30-17：30 <big>陈震教师首先简单地回顾上午所学的知识，随后进一步详细讲解深度学习理论（deep learning）
| |
| − | •神经网络训练
| |
| − | •循环网络-RNN
| |
| − | •随机梯度下降法
| |
| − | •audioNet
| |
| − | •TensorFlow</big>
| |
| − | '''拷贝相关的软件；
| |
| − | 小组成员跟着教师一步一步理顺用数据训练神经网络具体过程；
| |
| − | 组员自我尝试，实施此过程；（第一小组、教师从旁进行技术指导）'''
| |
| − |
| |
| − |
| |
| − |
| |
| − | '''<big>3</big>.'''
| |
| − | {| class="wikitable"
| |
| − | |-
| |
| − | ! 发现问题 !! 解决方式
| |
| − | |-
| |
| − | | 音频转化出现路径问题 || 李顺娟找出解决音频路径相关问题，成功编写运行命令，将音频格式进行转换
| |
| − | |-
| |
| − | | 波形图、频谱图的运行命令出现bug || 曾莹莹协助谭佳宇编写波形图、频谱图的运行命令
| |
| − | |-
| |
| − | | 小组其他问题 || 曹科从其他小组学习经验并找到解决办法
| |
| − | |-
| |
| − | | 单独一条音频转换过程略为繁琐 || 集合小组力量，集体分工，一起解决音频、波形图、频谱图相关的转换
| |
| − | |}
| |
| − |
| |
| − | '''4. 总结与体会'''：
| |
| − |
| |
| − | 2017.07.22 下午 小组成员之间相互协作，并请求其他小组的帮忙，争取完成用数据训练神经网络；
| |
| − |
| |
| − | 在下午的训练过程中，虽然遇到了很多的专业知识，但是小组成员们都还是力争将此训练完成；
| |
| − |
| |
| − | 今天下午的学习让我们知道人工智能是如何一步步完成的，听讲解和实施的过程虽然略为复杂，但是却让我们收获颇丰；
| |
| − |
| |
| − | === <big>'''图片展示'''</big> ===
| |
| − | [[文件:王者荣耀.jpg|缩略图|左]] [[文件:波形图.jpg|缩略图|左]] [[文件:频谱图.jpg|缩略图|居中]]
| |
| − | [[文件:王者.jpg|缩略图|居中]]
| |
| − |
| |
| − |
| |
| − | == day 2 #2017.07.23 ==
| |
| − |
| |
| − | === <big>'''上午'''</big> ===
| |
| − | 地点：李兆基科技大楼 634
| |
| − |
| |
| − | 时间：
| |
| − |
| |
| − | 8:30-9:00 陈震教师回顾上一次课所讲解有关神经网络训练的相关知识，并布置今天的新任务——利用安卓系统验证训练模型；
| |
| − |
| |
| − | 9:00-9:30 小组将软件拷贝进电脑，安装AndroidSTUDIO，讨论如何运行并新建application
| |
| − |
| |
| − |
| |
| − | 9:30-10:30 陈震教师讲解如何操作运行Androidstudio，李顺娟、曾莹莹拍摄讲解过程，认真听其讲解,并向组员进行进一步解释，运行该程序；
| |
| − |
| |
| − | 利用数据线将APP拷入安卓手机，测试并运用
| |
| − |
| |
| − | 10:30-11:30 运行apk，验证神经网络训练结果，查漏补缺——
| |
| − | ①发现问题：各组员手机测试结果各有异同；解决方式：向第三小组组长杨述求助，找出原因——手机Android版本较低，与apk不匹配
| |
| − | ②发现问题：Androidstudio 运行错误；解决方式：下载Java环境
| |
| − | ③发现问题：在同等条件下，个别手机语音识别不一致；解决方案：探寻中......
| |
| − |
| |
| − | [[文件:组员.jpg|左]]
| |
| − |
| |
| − |
| |
| − | =第三组日志=
| |
| − | [[第三组日志]]
| |
| − | ===组名：大白科技===
| |
| − |
| |
| − | 组长：杨述
| |
| − |
| |
| − | 组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群
| |
| − |
| |
| − |
| |
| − | ===• 组员基本安排表：===
| |
| − |
| |
| − | {| class="wikitable"
| |
| − | |-
| |
| − | ! 组员 !! 组员分工 !! 主要职责
| |
| − | |-
| |
| − | | 张曼丽 || 录音指令 || 录音汇总、拷贝
| |
| − | |-
| |
| − | | 唐晓双 || 格式转化 || 将各小组录音进行转换
| |
| − | |-
| |
| − | | 杨述 || TensorFlow实践 || 整理录音波形图、频谱图、audioNet
| |
| − | |-
| |
| − | | 刘茹 || AudioNet || 使用TensorFlow搭建三层全连接神经网络，调节神经网络权重
| |
| − | |-
| |
| − | | 张玲梓 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
| |
| − | |-
| |
| − | | 易跃洋 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
| |
| − | |-
| |
| − | | 周利群 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
| |
| − | |-
| |
| − | |}
| |
| − |
| |
| − | ==Day 1==
| |
| − |
| |
| − | 时间：2017.7.22.
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − | ===• 时间及任务规划：===
| |
| − |
| |
| − | 上午08:30——10:00 智能硬件学习，陈震老师讲解
| |
| − |
| |
| − | 上午10:10——11:20 各小组成员自主录音，全体组员
| |
| − |
| |
| − | 上午11:20——11:40 收集本组成员录音，张曼丽、刘茹收集小组录音
| |
| − |
| |
| − | 下午13:00——14:00 查看iPython工作路径，周利群查看路径
| |
| − |
| |
| − | 下午14:00——14:20 声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件
| |
| − |
| |
| − | 下午14:40——15:40 读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件
| |
| − |
| |
| − | [[文件:1.jpg|缩略图|居中]]
| |
| − |
| |
| − | [[文件:6全组.jpg|缩略图|居中]]
| |
| − |
| |
| − | 下午15:40——16:50 老师简单讲解TensorFlow、图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型
| |
| − |
| |
| − | 下午16:50——17:40 讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长杨述负责拷贝文件。
| |
| − |
| |
| − | ===• 阶段性成果：===
| |
| − |
| |
| − | [[文件:2.jpg|缩略图|居中]]
| |
| − |
| |
| − | ===• 具体制作步骤：===
| |
| − |
| |
| − | ====1、查看IPython工作路径：====
| |
| − | 打开IPython软件，运行脚本：
| |
| − | import os
| |
| − | os.path.realpath('.')
| |
| − | ====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
| |
| − | 运行脚本：
| |
| − | os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| |
| − | ====3、读取语音波形====
| |
| − | 运行脚本：
| |
| − | import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
| |
| − | plt.plot(data)
| |
| − | plt.show()
| |
| − | ====4、调用sox软件生成频谱图：====
| |
| − | 运行脚本：
| |
| − | import os
| |
| − | from matplotlib import image, pyplot
| |
| − | os.path.exists('.\\sox\\sox.exe')
| |
| − | os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
| |
| − | img = image.imread('.\\aout.png')
| |
| − | pyplot.imshow(img)
| |
| − | pyplot.axis('off')
| |
| − | pyplot.show()
| |
| − |
| |
| − | ==Day 2==
| |
| − |
| |
| − | 时间：2017.7.23.
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − |
| |
| − | ===• 时间及任务规划：===
| |
| − |
| |
| − | 上午08:30——09:00 组长杨述查找并重组TensorFlow模块
| |
| − |
| |
| − | 上午09:10——09:30 组长杨述下载并安装Android-studio
| |
| − |
| |
| − | 上午09:30——10:10 Android手机安装APP应用并试音
| |
| − |
| |
| − | [[文件:4.jpg|缩略图|居中]]
| |
| − |
| |
| − | [[文件:3.jpg|缩略图|居中]]
| |
| − |
| |
| − | 上午10:10——10:30 陈震老师下台进行APP验证试验
| |
| − |
| |
| − | [[文件:8.jpg|缩略图|居中]]
| |
| − |
| |
| − | 上午10:30——11:00 组长杨述到其他小组进行技术指导
| |
| − |
| |
| − | [[文件:7.jpg|缩略图|居中]]
| |
| − |
| |
| − | 下午14:00——14:20
| |
| − |
| |
| − | 下午14:40——15:40
| |
| − |
| |
| − | 下午15:40——16:50
| |
| − |
| |
| − | ===• 阶段性成果：===
| |
| − |
| |
| − | ===• 具体制作步骤：===
| |
| − |
| |
| − | ====一、准备工作：====
| |
| − |
| |
| − | 1、安装Anaconda3软件到c盘；
| |
| − |
| |
| − | 2、audionet文件夹放置在桌面；
| |
| − |
| |
| − | 3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中；
| |
| − |
| |
| − | 4、确认ffmpeg和sox文件夹中有相应文件；
| |
| − |
| |
| − | 5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。
| |
| − |
| |
| − | ====二、TensorFlow安装：====
| |
| − |
| |
| − | 1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；
| |
| − |
| |
| − | 2、在Anaconda Prompt-python窗口中，输入python，回车；
| |
| − |
| |
| − | 3、输入quit()，回车；
| |
| − |
| |
| − | 4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；
| |
| − |
| |
| − | 5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。
| |
| − |
| |
| − | ====三、批量生成音频：====
| |
| − | 1、输入cd desktop回车，再输入cd audioNet回车；
| |
| − |
| |
| − | 2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
| |
| − |
| |
| − | ====四、安装keras：====
| |
| − |
| |
| − | 1、在Anaconda Prompt-python窗口中，输入python，回车；
| |
| − |
| |
| − | 2、输入quit()，回车；
| |
| − |
| |
| − | 3、输入pip install keras,回车，此时开始安装，等待安装结束。
| |
| − |
| |
| − |
| |
| − | ====五、测试：====
| |
| − |
| |
| − | 输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。
| |
| − |
| |
| − | =第四组日志=
| |
| − |
| |
| − | '''<big>1、团队介绍</big>'''
| |
| − |
| |
| − | 队名：英雄大联盟H&L
| |
| − |
| |
| − | 组长：尹倩
| |
| − |
| |
| − | 学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟
| |
| − |
| |
| − | 分工：
| |
| − | 1、录音语音指令 -- 负责人：谌丽容
| |
| − | 2、格式转换 ------ 负责人：杨厚平
| |
| − | 3、TensorFlow --- 负责人：尹倩
| |
| − | 4、AudioNet ----- 负责人：刘伟
| |
| − | 5、安卓应用开发 -- 负责人：曾丽霞
| |
| − | 6、任务过程记录 -- 负责人：徐玉娟
| |
| − | 7、任务总结 ------ 负责人：尹倩
| |
| − | [[文件:团队.jpg|缩略图|居中]]
| |
| − | '''<big>2、7月22日</big>'''
| |
| − | =='''<small>2.1 上 午</small>'''==
| |
| − | 学习内容：
| |
| − | ====一、智能声控硬件实践的理论学习====
| |
| − | ====二、团队建设及具体分工安排====
| |
| − | ===='''三、按要求录制音频文件'''====
| |
| − |
| |
| − | =='''<small>2.2 下 午</small>'''==
| |
| − | ===学习内容===
| |
| − | ===（一）频谱图制作===
| |
| − | ===（1）准备工作===
| |
| − | 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。
| |
| − | [[文件:图片2.png|缩略图|居中]]
| |
| − |
| |
| − | ===（2）、制作步骤：===
| |
| − | ====1、查看IPython工作路径：====
| |
| − | 打开IPython软件，运行脚本：
| |
| − | import os
| |
| − | os.path.realpath('.')
| |
| − | ====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
| |
| − | 运行脚本：
| |
| − | os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| |
| − | ====3、读取语音波形====
| |
| − | 运行脚本：
| |
| − | import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
| |
| − | plt.plot(data)
| |
| − | plt.show()
| |
| − | ====4、调用sox软件生成频谱图：====
| |
| − | 运行脚本：
| |
| − | import os
| |
| − | from matplotlib import image, pyplot
| |
| − | os.path.exists('.\\sox\\sox.exe')
| |
| − | os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
| |
| − | img = image.imread('.\\aout.png')
| |
| − | pyplot.imshow(img)
| |
| − | pyplot.axis('off')
| |
| − | pyplot.show()
| |
| − | ===（3）团队阶段性成果===
| |
| − | [[文件:结果图.jpg|缩略图|居中]]
| |
| − | ===（二）神经网络训练===
| |
| − | ===（1）理论讲解===
| |
| − | 陈老师首先就神经网络训练进行理论性讲解，并对操作步骤进行演示。
| |
| − | ===（2）工作步骤===
| |
| − | ====1准备工作====
| |
| − | 确定各文件路径的正确：
| |
| − | (a)把从陈老师拷的audioNet文件夹放置在桌面；
| |
| − | (b)在audioNet下新建文件夹raw，将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中；
| |
| − | (c)确认ffmpeg和sox文件夹中有相应的文件。
| |
| − | ====2批量生成音频====
| |
| − | (a)输入cd desktop回车，再输入cd audioNet回车；
| |
| − | (b)输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
| |
| − | ====3测试====
| |
| − | 输入python train.py 回车，开始测试。
| |
| − |
| |
| − |
| |
| − | '''<big>3、7月23日</big>'''
| |
| − | =='''<small>3.1 上 午</small>'''==
| |
| − | ===学习内容===
| |
| − | 1.陈老师就7月22日下午神经网络测试的情况及存在问题进行复习指导、总结存在问题，解答各个小组的疑问；
| |
| − | 2.任务布置，进行演示性讲解；
| |
| − | 3.小组安装android studio软件，将7.22日训练完成后的数据生成APP，并在手机上进行测试。
| |
| − |
| |
| − | =第五组日志 =
| |
| − | running five
| |
| − |
| |
| − | 组长：周辉
| |
| − |
| |
| − | 组员：龙红、龚健勇、陈堃、李英姿、贾宇
| |
| − |
| |
| − | 分工
| |
| − |
| |
| − | 录音语音指令：李英姿
| |
| − |
| |
| − | 格式转换：贾宇
| |
| − |
| |
| − | TensorFlow实践：周辉
| |
| − |
| |
| − | AudioNet安卓应用开发：龙红
| |
| − |
| |
| − | 记录：龚健勇、陈堃
| |
| − |
| |
| − | 1、2017年7月22日上午由录音员李英姿录制24条语音指令，进行音频文件制作并转换。
| |
| − |
| |
| − | 2、2017年7月22下午把转换的音频文件转频谱图，操作步骤如下：
| |
| − |
| |
| − | （1）将wavReader.py和ffmpeg、sox两个文件夹放置在同一目录下；打开IPython软件，输入import os和os.path.realpath('.')两个命令，确定工作路径正确。
| |
| − |
| |
| − | （2）把24个音频拷贝到同一路径下，使用ffmepg工具进行格式转换并注意文件名的修改。
| |
| − |
| |
| − | （3）输入读取语音波形命令组，分别修改音频名称，生成并修改相应的波形图名称。
| |
| − |
| |
| − | （4）用同样方法输入频谱图生成命令组，修改相应的波形图名称及频谱图名称并保存。
| |
| − |
| |
| − | 通过此次练习，我们发现在生成波形图时，前两条指令只需输入一次，通过修改第三条指令中的文件名即可连续生成不同波形图；做频谱图时可用同样的方法，前三条指令只需输入一次，通过修改第四条指令中的文件名即可连续生成不同的频谱图，这样在没有学习批量指令前，可加快文件处理速度。
| |
| − |
| |
| − | 3、2017年7月22日晚 训练并测试数据操作步骤如下:
| |
| − |
| |
| − | 第一步:准备工作(确定各文件路径的正确)
| |
| − |
| |
| − | 1、安装Anaconda3软件到c:盘；
| |
| − |
| |
| − | 2、audioNet文件夹放置在桌面；
| |
| − |
| |
| − | 3、在audioNet下新建文件夹raw，把960个音频文件复制到raw文件夹中；
| |
| − |
| |
| − | 4、确认ffmpeg和sox文件夹中有相应文件:
| |
| − |
| |
| − | 5、用记事本打开audioNet文件夹中train.py文件，修改速度参数;
| |
| − |
| |
| − | 第二步:Tensorflow安装
| |
| − |
| |
| − | 1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序:
| |
| − |
| |
| − | 2、在Anaconda Prompt-python窗口中，输入python，回车。
| |
| − |
| |
| − | 3、输入quit()，回车。
| |
| − |
| |
| − | 4、输入pip install tensorflow,回车，此时开始安装，等待安装结束。
| |
| − |
| |
| − | 5、 输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。
| |
| − |
| |
| − | 第三步:批量生成音频
| |
| − |
| |
| − | 1、输入cd desktop回车，再输入cd audioNet回车。
| |
| − |
| |
| − | 2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
| |
| − |
| |
| − | 第四步:安装keras
| |
| − |
| |
| − | 1、在Anaconda Prompt-python窗口中，输入python，回车。
| |
| − |
| |
| − | 2、输入quit()，回车。
| |
| − |
| |
| − | 3、输入pip install keras,回车，此时开始安装，等待安装结束。
| |
| − |
| |
| − | 第五步:测试
| |
| − |
| |
| − | 输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。
| |
| − |
| |
| − | =第六组日志=
| |
| − |
| |
| − | 队名：尽情挑战--2017
| |
| − |
| |
| − | 2017年7月22日
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − | 组长：吴臣
| |
| − |
| |
| − | 学员：吴臣、袁晴春、刘雯婧、江华、周益兰、阳娟娟
| |
| − |
| |
| − | 分工：
| |
| − |
| |
| − | 1、录音语音指令 -- 负责人：周益兰
| |
| − | 2、格式转换 ------ 负责人：刘雯婧
| |
| − | 3、TensorFlow --- 负责人：吴臣
| |
| − | 4、AudioNet ----- 负责人：袁晴春
| |
| − | 5、任务过程记录 -- 负责人：阳娟娟
| |
| − | 6、任务总结 ------ 负责人：江华
| |
| − |
| |
| − | Day1 上午:
| |
| − |
| |
| − | 1、智能硬件理论学习，讲授人陈震老师。
| |
| − |
| |
| − | 2、小组成员分别录音。
| |
| − |
| |
| − | 3、刘雯婧负责收集及转换录音，吴臣协助。
| |
| − |
| |
| − |
| |
| − | Day1 下午
| |
| − |
| |
| − | 第一阶段：
| |
| − |
| |
| − | 1、将“频谱图”，ffmpeg、sox软件及录制好的音频文件放到“我的文档”下存放。
| |
| − |
| |
| − | 2、吴臣负责查看iPython工作路径。
| |
| − |
| |
| − | 3、将录音文件资料格式转换成标准格式。刘雯婧负责格式转换，吴臣和袁晴春协助，江华和周益兰负责审核。
| |
| − |
| |
| − | 4、读取语音波形文件，音频文件全部改好，吴臣、江华、刘雯婧负责。
| |
| − |
| |
| − | 5、吴臣正在负责改和生成频谱图，袁晴春在旁边协助解决问题，刘雯婧，江华和周益兰自行摸索学习。
| |
| − |
| |
| − | 6、运营sox声音交互软件，增加音频效果，秀频谱图，运行sox声音交互软件。
| |
| − |
| |
| − | [[文件:Chuan.png|缩略图|居中]]
| |
| − |
| |
| − | 第二阶段 主题：神经网络训练
| |
| − |
| |
| − | 第一步：理论学习。
| |
| − |
| |
| − | 陈震老师讲授理论知识：损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（不断地设计结构调参数，TF示例演示-神经网络训练过程 谷歌开发）、卷积网络、循环网络-RNN（处理语音的。思路：权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
| |
| − |
| |
| − | 第二步：讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长吴臣负责拷贝文件。
| |
| − |
| |
| − | ==Day 2==
| |
| − |
| |
| − | 时间：2017.7.23.
| |
| − |
| |
| − | 地点：李兆基科技楼634
| |
| − |
| |
| − | 上午：
| |
| − |
| |
| − | 1、陈老师带领各组回顾昨天的内容，对今天上午的任务进行说明。
| |
| − |
| |
| − | 2、请陈震老师到组内进行指导，9：15开始组长吴臣开始进行数据测试，袁晴春从旁协助。
| |
| − |
| |
| − | 3、电脑上安装安卓开发软件androidAudioRecg12，编辑程序，进行数据模拟测试,并检测。
| |
| − |
| |
| − | [[文件:学习.jpg|缩略图|居中]]
| |
| − |
| |
| − | 4、安装Android Studio Setup，并测试。
| |
| − |
| |
| − | [[文件:学习2.jpg|缩略图|居中]]
| |
