|
|
| （8位用户的95个中间修订版本未显示） |
| 第31行： |
第31行： |
| | 1人波形文件录音，整理24句录音的波形图；频谱图； | | 1人波形文件录音，整理24句录音的波形图；频谱图； |
| | | | |
| − | 4人分别对应四个过w程。
| + | 4人分别对应四个过程。 |
| | | | |
| | | | |
| | =第一组日志= | | =第一组日志= |
| − | ［［国防职院-智能硬件挑战-第1组］］
| + | [[第一组日志]] |
| − | | + | |
| − | 2017年7月22日
| + | |
| − | | + | |
| − | 地点：李兆基科技楼634
| + | |
| − | | + | |
| − | 主讲：陈 震 副研究员 清华大学 基础工业训练中心 互联网+实验室 主任
| + | |
| − | | + | |
| − | 组长：何之舟
| + | |
| − | | + | |
| − | 组员：王鸿、李鹏、郭佼瑞、杨丽艳、蔺相飞、赵凌
| + | |
| − | | + | |
| − | 分工：
| + | |
| − | 1、录音语音指令 --- 负责人：杨丽艳
| + | |
| − | 2、格式转换 --- 负责人：李鹏
| + | |
| − | 3、TensorFlow --- 负责人：郭佼瑞
| + | |
| − | 4、AudioNet --- 负责人：王鸿
| + | |
| − | 5、安卓应用开发 --- 负责人：蔺相飞
| + | |
| − | 6、任务过程记录 --- 负责人：赵凌
| + | |
| − | 7、任务总结 --- 负责人：何之舟
| + | |
| − | | + | |
| − | 操作：
| + | |
| − | 上 午
| + | |
| − | 1、陈 老 师：智能声控硬件实践的理论学习，讲解重难点，对每项任务的实施进行划分和方法指导；
| + | |
| − | 2、组 员：组织商量任务的具体分工，职责到人；
| + | |
| − | 3、具体流程：
| + | |
| − | a. 日志创建：赵凌记录任务完成过程，创建本组任务日志页面和过程记录；
| + | |
| − | b. 录制音频：杨丽艳组织全组成员，按要求每人录制24条语音指令，进行音频文件制作；
| + | |
| − | c. 收集音频：王鸿、蔺相飞收集、整理了全组成员的音频文件；
| + | |
| − | d. 整理上交：何之舟负责完成了统筹、汇总、更名和上交。
| + | |
| − | | + | |
| − | 下 午
| + | |
| − | 1、陈 老 师: 回顾上午的所学，并对下一步的任务进行布置和讲解；
| + | |
| − | 2、组 员：何之舟、蔺相飞拷贝和安装好WavReader.py文件和WavReader.txt文档；
| + | |
| − | 3、陈 老 师：讲解WavReader.py文件操作方法（格式转化、读取语音波形、频谱图生成），并对每一步的操作进行演示；
| + | |
| − | 4、组 员：选取了何之舟和李鹏两位组员的音频文件，按照步骤完成音频文件的格式转化，读取语音波形和频谱图生成；
| + | |
| − | 5、陈 老 师：就实际操作过程中出现的困难和问题，进行面对面解答和指导；全组成员在合作和探究中，发现问题，提出问题并解决问题；
| + | |
| − | 6、具体流程：
| + | |
| − | a.准备工作: 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。
| + | |
| − | b.制作步骤: 查看IPython工作路径,打开IPython软件
| + | |
| − | 运行脚本： import os os.path.realpath('.')
| + | |
| − | c.调用ffmpeg.exe软件: 将24个音频全部转换成wav文件
| + | |
| − | 运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| + | |
| − | d.读取波形图: 调用matplotlab.pyplot将24个wav音频文件生成波形图，并另存为*.png文件;
| + | |
| − | 运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()
| + | |
| − | e.生成频谱图: 调用sox.exe交互软件,增加音频效果，依据波形图生成频谱图，并另存为*out.png文件;
| + | |
| − | 运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav-nrate 4kspectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show() ]]
| + | |
| − |
| + | |
| − | 7、陈 老 师：理论新知讲授 --- 损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（设计结构调参数，TF示例演示-神经网络训练过程）、图像使用卷积网络、语音识别使用循环网络-RNN（权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
| + | |
| | | | |
| | =第二组日志= | | =第二组日志= |
| − | | + | [[第二组日志]] |
| − | <big>队名：王者荣耀</big>
| + | |
| − | | + | |
| − | <big>day 1 #2017.07.22
| + | |
| − | | + | |
| − | 组员基本安排表</big>
| + | |
| − | | + | |
| − | {| class="wikitable"
| + | |
| − | |-
| + | |
| − | ! 组员 !! 组员分工 !! 主要职责
| + | |
| − | |-
| + | |
| − | | 谭佳宇 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
| + | |
| − | |-
| + | |
| − | | 李顺娟 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
| + | |
| − | |-
| + | |
| − | | 曾莹莹 || TensorFlow实践 || audioNet 实践与操作
| + | |
| − | |-
| + | |
| − | | 任洁敏 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
| + | |
| − | |-
| + | |
| − | | 尹繁荣 || 录音指令 || 录音汇总、拷贝
| + | |
| − | |-
| + | |
| − | | 曹科 || 格式转化 || 将各小组录音进行转换、整理录音波形图、频谱图
| + | |
| − | |-
| + | |
| − | |}
| + | |
| − | | + | |
| − | <big>上午
| + | |
| − | | + | |
| − | 1. 地点：李兆基科技楼634
| + | |
| − | | + | |
| − | 2. 时间及任务规划：</big>
| + | |
| − | <big>8:30-10:00 陈震教师讲解有关人工智能的相关知识，对每项任务进行分配与规划；
| + | |
| − | | + | |
| − | 10:00-11:30 各小组分别进行相关人员分配；
| + | |
| − | 任洁敏创建小组日志，记录各项过程的实施；
| + | |
| − | 小组成员各自进行录音，由曾莹莹拷贝成员录音；
| + | |
| − | 谭佳宇负责汇总和整合</big>
| + | |
| − | | + | |
| − | | + | |
| − | <big>下午
| + | |
| − | | + | |
| − | # 地点：李兆基科技楼634
| + | |
| − | # 时间及任务规划：
| + | |
| − | 13:30-14:00 陈震教师讲解有关音频转换的相关知识（Ipython），对每一个具体步骤进行相关的讲解，组员查看iPython工作路径；
| + | |
| − | | + | |
| − | 14:00-15:30 由尹繁荣提供音频材料（编号25）
| + | |
| − | 曹科负责拷贝音频转换的相关软件（sox.exe/ffmpeg.exe），记录程序转化的相关步骤；
| + | |
| − | 谭佳宇实时操空电脑，读取语音波形文件，生成频谱图 ；
| + | |
| − | 李顺娟、曾莹莹对谭佳宇给予协助，并解决相关问题；
| + | |
| − | 小组各成员上机实施操作，体验音频转换、波形图及频谱图的产生；
| + | |
| − | | + | |
| − | 15:30-16：30 <big>陈震教师首先简单地回顾上午所学的知识，随后进一步详细讲解深度学习理论（deep learning）
| + | |
| − | •神经网络训练
| + | |
| − | •循环网络-RNN
| + | |
| − | •随机梯度下降法
| + | |
| − | •audioNet
| + | |
| − | •TensorFlow</big>
| + | |
| − | 拷贝相关的软件；
| + | |
| − | 小组成员跟着教师一步一步理顺用数据训练神经网络具体过程；
| + | |
| − | | + | |
| − | | + | |
| − | | + | |
| − | '''<big>3</big>.'''
| + | |
| − | {| class="wikitable"
| + | |
| − | |-
| + | |
| − | ! 发现问题 !! 解决方式
| + | |
| − | |-
| + | |
| − | | 音频转化出现路径问题 || 李顺娟找出解决音频路径相关问题，成功编写运行命令，将音频格式进行转换
| + | |
| − | |-
| + | |
| − | | 波形图、频谱图的运行命令出现bug || 曾莹莹协助谭佳宇编写波形图、频谱图的运行命令
| + | |
| − | |-
| + | |
| − | | 小组其他问题 || 曹科从其他小组学习经验并找到解决办法
| + | |
| − | |-
| + | |
| − | | 单独一条音频转换过程略为繁琐 || 集合小组力量，集体分工，一起解决音频、波形图、频谱图相关的转换
| + | |
| − | |}
| + | |
| − | | + | |
| − | <big>'''图片展示'''</big>
| + | |
| − | [[文件:王者荣耀.jpg|缩略图|左]] [[文件:波形图.jpg|缩略图|左]] [[文件:频谱图.jpg|缩略图|居中]] | + | |
| − | [[文件:王者.jpg|缩略图|居中]]
| + | |
| | | | |
| | =第三组日志= | | =第三组日志= |
| − | ===组名：大白科技===
| + | [[第三组日志]] |
| − | | + | |
| − | 组长：杨述
| + | |
| − | | + | |
| − | 组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群
| + | |
| − | | + | |
| − | | + | |
| − | ===• 组员基本安排表：===
| + | |
| − | | + | |
| − | {| class="wikitable"
| + | |
| − | |-
| + | |
| − | ! 组员 !! 组员分工 !! 主要职责
| + | |
| − | |-
| + | |
| − | | 张曼丽 || 录音指令 || 录音汇总、拷贝
| + | |
| − | |-
| + | |
| − | | 唐晓双 || 格式转化 || 将各小组录音进行转换
| + | |
| − | |-
| + | |
| − | | 杨述 || TensorFlow实践 || 整理录音波形图、频谱图、audioNet
| + | |
| − | |-
| + | |
| − | | 刘茹 || AudioNet || 使用TensorFlow搭建三层全连接神经网络，调节神经网络权重
| + | |
| − | |-
| + | |
| − | | 张玲梓 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
| + | |
| − | |-
| + | |
| − | | 易跃洋 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
| + | |
| − | |-
| + | |
| − | | 周利群 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
| + | |
| − | |-
| + | |
| − | |}
| + | |
| − | | + | |
| − | ==Day 1==
| + | |
| − | 时间：2017.7.22.
| + | |
| − | | + | |
| − | 地点：李兆基科技楼634
| + | |
| − | | + | |
| − | ===• 时间及任务规划：===
| + | |
| − | | + | |
| − | 上午08:30——10:00 智能硬件学习，陈震老师讲解
| + | |
| − | | + | |
| − | 上午10:10——11:20 各小组成员自主录音，全体组员
| + | |
| − | | + | |
| − | 上午11:20——11:40 收集本组成员录音，张曼丽、刘茹收集小组录音
| + | |
| − | | + | |
| − | 下午13:00——14:00 查看iPython工作路径，周利群查看路径
| + | |
| − | | + | |
| − | 下午14:00——14:20 声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件
| + | |
| − | | + | |
| − | 下午14:40——15:40读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件
| + | |
| − | | + | |
| − | [[文件:6全组.jpg|缩略图|居中]] | + | |
| − | | + | |
| − | 下午15:40——16:00 老师简单讲解TensorFlow
| + | |
| − | | + | |
| − | 下午16:10——16:30 运行SOX处理音频文件，增加音频效果，易跃洋处理文件
| + | |
| − | | + | |
| − | ===• 具体制作步骤：===
| + | |
| − | ====1、查看IPython工作路径：====
| + | |
| − | 打开IPython软件，运行脚本：
| + | |
| − | import os
| + | |
| − | os.path.realpath('.')
| + | |
| − | ====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
| + | |
| − | 运行脚本：
| + | |
| − | os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| + | |
| − | ====3、读取语音波形====
| + | |
| − | 运行脚本：
| + | |
| − | import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
| + | |
| − | plt.plot(data)
| + | |
| − | plt.show()
| + | |
| − | ====4、调用sox软件生成频谱图：====
| + | |
| − | 运行脚本：
| + | |
| − | import os
| + | |
| − | from matplotlib import image, pyplot
| + | |
| − | os.path.exists('.\\sox\\sox.exe')
| + | |
| − | os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
| + | |
| − | img = image.imread('.\\aout.png')
| + | |
| − | pyplot.imshow(img)
| + | |
| − | pyplot.axis('off')
| + | |
| − | pyplot.show()
| + | |
| | | | |
| | =第四组日志= | | =第四组日志= |
| | + | [[第四组日志]] |
| | | | |
| − | '''<big>1、团队介绍</big>'''
| + | =第五组日志= |
| − | | + | [[第五组日志]] |
| − | 队名：英雄大联盟H&L
| + | |
| − | | + | |
| − | 组长：尹倩
| + | |
| − | | + | |
| − | 学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟
| + | |
| − | | + | |
| − | 分工：
| + | |
| − | 1、录音语音指令 -- 负责人：谌丽容
| + | |
| − | 2、格式转换 ------ 负责人：杨厚平
| + | |
| − | 3、TensorFlow --- 负责人：尹倩
| + | |
| − | 4、AudioNet ----- 负责人：刘伟
| + | |
| − | 5、安卓应用开发 -- 负责人：曾丽霞
| + | |
| − | 6、任务过程记录 -- 负责人：徐玉娟
| + | |
| − | 7、任务总结 ------ 负责人：尹倩
| + | |
| − | '''<big>2、7月22日</big>'''
| + | |
| − | =='''<small>2.1 上 午</small>'''==
| + | |
| − | 学习内容：
| + | |
| − | ====一、智能声控硬件实践的理论学习====
| + | |
| − | ====二、团队建设及具体分工安排====
| + | |
| − | ===='''三、按要求录制音频文件'''====
| + | |
| − | | + | |
| − | =='''<small>2.2 下 午</small>'''==
| + | |
| − | ===一、学习内容：频谱图制作===
| + | |
| − | ===二、准备工作：安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。 ===
| + | |
| − | [[文件:图片2.png|缩略图|居中]] | + | |
| − | | + | |
| − | ===三、制作步骤：===
| + | |
| − | ====1、查看IPython工作路径：====
| + | |
| − | 打开IPython软件，运行脚本：
| + | |
| − | import os
| + | |
| − | os.path.realpath('.')
| + | |
| − | ====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
| + | |
| − | 运行脚本：
| + | |
| − | os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
| + | |
| − | ====3、读取语音波形====
| + | |
| − | 运行脚本：
| + | |
| − | import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
| + | |
| − | plt.plot(data)
| + | |
| − | plt.show()
| + | |
| − | ====4、调用sox软件生成频谱图：====
| + | |
| − | 运行脚本：
| + | |
| − | import os
| + | |
| − | from matplotlib import image, pyplot
| + | |
| − | os.path.exists('.\\sox\\sox.exe')
| + | |
| − | os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
| + | |
| − | img = image.imread('.\\aout.png')
| + | |
| − | pyplot.imshow(img)
| + | |
| − | pyplot.axis('off')
| + | |
| − | pyplot.show()
| + | |
| − | ===四、团队阶段性成果===
| + | |
| − | | + | |
| − | =第五组日志 =
| + | |
| − | running five
| + | |
| − | | + | |
| − | 组长：周辉
| + | |
| − | | + | |
| − | 组员：龙红、龚健勇、陈堃、李英姿、贾宇
| + | |
| − | | + | |
| − | 分工
| + | |
| − | | + | |
| − | 录音语音指令：李英姿
| + | |
| − | | + | |
| − | 格式转换：贾宇
| + | |
| − | | + | |
| − | TensorFlow实践：周辉
| + | |
| − | | + | |
| − | AudioNet安卓应用开发：龙红
| + | |
| − | | + | |
| − | 记录：龚健勇、陈堃
| + | |
| − | | + | |
| − | 1、2017年7月22日上午由录音员李英姿录制24条语音指令，进行音频文件制作并转换。
| + | |
| − | | + | |
| − | 2、2017年7月22下午把转换的音频文件转频谱图，操作步骤如下：
| + | |
| − | | + | |
| − | （1）将wavReader.py和ffmpeg、sox两个文件夹放置在同一目录下；打开IPython软件，输入import os和os.path.realpath('.')两个命令，确定工作路径正确。
| + | |
| − | | + | |
| − | （2）把24个音频拷贝到同一路径下，使用ffmepg工具进行格式转换并注意文件名的修改。
| + | |
| − | | + | |
| − | （3）输入读取语音波形命令组，分别修改音频名称，生成并修改相应的波形图名称。
| + | |
| − | | + | |
| − | （4）用同样方法输入频谱图生成命令组，修改相应的波形图名称及频谱图名称并保存。
| + | |
| − | | + | |
| − | 通过此次练习，我们发现在生成波形图时，前两条指令只需输入一次，通过修改第三条指令中的文件名即可连续生成不同波形图；做频谱图时可用同样的方法，前三条指令只需输入一次，通过修改第四条指令中的文件名即可连续生成不同的频谱图，这样在没有学习批量指令前，可加快文件处理速度。
| + | |
| | | | |
| | =第六组日志= | | =第六组日志= |
| − | | + | [[第六组日志]] |
| − | 队名：尽情挑战--2017
| + | |
| − | | + | |
| − | 2017年7月22日
| + | |
| − | | + | |
| − | 地点：李兆基科技楼634
| + | |
| − | | + | |
| − | 组长：吴臣
| + | |
| − | | + | |
| − | 学员：吴臣、袁晴春、刘雯婧、江华、周益兰、阳娟娟
| + | |
| − | | + | |
| − | 分工：
| + | |
| − | | + | |
| − | 1、录音语音指令 -- 负责人：周益兰
| + | |
| − | 2、格式转换 ------ 负责人：刘雯婧
| + | |
| − | 3、TensorFlow --- 负责人：吴臣
| + | |
| − | 4、AudioNet ----- 负责人：袁晴春
| + | |
| − | 5、任务过程记录 -- 负责人：阳娟娟
| + | |
| − | 6、任务总结 ------ 负责人：江华
| + | |
| − | | + | |
| − | Day1 上午:
| + | |
| − | | + | |
| − | 1、智能硬件理论学习，讲授人陈震老师。
| + | |
| − | | + | |
| − | 2、小组成员分别录音。
| + | |
| − | | + | |
| − | 3、刘雯婧负责收集及转换录音，吴臣协助。
| + | |
| − | | + | |
| − | | + | |
| − | Day1 下午
| + | |
| − | | + | |
| − | 第一阶段：
| + | |
| − | | + | |
| − | 1、将“频谱图”，ffmpeg、sox软件及录制好的音频文件放到“我的文档”下存放。
| + | |
| − | | + | |
| − | 2、吴臣负责查看iPython工作路径。
| + | |
| − | | + | |
| − | 3、将录音文件资料格式转换成标准格式。刘雯婧负责格式转换，吴臣和袁晴春协助，江华和周益兰负责审核。
| + | |
| − | | + | |
| − | 4、读取语音波形文件，音频文件全部改好，吴臣、江华、刘雯婧负责。
| + | |
| − | | + | |
| − | 5、吴臣正在负责改和生成频谱图，袁晴春在旁边协助解决问题，刘雯婧，江华和周益兰自行摸索学习。
| + | |
| − | | + | |
| − | 6、运营sox声音交互软件，增加音频效果，秀频谱图，运行sox声音交互软件。
| + | |
| − | | + | |
| − | 第二阶段 主题：神经网络训练
| + | |
| − | | + | |
| − | 第一步：理论学习。
| + | |
| − | | + | |
| − | 陈震老师讲授理论知识：损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（不断地设计结构调参数，TF示例演示-神经网络训练过程 谷歌开发）、卷积网络、循环网络-RNN（处理语音的。思路：权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
| + | |
| − | | + | |
| − | 第二步：讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长吴臣负责拷贝文件。
| + | |
