=时间地点=
时间：7月22日-7月24日
地点：B634房间
=准备=
[[智能硬件-挑战单元-明细]]
机器六台； 电源
=时间地点=
时间：7月22日-7月24日
地点：B634房间
=准备=
[[智能硬件-挑战单元-明细]]
机器六台； 电源
=分组=
6个组，每组6-7人。
每组人员分工：
1人负责记录过程：最终形成所有的报告，过程汇报。
1人波形文件录音，整理24句录音的波形图；频谱图；
4人分别对应四个过w程。
=第一组日志=
［［国防职院-智能硬件挑战-第1组］］
2017年7月22日 第一天
地点：李兆基科技楼634
主讲：陈 震 副研究员 清华大学 基础工业训练中心 互联网+实验室 主任
组长：何之舟
组员：王鸿、李鹏、郭佼瑞、杨丽艳、蔺相飞、赵凌
分工：
1、录音语音指令 --- 负责人：杨丽艳
2、格式转换 --- 负责人：李鹏
3、TensorFlow --- 负责人：郭佼瑞
4、AudioNet --- 负责人：王鸿
5、安卓应用开发 --- 负责人：蔺相飞
6、任务过程记录 --- 负责人：赵凌
7、任务总结 --- 负责人：何之舟
操作：
上 午
1、陈 老 师：智能声控硬件实践的理论学习，讲解重难点，对每项任务的实施进行划分和方法指导；
2、组 员：组织商量任务的具体分工，职责到人；
3、具体流程：
a. 日志创建：赵凌记录任务完成过程，创建本组任务日志页面和过程记录；
b. 录制音频：杨丽艳组织全组成员，按要求每人录制24条语音指令，进行音频文件制作；
c. 收集音频：王鸿、蔺相飞收集、整理了全组成员的音频文件；
d. 整理上交：何之舟负责完成了统筹、汇总、更名和上交。
下 午
1、陈 老 师: 回顾上午的所学，并对下一步的任务进行布置和讲解；
2、组 员：何之舟、蔺相飞拷贝和安装好WavReader.py文件和WavReader.txt文档；
3、陈 老 师：讲解WavReader.py文件操作方法（格式转化、读取语音波形、频谱图生成），并对每一步的操作进行演示；
4、组 员：选取了何之舟和李鹏两位组员的音频文件，按照步骤完成音频文件的格式转化，读取语音波形和频谱图生成；
5、陈 老 师：就实际操作过程中出现的困难和问题，进行面对面解答和指导；全组成员在合作和探究中，发现问题，提出问题并解决问题；
6、具体流程：
a.准备工作: 安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。
b.制作步骤: 查看IPython工作路径,打开IPython软件
运行脚本： import os os.path.realpath('.')
c.调用ffmpeg.exe软件: 将24个音频全部转换成wav文件
运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
d.读取波形图: 调用matplotlab.pyplot将24个wav音频文件生成波形图，并另存为*.png文件;
运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()
e.生成频谱图: 调用sox.exe交互软件,增加音频效果，依据波形图生成频谱图，并另存为*out.png文件;
运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav-
nrate 4kspectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show() ]]
7、陈 老 师：理论新知讲授 --- 损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（设计结构调参数，TF示例演示-神经网络训
练过程）、图像使用卷积网络、语音识别使用循环网络-RNN（权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别
原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
晚上 训练测试数据
第一步:准备工作：确定各文件路径的正确
1、安装Anaconda3软件到c:盘；
2、audioNet文件夹放置在桌面；
3、在audioNet下新建文件夹raw，把960个音频文件复制到raw文件夹中；
4、确认ffmpeg和sox文件夹中有相应文件；
5、用记事本打开audioNet文件夹中train.py文件，修改速度参数；
第二步:Tensorflow安装
1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；
2、在Anaconda Prompt-python窗口中，输入python，回车；
3、输入quit()，回车；
4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；
5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常；
第三步:批量生成音频
1、输入cd desktop回车，再输入cd audioNet，回车；
2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下；
第四步:安装keras
1、在Anaconda Prompt-python窗口中，输入python，回车，如图；
2、输入quit()，回车；
3、输入pip install keras,回车，此时开始安装，等待安装结束。
第五步:测试
1、输入python train.py 回车，开始测试，关掉所有防护软件和防火墙。
2017年7月23日 第二天
地点：李兆基科技楼634
上午
=第二组日志=
[[第二组日志]]
<big>队名：王者荣耀</big>
== <big>day 1 #2017.07.22 ==
组员基本安排表</big>
{| class="wikitable"
|-
! 组员 !! 组员分工 !! 主要职责
|-
| 谭佳宇 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
|-
| 李顺娟 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
|-
| 曾莹莹 || TensorFlow实践 || audioNet 实践与操作
|-
| 任洁敏 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
|-
| 尹繁荣 || 录音指令 || 录音汇总、拷贝
|-
| 曹科 || 格式转化 || 将各小组录音进行转换、整理录音波形图、频谱图
|-
|}
=== <big>'''上午''' ===
1. 地点：李兆基科技楼634
2. 时间及任务规划：</big>
<big>8:30-10:00 陈震教师讲解有关人工智能的相关知识，对每项任务进行分配与规划；
10:00-11:30 各小组分别进行相关人员分配；
任洁敏创建小组日志，记录各项过程的实施；
小组成员各自进行录音，由曾莹莹拷贝成员录音；
谭佳宇负责汇总和整合</big>
3. <big>'''总结与体会'''：</big>
2017.07.22上午，小组成功进行所有的任务分配与规划，并完成小组成员所有的24条录音；
在此过程中，小组成员们互帮互助顺利完成上午的基本任务；
路漫漫其修远兮，吾将上下而求索。未来的学习，我们小组将继续努力！
=== <big>'''下午''' ===
# 地点：李兆基科技楼634
# 时间及任务规划：
13:30-14:00 陈震教师讲解有关音频转换的相关知识（Ipython），对每一个具体步骤进行相关的讲解，组员查看iPython工作路径；
14:00-15:30 由尹繁荣提供音频材料（编号25）
曹科负责拷贝音频转换的相关软件（sox.exe/ffmpeg.exe），记录程序转化的相关步骤；
谭佳宇实时操空电脑，读取语音波形文件，生成频谱图 ；
李顺娟、曾莹莹对谭佳宇给予协助，并解决相关问题；
小组各成员上机实施操作，体验音频转换、波形图及频谱图的产生；
15:30-17：30 <big>陈震教师首先简单地回顾上午所学的知识，随后进一步详细讲解深度学习理论（deep learning）
•神经网络训练
•循环网络-RNN
•随机梯度下降法
•audioNet
•TensorFlow</big>
'''拷贝相关的软件；
小组成员跟着教师一步一步理顺用数据训练神经网络具体过程；
组员自我尝试，实施此过程；（第一小组、教师从旁进行技术指导）'''
'''<big>3</big>.'''
{| class="wikitable"
|-
! 发现问题 !! 解决方式
|-
| 音频转化出现路径问题 || 李顺娟找出解决音频路径相关问题，成功编写运行命令，将音频格式进行转换
|-
| 波形图、频谱图的运行命令出现bug || 曾莹莹协助谭佳宇编写波形图、频谱图的运行命令
|-
| 小组其他问题 || 曹科从其他小组学习经验并找到解决办法
|-
| 单独一条音频转换过程略为繁琐 || 集合小组力量，集体分工，一起解决音频、波形图、频谱图相关的转换
|}
'''4. 总结与体会'''：
2017.07.22 下午 小组成员之间相互协作，并请求其他小组的帮忙，争取完成用数据训练神经网络；
在下午的训练过程中，虽然遇到了很多的专业知识，但是小组成员们都还是力争将此训练完成；
今天下午的学习让我们知道人工智能是如何一步步完成的，听讲解和实施的过程虽然略为复杂，但是却让我们收获颇丰；
=== <big>'''图片展示'''</big> ===
[[文件:王者荣耀.jpg|缩略图|左]] [[文件:波形图.jpg|缩略图|左]] [[文件:频谱图.jpg|缩略图|居中]]
[[文件:王者.jpg|缩略图|居中]]
== day 2 #2017.07.23 ==
=== <big>'''上午'''</big> ===
地点：李兆基科技大楼 634
时间：
8:30-9:00 陈震教师回顾上一次课所讲解有关神经网络训练的相关知识，并布置今天的新任务——利用安卓系统验证训练模型；
9:00-9:30 小组将软件拷贝进电脑，安装AndroidSTUDIO，讨论如何运行并新建application
9:30-10:30 陈震教师讲解如何操作运行Androidstudio，李顺娟、曾莹莹拍摄讲解过程，认真听其讲解,并向组员进行进一步解释，运行该程序；
利用数据线将APP拷入安卓手机，测试并运用
10:30-11:30 运行apk，验证神经网络训练结果，查漏补缺——
①发现问题：各组员手机测试结果各有异同；解决方式：向第三小组组长杨述求助，找出原因——手机Android版本较低，与apk不匹配
②发现问题：Androidstudio 运行错误；解决方式：下载Java环境
③发现问题：在同等条件下，个别手机语音识别不一致；解决方案：探寻中......
[[文件:组员.jpg|左]]
=第三组日志=
[[第三组日志]]
===组名：大白科技===
组长：杨述
组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群
===• 组员基本安排表：===
{| class="wikitable"
|-
! 组员 !! 组员分工 !! 主要职责
|-
| 张曼丽 || 录音指令 || 录音汇总、拷贝
|-
| 唐晓双 || 格式转化 || 将各小组录音进行转换
|-
| 杨述 || TensorFlow实践 || 整理录音波形图、频谱图、audioNet
|-
| 刘茹 || AudioNet || 使用TensorFlow搭建三层全连接神经网络，调节神经网络权重
|-
| 张玲梓 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
|-
| 易跃洋 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
|-
| 周利群 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
|-
|}
==Day 1==
时间：2017.7.22.
地点：李兆基科技楼634
===• 时间及任务规划：===
上午08:30——10:00 智能硬件学习，陈震老师讲解
上午10:10——11:20 各小组成员自主录音，全体组员
上午11:20——11:40 收集本组成员录音，张曼丽、刘茹收集小组录音
下午13:00——14:00 查看iPython工作路径，周利群查看路径
下午14:00——14:20 声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件
下午14:40——15:40 读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件
[[文件:1.jpg|缩略图|居中]]
[[文件:6全组.jpg|缩略图|居中]]
下午15:40——16:50 老师简单讲解TensorFlow、图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型
下午16:50——17:40 讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长杨述负责拷贝文件。
===• 阶段性成果：===
[[文件:2.jpg|缩略图|居中]]
===• 具体制作步骤：===
====1、查看IPython工作路径：====
打开IPython软件，运行脚本：
import os
os.path.realpath('.')
====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
运行脚本：
os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
====3、读取语音波形====
运行脚本：
import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
plt.plot(data)
plt.show()
====4、调用sox软件生成频谱图：====
运行脚本：
import os
from matplotlib import image, pyplot
os.path.exists('.\\sox\\sox.exe')
os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
img = image.imread('.\\aout.png')
pyplot.imshow(img)
pyplot.axis('off')
pyplot.show()
==Day 2==
时间：2017.7.23.
地点：李兆基科技楼634
===• 时间及任务规划：===
上午08:30——09:00 组长杨述查找并重组TensorFlow模块
上午09:10——09:30 组长杨述下载并安装Android-studio
上午09:30——10:10 Android手机安装APP应用并试音
[[文件:4.jpg|缩略图|居中]]
[[文件:3.jpg|缩略图|居中]]
上午10:10——10:30 陈震老师下台进行APP验证试验
[[文件:8.jpg|缩略图|居中]]
上午10:30——11:00 组长杨述到其他小组进行技术指导
[[文件:7.jpg|缩略图|居中]]
下午14:00——14:20
下午14:40——15:40
下午15:40——16:50
===• 阶段性成果：===
===• 具体制作步骤：===
====一、准备工作：====
1、安装Anaconda3软件到c盘；
2、audionet文件夹放置在桌面；
3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中；
4、确认ffmpeg和sox文件夹中有相应文件；
5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。
====二、TensorFlow安装：====
1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；
2、在Anaconda Prompt-python窗口中，输入python，回车；
3、输入quit()，回车；
4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；
5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。
====三、批量生成音频：====
1、输入cd desktop回车，再输入cd audioNet回车；
2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
====四、安装keras：====
1、在Anaconda Prompt-python窗口中，输入python，回车；
2、输入quit()，回车；
3、输入pip install keras,回车，此时开始安装，等待安装结束。
====五、测试：====
输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。
=第四组日志=
'''<big>1、团队介绍</big>'''
队名：英雄大联盟H&L
组长：尹倩
学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟
分工：
1、录音语音指令 -- 负责人：谌丽容
2、格式转换 ------ 负责人：杨厚平
3、TensorFlow --- 负责人：尹倩
4、AudioNet ----- 负责人：刘伟
5、安卓应用开发 -- 负责人：曾丽霞
6、任务过程记录 -- 负责人：徐玉娟
7、任务总结 ------ 负责人：尹倩
[[文件:团队.jpg|缩略图|居中]]
'''<big>2、7月22日</big>'''
=='''<small>2.1 上 午</small>'''==
学习内容：
====一、智能声控硬件实践的理论学习====
====二、团队建设及具体分工安排====
===='''三、按要求录制音频文件'''====
=='''<small>2.2 下 午</small>'''==
===学习内容===
===（一）频谱图制作===
===（1）准备工作===
安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。
[[文件:图片2.png|缩略图|居中]]
===（2）、制作步骤：===
====1、查看IPython工作路径：====
打开IPython软件，运行脚本：
import os
os.path.realpath('.')
====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
运行脚本：
os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
====3、读取语音波形====
运行脚本：
import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
plt.plot(data)
plt.show()
====4、调用sox软件生成频谱图：====
运行脚本：
import os
from matplotlib import image, pyplot
os.path.exists('.\\sox\\sox.exe')
os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
img = image.imread('.\\aout.png')
pyplot.imshow(img)
pyplot.axis('off')
pyplot.show()
===（3）团队阶段性成果===
[[文件:结果图.jpg|缩略图|居中]]
===（二）神经网络训练===
===（1）理论讲解===
陈老师首先就神经网络训练进行理论性讲解，并对操作步骤进行演示。
===（2）工作步骤===
====1准备工作====
确定各文件路径的正确：
(a)把从陈老师拷的audioNet文件夹放置在桌面；
(b)在audioNet下新建文件夹raw，将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中；
(c)确认ffmpeg和sox文件夹中有相应的文件。
====2批量生成音频====
(a)输入cd desktop回车，再输入cd audioNet回车；
(b)输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
====3测试====
输入python train.py 回车，开始测试。
'''<big>3、7月23日</big>'''
=='''<small>3.1 上 午</small>'''==
===学习内容===
1.陈老师就7月22日下午神经网络测试的情况及存在问题进行复习指导、总结存在问题，解答各个小组的疑问；
2.任务布置，进行演示性讲解；
3.小组安装android studio软件，将7.22日训练完成后的数据生成APP，并在手机上进行测试。
=第五组日志 =
running five
组长：周辉
组员：龙红、龚健勇、陈堃、李英姿、贾宇
分工
录音语音指令：李英姿
格式转换：贾宇
TensorFlow实践：周辉
AudioNet安卓应用开发：龙红
记录：龚健勇、陈堃
1、2017年7月22日上午由录音员李英姿录制24条语音指令，进行音频文件制作并转换。
2、2017年7月22下午把转换的音频文件转频谱图，操作步骤如下：
（1）将wavReader.py和ffmpeg、sox两个文件夹放置在同一目录下；打开IPython软件，输入import os和os.path.realpath('.')两个命令，确定工作路径正确。
（2）把24个音频拷贝到同一路径下，使用ffmepg工具进行格式转换并注意文件名的修改。
（3）输入读取语音波形命令组，分别修改音频名称，生成并修改相应的波形图名称。
（4）用同样方法输入频谱图生成命令组，修改相应的波形图名称及频谱图名称并保存。
通过此次练习，我们发现在生成波形图时，前两条指令只需输入一次，通过修改第三条指令中的文件名即可连续生成不同波形图；做频谱图时可用同样的方法，前三条指令只需输入一次，通过修改第四条指令中的文件名即可连续生成不同的频谱图，这样在没有学习批量指令前，可加快文件处理速度。
3、2017年7月22日晚 训练并测试数据操作步骤如下:
第一步:准备工作(确定各文件路径的正确)
1、安装Anaconda3软件到c:盘；
2、audioNet文件夹放置在桌面；
3、在audioNet下新建文件夹raw，把960个音频文件复制到raw文件夹中；
4、确认ffmpeg和sox文件夹中有相应文件:
5、用记事本打开audioNet文件夹中train.py文件，修改速度参数;
第二步:Tensorflow安装
1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序:
2、在Anaconda Prompt-python窗口中，输入python，回车。
3、输入quit()，回车。
4、输入pip install tensorflow,回车，此时开始安装，等待安装结束。
5、 输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。
第三步:批量生成音频
1、输入cd desktop回车，再输入cd audioNet回车。
2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。
第四步:安装keras
1、在Anaconda Prompt-python窗口中，输入python，回车。
2、输入quit()，回车。
3、输入pip install keras,回车，此时开始安装，等待安装结束。
第五步:测试
输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。
=第六组日志=
队名：尽情挑战--2017
2017年7月22日
地点：李兆基科技楼634
组长：吴臣
学员：吴臣、袁晴春、刘雯婧、江华、周益兰、阳娟娟
分工：
1、录音语音指令 -- 负责人：周益兰
2、格式转换 ------ 负责人：刘雯婧
3、TensorFlow --- 负责人：吴臣
4、AudioNet ----- 负责人：袁晴春
5、任务过程记录 -- 负责人：阳娟娟
6、任务总结 ------ 负责人：江华
Day1 上午:
1、智能硬件理论学习，讲授人陈震老师。
2、小组成员分别录音。
3、刘雯婧负责收集及转换录音，吴臣协助。
Day1 下午
第一阶段：
1、将“频谱图”，ffmpeg、sox软件及录制好的音频文件放到“我的文档”下存放。
2、吴臣负责查看iPython工作路径。
3、将录音文件资料格式转换成标准格式。刘雯婧负责格式转换，吴臣和袁晴春协助，江华和周益兰负责审核。
4、读取语音波形文件，音频文件全部改好，吴臣、江华、刘雯婧负责。
5、吴臣正在负责改和生成频谱图，袁晴春在旁边协助解决问题，刘雯婧，江华和周益兰自行摸索学习。
6、运营sox声音交互软件，增加音频效果，秀频谱图，运行sox声音交互软件。
[[文件:Chuan.png|缩略图|居中]]
第二阶段 主题：神经网络训练
第一步：理论学习。
陈震老师讲授理论知识：损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（不断地设计结构调参数，TF示例演示-神经网络训练过程 谷歌开发）、卷积网络、循环网络-RNN（处理语音的。思路：权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。
第二步：讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长吴臣负责拷贝文件。
==Day 2==
时间：2017.7.23.
地点：李兆基科技楼634
上午：
1、陈老师带领各组回顾昨天的内容，对今天上午的任务进行说明。
2、请陈震老师到组内进行指导，9：15开始组长吴臣开始进行数据测试，袁晴春从旁协助。
3、电脑上安装安卓开发软件androidAudioRecg12，编辑程序，进行数据模拟测试,并检测。
[[文件:学习.jpg|缩略图|居中]]
4、安装Android Studio Setup，并测试。
[[文件:学习2.jpg|缩略图|居中]]