1. 地点：李兆基科技楼634

1. 地点：李兆基科技楼634
2. 时间及任务规划：

      13:30-14:00  陈震教师讲解有关音频转换的相关知识（Ipython），对每一个具体步骤进行相关的讲解，组员查看iPython工作路径；

      14:00-15:30  由尹繁荣提供音频材料（编号25）
                   曹科负责拷贝音频转换的相关软件（sox.exe/ffmpeg.exe），记录程序转化的相关步骤；
                   谭佳宇实时操空电脑，读取语音波形文件，生成频谱图 ；
                   李顺娟、曾莹莹对谭佳宇给予协助，并解决相关问题；
                   小组各成员上机实施操作，体验音频转换、波形图及频谱图的产生； 

      15:30-17：30    陈震教师首先简单地回顾上午所学的知识，随后进一步详细讲解深度学习理论（deep learning）
                     •神经网络训练
                     •循环网络-RNN
                     •随机梯度下降法
                     •audioNet
                     •TensorFlow 
                        拷贝相关的软件；
                        小组成员跟着教师一步一步理顺用数据训练神经网络具体过程；
                        组员自我尝试，实施此过程；（第一小组、教师从旁进行技术指导）

 3.

4. 总结与体会：

2017.07.22 下午 小组成员之间相互协作，并请求其他小组的帮忙，争取完成用数据训练神经网络；

在下午的训练过程中，虽然遇到了很多的专业知识，但是小组成员们都还是力争将此训练完成；

今天下午的学习让我们知道人工智能是如何一步步完成的，听讲解和实施的过程虽然略为复杂，但是却让我们收获颇丰；

图片展示

day 2 #2017.07.23

上午

地点：李兆基科技大楼 634

时间：

8:30-9:00 陈震教师回顾上一次课所讲解有关神经网络训练的相关知识，并布置今天的新任务——利用安卓系统验证训练模型；

9:00-9:30 小组将软件拷贝进电脑，安装AndroidSTUDIO，讨论如何运行并新建application

9:30-10:30 陈震教师讲解如何操作运行Androidstudio，李顺娟、曾莹莹拍摄讲解过程，认真听其讲解,并向组员进行进一步解释，运行该程序；

            利用数据线将APP拷入安卓手机，测试并运用

10:30-11:30 运行apk，验证神经网络训练结果，查漏补缺——

            ①发现问题：各组员手机测试结果各有异同；解决方式：向第三小组组长杨述求助，找出原因——手机Android版本较低，与apk不匹配
            ②
            ③

第三组日志

组名：大白科技

组长：杨述

组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群

• 组员基本安排表：

Day 1

时间：2017.7.22.

地点：李兆基科技楼634

• 时间及任务规划：

上午08:30——10:00 智能硬件学习，陈震老师讲解

上午10:10——11:20 各小组成员自主录音，全体组员

上午11:20——11:40 收集本组成员录音，张曼丽、刘茹收集小组录音

下午13:00——14:00 查看iPython工作路径，周利群查看路径

下午14:00——14:20 声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件

下午14:40——15:40 读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件

生成缩略图出错：不正确的缩略图参数

下午15:40——16:50 老师简单讲解TensorFlow、图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型

下午16:50——17:40 讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长杨述负责拷贝文件。

• 阶段性成果：

• 具体制作步骤：

1、查看IPython工作路径：

打开IPython软件，运行脚本： import os os.path.realpath('.')

2、调用ffmepg软件将音频格式转换成a.m4a文件：

运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')

3、读取语音波形

运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()

4、调用sox软件生成频谱图：

运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show()

Day 2

时间：2017.7.23.

地点：李兆基科技楼634

• 时间及任务规划：

上午08:30——09:00 组长杨述查找并重组TensorFlow模块

上午09:10——09:30 组长杨述下载并安装Android-studio

上午09:30——10:10 Android手机安装APP应用并试音

上午10:10——10:30 陈震老师下台进行APP验证试验

上午10:30——11:00 组长杨述到其他小组进行技术指导

下午14:00——14:20

下午14:40——15:40

下午15:40——16:50

• 阶段性成果：

• 具体制作步骤：

一、准备工作：

1、安装Anaconda3软件到c盘；

2、audionet文件夹放置在桌面；

3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中；

4、确认ffmpeg和sox文件夹中有相应文件；

5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。

二、TensorFlow安装：

1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；

2、在Anaconda Prompt-python窗口中，输入python，回车；

3、输入quit()，回车；

4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；

5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。

三、批量生成音频：

1、输入cd desktop回车，再输入cd audioNet回车；

2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。

四、安装keras：

1、在Anaconda Prompt-python窗口中，输入python，回车；

2、输入quit()，回车；

3、输入pip install keras,回车，此时开始安装，等待安装结束。

五、测试：

输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。

第四组日志

1、团队介绍

队名：英雄大联盟H&L

组长：尹倩

学员：杨厚平、谌丽容、徐玉娟、曾丽霞、尹倩、刘伟

分工：

    1、录音语音指令 -- 负责人：谌丽容
    2、格式转换 ------ 负责人：杨厚平
    3、TensorFlow ---  负责人：尹倩
    4、AudioNet -----  负责人：刘伟
    5、安卓应用开发 -- 负责人：曾丽霞
    6、任务过程记录 -- 负责人：徐玉娟
    7、任务总结 ------ 负责人：尹倩

2、7月22日

2.1 上 午

学习内容：

一、智能声控硬件实践的理论学习

二、团队建设及具体分工安排

三、按要求录制音频文件

2.2 下 午

学习内容

（一）频谱图制作

（1）准备工作

安装Ipython软件，在“我的文档”下存放ffmpeg、sox软件及录制好的音频文件。

（2）、制作步骤：

1、查看IPython工作路径：

打开IPython软件，运行脚本： import os os.path.realpath('.')

2、调用ffmepg软件将音频格式转换成a.m4a文件：

运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')

3、读取语音波形

运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()

4、调用sox软件生成频谱图：

运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show()

（3）团队阶段性成果

（二）神经网络训练

（1）理论讲解

陈老师首先就神经网络训练进行理论性讲解，并对操作步骤进行演示。

（2）工作步骤

1准备工作

确定各文件路径的正确： (a)把从陈老师拷的audioNet文件夹放置在桌面； (b)在audioNet下新建文件夹raw，将上午六个小组40个人所录制的960个音频文件复制到raw文件夹中； (c)确认ffmpeg和sox文件夹中有相应的文件。

2批量生成音频

(a)输入cd desktop回车，再输入cd audioNet回车； (b)输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。

3测试

输入python train.py 回车，开始测试。

3、7月23日

3.1 上 午

学习内容

1.陈老师就7月22日下午神经网络测试的情况及存在问题进行复习指导、总结存在问题，解答各个小组的疑问； 2.任务布置，进行演示性讲解； 3.小组安装android studio软件，将7.22日训练完成后的数据生成APP，并在手机上进行测试。

第五组日志

running five

组长：周辉

组员：龙红、龚健勇、陈堃、李英姿、贾宇

分工

录音语音指令：李英姿

格式转换：贾宇

TensorFlow实践：周辉

AudioNet安卓应用开发：龙红

记录：龚健勇、陈堃

1、2017年7月22日上午由录音员李英姿录制24条语音指令，进行音频文件制作并转换。

2、2017年7月22下午把转换的音频文件转频谱图，操作步骤如下：

（1）将wavReader.py和ffmpeg、sox两个文件夹放置在同一目录下；打开IPython软件，输入import os和os.path.realpath('.')两个命令，确定工作路径正确。

（2）把24个音频拷贝到同一路径下，使用ffmepg工具进行格式转换并注意文件名的修改。

（3）输入读取语音波形命令组，分别修改音频名称，生成并修改相应的波形图名称。

（4）用同样方法输入频谱图生成命令组，修改相应的波形图名称及频谱图名称并保存。

   通过此次练习，我们发现在生成波形图时，前两条指令只需输入一次，通过修改第三条指令中的文件名即可连续生成不同波形图；做频谱图时可用同样的方法，前三条指令只需输入一次，通过修改第四条指令中的文件名即可连续生成不同的频谱图，这样在没有学习批量指令前，可加快文件处理速度。

3、2017年7月22日晚 训练并测试数据操作步骤如下:

第一步:准备工作(确定各文件路径的正确)

1、安装Anaconda3软件到c:盘；

2、audioNet文件夹放置在桌面；

3、在audioNet下新建文件夹raw，把960个音频文件复制到raw文件夹中；

4、确认ffmpeg和sox文件夹中有相应文件:

5、用记事本打开audioNet文件夹中train.py文件，修改速度参数;

第二步:Tensorflow安装

1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序:

2、在Anaconda Prompt-python窗口中，输入python，回车。

3、输入quit()，回车。

4、输入pip install tensorflow,回车，此时开始安装，等待安装结束。

5、 输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。

第三步:批量生成音频

1、输入cd desktop回车，再输入cd audioNet回车。

2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。

第四步:安装keras

1、在Anaconda Prompt-python窗口中，输入python，回车。

2、输入quit()，回车。

3、输入pip install keras,回车，此时开始安装，等待安装结束。

第五步:测试

输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。

第六组日志

队名：尽情挑战--2017

2017年7月22日

地点：李兆基科技楼634

组长：吴臣

学员：吴臣、袁晴春、刘雯婧、江华、周益兰、阳娟娟

分工：

   1、录音语音指令 -- 负责人：周益兰
   2、格式转换 ------ 负责人：刘雯婧
   3、TensorFlow ---  负责人：吴臣
   4、AudioNet -----  负责人：袁晴春
   5、任务过程记录 -- 负责人：阳娟娟
   6、任务总结 ------ 负责人：江华

Day1 上午:

1、智能硬件理论学习，讲授人陈震老师。

2、小组成员分别录音。

3、刘雯婧负责收集及转换录音，吴臣协助。

Day1 下午

第一阶段：

1、将“频谱图”，ffmpeg、sox软件及录制好的音频文件放到“我的文档”下存放。

2、吴臣负责查看iPython工作路径。

3、将录音文件资料格式转换成标准格式。刘雯婧负责格式转换，吴臣和袁晴春协助，江华和周益兰负责审核。

4、读取语音波形文件，音频文件全部改好，吴臣、江华、刘雯婧负责。

5、吴臣正在负责改和生成频谱图，袁晴春在旁边协助解决问题，刘雯婧，江华和周益兰自行摸索学习。

6、运营sox声音交互软件，增加音频效果，秀频谱图，运行sox声音交互软件。

第二阶段 主题：神经网络训练

第一步：理论学习。

陈震老师讲授理论知识：损失函数、神经元、随机梯度下降法、神经网络训练-反向传播、神经网络训练过程、TensorFlow（不断地设计结构调参数，TF示例演示-神经网络训练过程 谷歌开发）、卷积网络、循环网络-RNN（处理语音的。思路：权重共享）、长短时记忆网络、门控循环单元-GRU、深度学习硬件与软件栈、深度学习框架、语音识别原理、语音指令设计知识回顾、神经网络模型、计算平台使用。

第二步：讲授完，各组组长到陈震老师那儿拷贝文件ODO.NET（语音识别软件）。本组组长吴臣负责拷贝文件。

Day 2

时间：2017.7.23.

地点：李兆基科技楼634

上午：

1、陈老师带领各组回顾昨天的内容，对今天上午的任务进行说明。

2、请陈震老师到组内进行指导，9：15开始组长吴臣开始进行数据测试，袁晴春从旁协助。

3、电脑上安装安卓开发软件androidAudioRecg12，编辑程序，进行数据模拟测试,并检测。