组名：大白科技

组长：杨述

组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群

• 组员基本安排表：

组员	组员分工	主要职责
张曼丽	录音指令	录音汇总、拷贝
唐晓双	格式转化	将各小组录音进行转换
杨述	TensorFlow实践	整理录音波形图、频谱图、audioNet
刘茹	AudioNet	使用TensorFlow搭建三层全连接神经网络，调节神经网络权重
张玲梓	网络记录	记录小组制作过程、记录问题情况、解决问题、资料的汇总
易跃洋	安卓应用开发	电脑编程、制作研发手机APP、小程序
周利群	总结汇报、TensorFlow实践	audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结

Day 1

时间：2017.7.22.

地点：李兆基科技楼634

• 时间及任务规划：

上午08:30——10:00 智能硬件学习，陈震老师讲解

上午10:10——11:20 各小组成员自主录音，全体组员

上午11:20——11:40 收集本组成员录音，张曼丽、刘茹收集小组录音

下午13:00——14:00 查看iPython工作路径，周利群查看路径

下午14:00——14:20 声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件

下午14:40——15:40 读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件

下午15:40——16:50 老师简单讲解TensorFlow、图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型

下午16:50——17:40 讲授完，各组组长到陈震老师那儿拷贝文件Audio.NET（语音识别软件）。本组组长杨述负责拷贝文件。

• 阶段性成果：

• 具体制作步骤：

1、查看IPython工作路径：

打开IPython软件，运行脚本： import os os.path.realpath('.')

2、调用ffmepg软件将音频格式转换成a.m4a文件：

运行脚本： os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')

3、读取语音波形

运行脚本： import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav') plt.plot(data) plt.show()

4、调用sox软件生成频谱图：

运行脚本： import os from matplotlib import image, pyplot os.path.exists('.\\sox\\sox.exe') os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png') img = image.imread('.\\aout.png') pyplot.imshow(img) pyplot.axis('off') pyplot.show()

Day 2

时间：2017.7.23.

地点：李兆基科技楼634

• 时间及任务规划：

上午08:30——09:00 组长杨述查找并重组TensorFlow模块

上午09:10——09:30 组长杨述下载并安装Android-studio

上午09:30——10:10 Android手机安装APP应用并试音

上午10:10——10:30 陈震老师下台进行APP验证试验

上午10:30——11:30 组长杨述到其他小组进行技术指导

下午13:30——14:30 陈震老师总结TensorFlow工作流程并举例说明，解释Keras是在TensorFlow的进一步封装，智能声控课程暂告一段落

下午14:30——15:00 自由学习，声控课程扫尾工作

下午15:00——15:40 全体上台分享学习经验，本组由组长杨述上台简介，陈震老师做小结

下午15:40——16:00 陈震老师介绍PYNQ，使嵌入式编程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥Xilinx Zynq All Programmable SoC（APSoC）的功能

下午16:00——16:45 将空白SD卡插入电脑，烧写镜像文件

下午16:45——17:00 打开PYNQ，等待系统启动，一分钟后有两个蓝色的LED和四个黄绿色的LED同时闪动，随后蓝色LED关闭，四个黄绿色LED灯亮，连接到Jypyter进行在线编程

下午17:00——17:30 第一个试验案例：①按键是改变颜色，②按键是跑马灯，③按键是反向跑马灯，④按键是停止

下午17:30——17:40 第二个试验案例：生成波音图

• 阶段性成果：

1、Android APP安装成功

2、第一个试验，跑马灯试验成功

3、第二个试验，经过五分钟后音频处理生成波形图

• 具体制作步骤：

一、准备工作：

1、安装Anaconda3软件到c盘；

2、audionet文件夹放置在桌面；

3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中；

4、确认ffmpeg和sox文件夹中有相应文件；

5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。

二、TensorFlow安装：

1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；

2、在Anaconda Prompt-python窗口中，输入python，回车；

3、输入quit()，回车；

4、输入pip install tensorflow,回车，此时开始安装，等待安装结束；

5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。

三、批量生成音频：

1、输入cd desktop回车，再输入cd audioNet回车；

2、输入python convert_file.py ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。

四、安装keras：

1、在Anaconda Prompt-python窗口中，输入python，回车；

2、输入quit()，回车；

3、输入pip install keras,回车，此时开始安装，等待安装结束。

五、测试：

输入python train.py 回车，开始测试，请关掉所有防护软件和防火墙。

Day 3

时间：2017.7.24.

地点：李兆基科技楼634

• 时间及任务规划：

上午08:30——09:00 分发摄像头试拍，可成功小组合照；后误删代码，到其他小组复制代码，重插USB接口，重新拍摄成功

上午09:10——09:40 由张老师介绍智能硬件库，由马老师介绍云平台，由陈震老师做小结

上午09:40——10:00 小组分组小结

• 阶段性成果：

1、插入摄像头试拍成功

• 具体制作步骤：