查看“第三组日志”的源代码

=第三组日志=
===组名：大白科技===

组长：杨述

组员：易跃洋、张曼丽、刘茹、唐晓双、张玲梓、周利群


===• 组员基本安排表：===

{| class="wikitable"
|-
! 组员 !! 组员分工 !! 主要职责
|-
| 张曼丽 || 录音指令 || 录音汇总、拷贝
|-
| 唐晓双 || 格式转化 || 将各小组录音进行转换
|-
| 杨述  || TensorFlow实践 || 整理录音波形图、频谱图、audioNet
|-
| 刘茹  || AudioNet || 使用TensorFlow搭建三层全连接神经网络，调节神经网络权重
|-
| 张玲梓 || 网络记录 || 记录小组制作过程、记录问题情况、解决问题、资料的汇总
|-
| 易跃洋 || 安卓应用开发 || 电脑编程、制作研发手机APP、小程序
|-
| 周利群 || 总结汇报、TensorFlow实践 || audioNet、组织协调、协调小组各个环节、分工、汇总、汇报总结
|-
|}

==Day 1==

时间：2017.7.22. 

地点：李兆基科技楼634

===• 时间及任务规划：===

上午08:30——10:00  智能硬件学习，陈震老师讲解

上午10:10——11:20  各小组成员自主录音，全体组员

上午11:20——11:40  收集本组成员录音，张曼丽、刘茹收集小组录音

下午13:00——14:00  查看iPython工作路径，周利群查看路径

下午14:00——14:20  声音格式转换（由M4A格式→WAV格式），唐晓双转换并统一文件

下午14:40——15:40  读取语音波形文件，频谱图生成，杨述组长指导组员一起处理文件

[[文件:6全组.jpg|缩略图|居中]]

下午15:40——16:50  老师简单讲解TensorFlow、图像识别使用卷积网络、语音识别使用循环网络、深度学习硬件与软件栈、深度学习框架、端到端的训练、神经网络模型

下午16:50——17:40  讲授完，各组组长到陈震老师那儿拷贝文件Audio.NET（语音识别软件）。本组组长杨述负责拷贝文件。

===• 阶段性成果：===

[[文件:2.jpg|缩略图|居中]]

===• 具体制作步骤：===

====1、查看IPython工作路径：====
打开IPython软件，运行脚本：
import os
os.path.realpath('.')
====2、调用ffmepg软件将音频格式转换成a.m4a文件：====
运行脚本：
os.system('.\\ffmpeg\\bin\\ffmpeg.exe -i .\\a.m4a -ac 1 -acodec pcm_f32le -ar 44100 .\\a.wav -v 1')
====3、读取语音波形====
运行脚本：
import matplotlib.pyplot as plt from wavReader import readWav rate, data =readWav('./a.wav')
plt.plot(data)
plt.show()
====4、调用sox软件生成频谱图：====
运行脚本：
import os
from matplotlib import image, pyplot
os.path.exists('.\\sox\\sox.exe')
os.system('.\\sox\\sox.exe .\\a.wav -n rate 4k spectrogram -o aout.png')
img = image.imread('.\\aout.png')
pyplot.imshow(img)
pyplot.axis('off')
pyplot.show()

===• 日常小结：===

小组成功进行所有的任务分配与规划，并完成小组成员所有的24条录音；在此过程中，小组成员们互帮互助顺利完成上午的基本任务；

下午成功将声音转成波形图和频谱图，在此过程中由于电脑缺少tf模板，导致不能运行神经网络训练。

==Day 2==

时间：2017.7.23. 

地点：李兆基科技楼634


===• 时间及任务规划：===

上午08:30——09:00  组长杨述查找并重组TensorFlow模块

上午09:10——09:30  组长杨述下载并安装Android-studio

上午09:30——10:10  Android手机安装APP应用并试音

[[文件:4.jpg|缩略图|居中]]

[[文件:3.jpg|缩略图|居中]]

上午10:10——10:30  陈震老师下台进行APP验证试验

[[文件:8.jpg|缩略图|居中]]

上午10:30——11:30  组长杨述到其他小组进行技术指导

[[文件:7.jpg|缩略图|居中]]

下午13:30——14:30  陈震老师总结TensorFlow工作流程并举例说明，解释Keras是在TensorFlow的进一步封装，智能声控课程暂告一段落

下午14:30——15:00  自由学习，声控课程扫尾工作

下午15:00——15:40  全体上台分享学习经验，本组由组长杨述上台简介，陈震老师做小结

[[文件:9.jpg|缩略图|居中]]

下午15:40——16:00  陈震老师介绍PYNQ，使嵌入式编程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥Xilinx Zynq All Programmable SoC（APSoC）的功能

下午16:00——16:45  将空白SD卡插入电脑，烧写镜像文件

[[文件:20-1.jpg|缩略图|居中]]

下午16:45——17:00  打开PYNQ，等待系统启动，一分钟后有两个蓝色的LED和四个黄绿色的LED同时闪动，随后蓝色LED关闭，四个黄绿色LED灯亮，连接到Jypyter进行在线编程

下午17:00——17:30  第一个试验案例：①按键是改变颜色，②按键是跑马灯，③按键是反向跑马灯，④按键是停止

[[文件:20-2.jpg|缩略图|居中]]

下午17:30——17:40  第二个试验案例：生成波音图

===• 阶段性成果：===

1、Android APP安装成功

[[文件:12-2.jpg|缩略图|居中]]

2、第一个试验，跑马灯试验成功

3、第二个试验，经过五分钟后音频处理生成波形图

===• 具体制作步骤：===

====一、准备工作：====

1、安装Anaconda3软件到c盘；

2、audionet文件夹放置在桌面；

3、在audioNet下新建文件夹raw，把960个音频（其中899个可用）文件复制到raw文件夹中；

4、确认ffmpeg和sox文件夹中有相应文件；

5、用记事本打开audioNet文件夹中train.py文件，修改速度参数。

====二、TensorFlow安装：====

1、在运行处输入cmd，打开管理员提示窗口，再打开程序菜单所有程序命令组Anaconda3(64-bit)下的Anaconda Prompt程序；

2、在Anaconda Prompt-python窗口中，输入python，回车；

3、输入quit()，回车；

4、输入pip install  tensorflow,回车，此时开始安装，等待安装结束；

5、输入python，回车，再输入import tensorflow as tf，回车，确认运行正常。

====三、批量生成音频：====
1、输入cd  desktop回车，再输入cd  audioNet回车；

2、输入python  convert_file.py  ./raw，回车，自动在audioNet\data\train下转换成.wav 文件格式，复制其中的100个文件到audioNet\data\test文件夹下。

====四、安装keras：====

1、在Anaconda Prompt-python窗口中，输入python，回车；

2、输入quit()，回车；

3、输入pip install  keras,回车，此时开始安装，等待安装结束。


====五、测试：====

输入python  train.py 回车，开始测试，请关掉所有防护软件和防火墙。

===• 日常小结：===

上午Andrew App试音第一组完成成功，识别成功率大概90%——95%，“蓝牙上一曲”“蓝牙下一曲”“蓝牙上一首”“蓝牙下一首”会识别有误差；

下午学习PYNQ制作，第一个跑马灯实验很速度成功，第二个音频图实验花费较长时间，最后五分钟实验成功。

==Day 3==

时间：2017.7.24. 

地点：李兆基科技楼634


===• 时间及任务规划：===

上午08:30——09:00  分发摄像头试拍，组员运行USB，将USB连接PYNQ板，开机，链接摄像头可成功小组合照；后误删代码，到其他小组复制代码，重插USB接口，重新拍摄成功

[[文件:3-1.jpg|缩略图|居中]]

[[文件:3-2.jpg|缩略图|居中]]

上午09:10——09:40  

由张老师介绍iCenter智能硬件图书馆硬件：FPGA类口袋图书馆实验室，讲解Ardunio 开发板、树莓派Raspberry、Tntel Edison、NVDIA TKI、NVDIA TXI、NVDIA GPU 1080P、NVDIA GPU Titon、PYNQ-Z1 支持Python编程的Zynq开发板、NetFPGA SUME-网络系统开发；

由马老师绍“云平台SS”：iCenter计算机房、云平台的几个S（Iaas、Paas、Saas）、物联网与云接口、可以使用的平台资源 ；

由陈震老师做小结 

[[文件:3-4.jpg|缩略图|居中]]

[[文件:3-5.jpg|缩略图|居中]]

[[文件:3-6.jpg|缩略图|居中]]

上午09:40——10:00  小组分组小结

上午10:00——10:20  陈震老师讲解如何批量生产音频文件

上午10:20——11:00  自学Python,做波音图和频谱图实验

上午11:00——11:30  

第一步：将所有音频文件放入RAW文件夹 

第二步：打开Anaconda prompt,输入对应文件名称 ,得到波音图

第三步：输入指令python wavfile2spectrum.py/wavfile`得到频谱图

下午13：30——14：30  制作汇报PPT

下午14：30——16：00  各小组汇报小组PPT内容

下午16：00——17：30  体验参观B32 VR虚拟现实

===• 阶段性成果：===

1、插入摄像头试拍成功


[[文件:3-3.jpg|缩略图|居中]]

===• 具体制作步骤：===

===• 日常小结：===
自学波音图和频谱图的时候各小组自主学习没能得到突破性成果，后请来别组外援贾宇老师，顺利得到波音图和频谱图