2018012036——兰欣泽
7.5上午 幸运地被抽签抽中来到智能硬件与智能系统的课程,上午初步了解了PYNQ板的使用和调试,并在0基础的情况下现场学习Python,之后体验了PYNQ板的灯光控制和光传感功能,单独实验的两项较为简单,没有出什么BUG,之后我们将两项功能结合起来,通过光传感进行智能灯光控制,在黑暗时(设定光强小于20)点亮LED和RGBLED,在亮时(光强大于20)关闭LED和RGBLED,最终成功实现。
7.5下午 我们体验了人脸识别和语音功能,人脸识别功能虽然出了些BUG(可能是因为与摄像头不匹配或算法不完善),但在更换摄像头后还是较为成功地实现了人脸识别(虽然只识别除了脸、眼睛和鼻子),之后和上午类似,我们将二者结合,在人脸识别系统的代码中找到一个能显示成功识别的变量(我选择了识别出脸的坐标不为0),然后通过这个变量控制语音功能,输出welcome,成功进行智能迎宾,我们还讨论了如何在不能实现连续拍照的情况下进行迎宾,最终讨论出可以增加重力传感器、光学传感器或开关(分别模拟人站到门前、人走到门前或人按门铃),在传入信号后才进行人脸识别,成功智能迎宾,这个可以在再多学一些知识之后进行实现。
7.6上午 被通知到周六要来上课,其实还挺开心,因为能学到很多有用并感兴趣的知识,上午在郭老师的带领下,我们进行了一些软件的安装,如python3.7、git、tensorflow等,并且通过ppt等方式简单了解了机器学习和深度学习的特点和区别。
7.6下午 下午陈老师带领我们上课,系统地为我们讲解了python和给got的简单使用、tensorflow中最基本概念——tensor、神经网络的基本构建原理、CNN&RNN Dense&CNN 学习路线以及神经网络训练的一些知识,我们还激烈讨论了如何具体在神经网络训练时求出loss函数梯度的问题,大家激烈的思想思维交流也让我收获很多。
7.7上午 陈老师领我们深入学习了CNN卷积神经网络、RNN循环神经网络等神经网络构建的方式,探讨了它们的区别与优劣性,我们还在https://playground.tensorflow.org上在线模拟了神经网络构建的方式与过程,具象化地了解了weight、batch size、layers、noise等神经网络构建时的基本概念,对神经网络的概念更加清晰了。
7.8上午 上午我们主要为了完成一个能在Android系统上运行的语音识别软件,为此我们先学习了语音识别的一些知识,语音识别需要先采集大量样本,然后用GPU工作站构建深度神经网络进行训练,然后用简单的软件——AndroidAudioRec进行测试并改进,最后同构AndroidStudio将该神经网络部署到硬件平台上,由于无法翻墙的原因,部分代码不是很成功,所以最后一步出了点BUG。