个人介绍:马时杰,精仪系精71班,菜鸡一枚,希望未来能少菜一点。
学习日志:
第二次课:认识了小组合作中信息共享的高效工具Git,也接触到了PYNQ板的最基本使用,希望今后能够进一步了解PYNQ板的操作、功能以及PYNQ和其他传感器模块的联动使用,进而能够实现个性化功能。
第三次课:首先安装了python和Jupyter Notebook,初步了解了通过python编程(网页编程)对PYNQ板和光敏传感器的控制,实现对环境亮度的监控及响应。
第四次课:陈老师首先将讲解了认识人声与时频谱图等处理人声信号的概论性知识,为后续pynq板实验打下了基础。本次课进行了pynq板的Audio实验和OpenCV实验,初步了解了pynq板对人声和人脸相应部位的检测和响应,为pynq智能迎宾系统的实现打下了初步的基础。
第五次课:本次课了解了机器学习和神经网络的最基本概念,老师讲解了神经网络的基本架构、神经元等,也介绍了神经网络的相关数学运算、函数和算法,如:激活函数、损失函数,以及梯度下降法等。基础知识介绍完以后,陈老师又介绍了非常有用的深度框架——tensorflow,对于开发者而言这是一个很有用的库。老师给提供的例程是一个很有趣的服装分类识别demo,通过程序实现训练算法和检测过程,初步认识了机器学习的基本原理,为后续的课程打下了基础。
第六次课:今天老师讲解了numpy和tensorflow,主要涉及了两个库中基本数据、函数、数组和矩阵的基本运算以及相互转化,为机器学习的学习和训练算法打下了基础,最后通过一个类似于最小二乘法的线性拟合的简单示例,让我们对机器学习有了更加透彻的理解。最后老师布置了在服务器上上传唤醒词的小任务。
第七次课:今天老师讲解了cnn和rnn的基本概念、结构和算法,有讲解了Keras实现卷积网络的方法,最后讲解了ASR技术(自动语音识别)的难点和解决架构。通过本次课程,对机器学习的具体算法有了更加深入地理解,不再是之前很模糊的认知。期待后续更深入的讲解和应用。
第八次课:本周老师讲解了智能音箱的知识,也让我们参观了经过拆解的不同品牌的智能音箱的硬件结构。通过助教的帮助,下载了Android Studio 9 pie,利用训练好的模型(由之前同学们上传的语料唤醒词作为素材),在安卓平板上实现了安卓系统上的客户端,具备简单的语音识别功能,可以识别之前录入的24条语料唤醒词,识别效果比较好。非常感谢老师的讲解和助教的帮助,而感受到了机器学习应用的实例,受益匪浅。
第九次课:本节课初步尝试了利用Jetson TX2 开发板和Ubuntu操作系统进行不同物体的识别和分类,根据网上的例程最终实现了物体识别与分类功能。
第十次课:本节课进行刷机准备工作,包括虚拟机和软件的下载。
第十一次课:本节课继续进行刷机任务,最后助教简单讲解了ROS机器人操作系统的基本概念和思想。
第十二次课:本次课程简单尝试了利用计算机软件Aelos和手柄来控制智能机器人,实现了一些动作的录入和控制,最后观看了两组同学的机器人拳击比赛,很有趣味。