马时杰

个人介绍：马时杰，精仪系精71班，菜鸡一枚，希望未来能少菜一点。

学习日志：

第二次课：认识了小组合作中信息共享的高效工具Git，也接触到了PYNQ板的最基本使用，希望今后能够进一步了解PYNQ板的操作、功能以及PYNQ和其他传感器模块的联动使用，进而能够实现个性化功能。

第三次课：首先安装了python和Jupyter Notebook，初步了解了通过python编程（网页编程）对PYNQ板和光敏传感器的控制，实现对环境亮度的监控及响应。

第四次课：陈老师首先将讲解了认识人声与时频谱图等处理人声信号的概论性知识，为后续pynq板实验打下了基础。本次课进行了pynq板的Audio实验和OpenCV实验，初步了解了pynq板对人声和人脸相应部位的检测和响应，为pynq智能迎宾系统的实现打下了初步的基础。

第五次课：本次课了解了机器学习和神经网络的最基本概念，老师讲解了神经网络的基本架构、神经元等，也介绍了神经网络的相关数学运算、函数和算法，如：激活函数、损失函数，以及梯度下降法等。基础知识介绍完以后，陈老师又介绍了非常有用的深度框架——tensorflow，对于开发者而言这是一个很有用的库。老师给提供的例程是一个很有趣的服装分类识别demo，通过程序实现训练算法和检测过程，初步认识了机器学习的基本原理，为后续的课程打下了基础。

第六次课：今天老师讲解了numpy和tensorflow，主要涉及了两个库中基本数据、函数、数组和矩阵的基本运算以及相互转化，为机器学习的学习和训练算法打下了基础，最后通过一个类似于最小二乘法的线性拟合的简单示例，让我们对机器学习有了更加透彻的理解。最后老师布置了在服务器上上传唤醒词的小任务。

第七次课：今天老师讲解了cnn和rnn的基本概念、结构和算法，有讲解了Keras实现卷积网络的方法，最后讲解了ASR技术（自动语音识别）的难点和解决架构。通过本次课程，对机器学习的具体算法有了更加深入地理解，不再是之前很模糊的认知。期待后续更深入的讲解和应用。

第八次课：本周老师讲解了智能音箱的知识，也让我们参观了经过拆解的不同品牌的智能音箱的硬件结构。通过助教的帮助，下载了Android Studio 9 pie，利用训练好的模型（由之前同学们上传的语料唤醒词作为素材），在安卓平板上实现了安卓系统上的客户端，具备简单的语音识别功能，可以识别之前录入的24条语料唤醒词，识别效果比较好。非常感谢老师的讲解和助教的帮助，而感受到了机器学习应用的实例，受益匪浅。

第九次课：本节课初步尝试了利用Jetson TX2 开发板和Ubuntu操作系统进行不同物体的识别和分类，根据老师提供的网上的例程最终实现了物体识别与分类功能。这也是第一次接触Jetson TX2 开发板，为后续的作业打下了基础。

第十次课：本节课进行开发板的刷机准备工作，包括虚拟机和VMware软件的下载。老师也介绍了大作业————安全帽识别系统的要求，刷机也是将安全帽系统导入Jetson TX2 开发板的准备工作，由于时间有限，并未在上课时间完成刷机。

第十一次课：本节课继续进行刷机任务，最后助教简单讲解了ROS机器人操作系统的基本概念和思想，也感受到了这个开源操作系统的特色和便利性，如：模块化编程，便于分工合作和改进工作，体会到了开源系统的便利性，非常感谢助教的讲解。

第十二次课：本次课程简单尝试了利用计算机软件Aelos和手柄来控制智能机器人，通过软件和实际上手操作，完成机器人和电脑之间的通信，实现了一些动作的录入和控制，最后观看了两组同学的机器人拳击比赛，很有趣味。

第十三次课：本次课程助教继续介绍了ROS操作系统的知识，同时又介绍了机器人加分大作业的要求和配置，也让我们看到了最后的效果——机器人根据人的操作实现摆动。剩下的时间继续进行大作业，我们组存在的问题主要是子任务环境配置时，出现了连接Github超时的现象，初步想到的解决方案是，手动进行GitHub相关文件的下载，然后继续执行脚本文件的其他内容。

第十四次课：本次课程老师邀请到了来自Momenta公司的研发总监穆北鹏博士，穆博士为我们介绍了无人驾驶技术的实现算法，还有IMU惯性导航的方式，我感受到了人工智能理论的飞速发展和应用。随后，穆博士也向我们介绍了公司的一些基本情况和产业的瓶颈等，对了解整个无人驾驶产业有了更加深入的认识。

第十五次课：本次课程老师邀请到了智能语音交互系统Azero开发与应用，声智科技SoundAI 的李智勇副总，李先生也为我们详细介绍了智能音箱的理论还有公司的情况，让我们在知识和产业双方面有了充分的了解。声智科技的智能音箱产品已经广泛投入了市场，潜力巨大。最后和助教完成了大作业的验收，课程画上了圆满的句号。我们组训练完成的模型识别安全帽的效果较好，但对角落处的人识别效果不佳。本课程内容还是很丰富的，通过本课程的学习，从多方面：理论实践和产业了解到了智能硬件和机器学习的知识和潜力，非常感谢老师和两位助教的辛苦付出！