大数据智能-课程项目

来自iCenter Wiki
2017年3月25日 (六) 03:54Zhenchen（讨论 | 贡献）的版本

跳转至： 导航、 搜索

目标

构建可以实用化的人工智能云服务。

平台：云平台/GPU工作站

准备工作

携带笔记本，智能手机或平板

Azure云平台

Flask-Web服务器搭建

项目1-大数据索引

描述

任务：基于位图索引的概念和原理，用C++实现一个位图索引数据库。

检验：完成对一段网流数据的索引建立，查询。在虚拟机上运行成功，得到正确结果。

网流数据：\\166.111.134.110\team-saturn\网流数据

代码托管：GitLab

时间：10月7日中午12点之前（特殊情况，推迟一周）(校历第四周)

组织：以组为单位，要求看到所有同学的贡献。

作业提交

[[Group1]] [[Group2]] [[Group3]] [[Group4]]
[[Group5]] [[Group6]] [[Group7]] [[Group8]]

项目2-Lucida使用

Lucida安装

每组在清华工业云平台上安装Lucida软件

时间：10月26日下周三中午12点之前。（校历第七周）

Lucida使用

每组熟悉了解Lucida的一种AI服务的实现原理

Lucida使用

项目3-TensorFlow/Keras实践

作业1_TensorFlow

  1. 阅读深度学习教程 Deep Learning
  2. 安装Google TensorFlow
  3. 完成TensorFlow网站上 Get Started
  4. 测试实验：MNIST For ML Beginners

时间：11月2日中午12点（校历第八周）

作业2_Keras

  1. 安装Keras（Deep Learning library for Theano and TensorFlow）
  2. 测试实验：elixir

时间：11月23日晚上24点（校历第十一周）

项目4-云＋端整合

时间：11月9日中午12点（校历第九周）（特殊情况，延长一周）

Thrift协议

Thrift

Client端

  1. 调用摄像头拍照
  2. 调用Thrift接口发送图片

Server端

  1. 接收图片文件
  2. 调用服务端程序

参考资料

项目5-机器智能

描述

完成一个可展示的人工智能系统

步骤：

  1. 设置Azure虚拟机
  2. 搭建Flask-Web服务
  3. 建立AI服务（Google TensorFlow）
  4. 智能端开发（移动平台、嵌入式硬件）+ Thrift协议联调

参考： Lucida-AI

成果展示

AI云

项目6-ChatBot开发

基于微软BotFramework和LUIS自然语言理解API，设计并实现具有实用场景的智能机器人对话服务。

流程

a. 动手实验：根据微软提供的文档，一步一步搭建一个简单的智能机器人，并将Code上传Azure，或者直接将微软提供的Sample Code上传Azure，发布成Web App，并和Skype或者Web结合（时间1.5小时）

b. 参赛者设计自己的智能对话机器人应用场景和功能，并设想可能的解决方案，并做报告（时间1.5小时）

c. 初步实现参赛者设计的Bot的核心功能和主要场景（时间5小时）

微软会提供两个版本的Sample Code，分别是C#和Node.js版本，选手可以根据此Code修改为自己设计的智能对话机器人，或者重新创建设计新的智能对话机器人

d. 报告：展示自己设计实现的智能对话机器人（时间10分钟）

参考

项目7-NeuralArt实践

Neural Art，神经网络艺术

研读论文

  1. Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "A neural algorithm of artistic style." arXiv preprint arXiv:1508.06576 (2015).
  1. Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "Image style transfer using convolutional neural networks." CVPR 2016.
  1. Vincent Dumoulin, Jonathon Shlens, Manjunath Kudlur, "A Learned Representation For Artistic Style." ICLR 2017.

代码实现

成功案例

作业完成

第1组、第2组、第3组、第5组

第4组和第6组（缺）

项目8-Azure云实践

实验参考网址 WorkShop

机器学习

实验1 手写数字识别 Machine_Learning

步骤：

  1. Create a Machine Learning experiment
  2. Upload a dataset
  3. Train a classification model
  4. Score the model
  5. Deploy the model as a Web service

大数据分析

实验2 Spark集群实验 HDInsight

步骤：

  1. Create a Spark cluster on HDInsight
  2. Upload Jupyter notebooks to the cluster
  3. Work with Jupyter notebooks
  4. Interactively explore data in Spark
  5. Use Jupyter to develop a machine-learning model
  6. Remove the HDInsight Spark cluster

项目9-增强学习

论文

Value Iteration Networks VIN

实验

Value Iteration Networks in TensorFlow VIN_Code

取自“http://wiki.icenter.tsinghua.edu.cn/icenterwiki/index.php?title=大数据智能-课程项目&oldid=42182”