“大数据智能-课程项目”版本间的差异

来自iCenter Wiki
跳转至： 导航、 搜索
（→‎项目9-增强学习实验）
第1行： 第1行：
−
==课程准备==
+
== 目标 ==
  
−
==课程项目目标==
 
 
构建可以实用化的人工智能云服务。
 
构建可以实用化的人工智能云服务。
  
−
平台：云平台/工作站
+
平台：云平台/GPU工作站
  
−
===学生准备===
+
== 准备工作 ==
  
−
携带笔记本，智能手机
+
携带笔记本，智能手机或平板
  
−
(Bring your own laptop computers and camera-ready smart phones)
+
[http://portal.azure.com Azure云平台]
−
 
+
−
===Azure云平台使用===
+
−
 
+
−
[http://portal.azure.com Azure]
+
−
 
+
−
===Flask-Web服务器搭建===
+
  
 
[[Flask-Web服务器搭建]]
 
[[Flask-Web服务器搭建]]
  
−
==项目1-大数据==
+
== 项目1-大数据索引 ==
  
−
===描述===
+
=== 描述 ===
  
 
任务：基于位图索引的概念和原理，用C++实现一个位图索引数据库。
 
任务：基于位图索引的概念和原理，用C++实现一个位图索引数据库。
第30行： 第23行：
 
网流数据：\\166.111.134.110\team-saturn\网流数据
 
网流数据：\\166.111.134.110\team-saturn\网流数据
  
−
代码托管：http://gitlab.icenter.tsinghua.edu.cn
+
代码托管：[http://gitlab.icenter.tsinghua.edu.cn GitLab]
  
 
时间：10月7日中午12点之前（特殊情况，推迟一周）(校历第四周)
 
时间：10月7日中午12点之前（特殊情况，推迟一周）(校历第四周)
  
−
组织：以组为单位，要求要看到所有同学的贡献。
+
组织：以组为单位，要求看到所有同学的贡献。
  
−
===作业提交===
+
=== 作业提交 ===
  
 
{|border=1
 
{|border=1
第51行： 第44行：
 
|}
 
|}
  
−
==项目2-Lucida使用==
+
== 项目2-Lucida使用 ==
  
−
===Lucida安装===
+
=== Lucida安装 ===
  
−
每个组在清华工业云平台上安装Lucida软件
+
每组在清华工业云平台上安装Lucida软件
  
 
* 清华工业云 [https://cloud.icenter.tsinghua.edu.cn iCenter-Cloud]
 
* 清华工业云 [https://cloud.icenter.tsinghua.edu.cn iCenter-Cloud]
−
* 下载地址 [https://github.com/claritylab/lucida Lucida-AI]
+
* 下载地址 [https://github.com/claritylab/lucida Lucida]
  
 
时间：10月26日下周三中午12点之前。（校历第七周）
 
时间：10月26日下周三中午12点之前。（校历第七周）
  
−
===每组工作===
+
=== Lucida使用 ===
  
−
每组熟悉了解Lucida的7种AI服务的实现原理
+
每组熟悉了解Lucida的一种AI服务的实现原理
  
−
[[大数据智能-Lucida使用]]
+
[[大数据智能-Lucida使用 | Lucida使用]]
  
−
==项目3-TensorFlow/Keras实践==
+
== 项目3-TensorFlow/Keras实践 ==
  
−
===作业1_TensorFlow===
+
=== 作业1_TensorFlow ===
−
#阅读深度学习DeepLearning教程
+
−
#安装Google TensorFlow
+
−
#完成TensorFlow网站上Get Started.
+
  
−
*测试实验
+
# 阅读深度学习教程 [http://www.deeplearningbook.org/ Deep Learning]
−
[https://www.tensorflow.org/versions/master/tutorials/mnist/beginners/index.html MNIST For ML Beginners]
+
# 安装[https://www.tensorflow.org/ Google TensorFlow]
 +
# 完成TensorFlow网站上 [https://www.tensorflow.org/get_started/ Get Started]
 +
# 测试实验：[https://www.tensorflow.org/versions/master/tutorials/mnist/beginners/index.html MNIST For ML Beginners]
  
−
时间：2016年11月2日中午12点（校历第八周）
+
时间：11月2日中午12点（校历第八周）
  
−
===作业2_Keras===
+
=== 作业2_Keras ===
−
#安装Keras
+
−
#Keras: Deep Learning library for Theano and TensorFlow
+
−
[https://keras.io/ Keras]
+
  
−
*测试实验
+
# 安装[https://keras.io/ Keras]（Deep Learning library for Theano and TensorFlow）
−
http://gitlab.icenter.tsinghua.edu.cn/tuna/elixir.git
+
# 测试实验：[http://gitlab.icenter.tsinghua.edu.cn/tuna/elixir elixir]
  
−
时间：2016年11月23日晚上24点（校历第十一周）
+
时间：11月23日晚上24点（校历第十一周）
  
−
==项目4-云+端整合==
+
== 项目4-云＋端整合 ==
  
−
时间：2016年11月9日中午12点（校历第九周）（特殊情况，延长一周）
+
时间：11月9日中午12点（校历第九周）（特殊情况，延长一周）
  
−
===Thrift协议===
+
=== Thrift协议 ===
  
 
[https://thrift.apache.org Thrift]
 
[https://thrift.apache.org Thrift]
  
−
===Client端===  
+
=== Client端 ===
  
−
调用摄像头拍照
+
# 调用摄像头拍照
 +
# 调用Thrift接口发送图片
  
−
调用Thrift接口
+
=== Server端 ===
  
−
===Server端===
+
# 接收图片文件
 +
# 调用服务端程序
  
−
接收图片文件
+
=== 参考资料 ===
  
−
调用服务端程序
+
* [https://developer.android.com/index.html Android开发入门]
 +
* [http://cordova.apache.org Cordova]
 +
* [https://github.com/claritylab/clarity-mobile clarity-mobile]
  
−
===参考===
+
== 项目5-机器智能 ==
  
−
[https://developer.android.com/index.html Android开发入门]
+
=== 描述 ===
−
 
+
−
[http://cordova.apache.org Cordova]
+
−
 
+
−
[https://github.com/claritylab/clarity-mobile clarity-mobile]
+
−
 
+
−
==项目5-机器智能==
+
−
 
+
−
===描述===
+
  
 
完成一个可展示的人工智能系统
 
完成一个可展示的人工智能系统
第127行： 第112行：
  
 
# 设置Azure虚拟机
 
# 设置Azure虚拟机
−
# 架构Flask-Web服务
+
# 搭建Flask-Web服务
−
# 建立AI服务（Google Tensorflow）
+
# 建立AI服务（Google TensorFlow）
−
# lucida.ai
+
# 智能端开发（移动平台、嵌入式硬件）+ Thrift协议联调
−
# 智能端开发（移动平台、嵌入式硬件） + Thrift协议联调
+
  
 
参考：
 
参考：
 
[http://lucida.ai Lucida-AI]
 
[http://lucida.ai Lucida-AI]
  
−
===作业提交===
+
=== 成果展示 ===
  
−
{|border=1
+
[[AI云]]
−
|style="height:20px;width:200px"|[[[http://gitlab.icenter.tsinghua.edu.cn/  Group1]]]
+
−
|style="width:200px"|[[[http://gitlab.icenter.tsinghua.edu.cn/  Group2]]]
+
−
|style="width:200px"|[[[http://gitlab.icenter.tsinghua.edu.cn/  Group3]]]
+
−
|-
+
−
|style="height:20px"|[[[http://gitlab.icenter.tsinghua.edu.cn  Group4]]]
+
−
|style="width:200px"|[[[http://gitlab.icenter.tsinghua.edu.cn/  Group5]]]
+
−
|[[[http://gitlab.icenter.tsinghua.edu.cn/  Group6]]]
+
−
|-
+
−
|}
+
  
−
==项目6-ChatBot开发==
+
== 项目6-ChatBot开发 ==
−
基于微软BotFramework和Luis自然语音理解API，设计并实现具有实用场景的智能机器人对话服务。
+
  
−
*实验参考文档 [https://aka.ms/tsinghua_hack Hackathon_code]
+
基于微软BotFramework和LUIS自然语言理解API，设计并实现具有实用场景的智能机器人对话服务。
  
−
===动手实验===
+
=== 流程 ===
  
−
根据微软提供的文档，一步一步搭建一个简单的对话机器人，并将Code上传Azure，
+
a. 动手实验：根据微软提供的文档，一步一步搭建一个简单的智能机器人，并将Code上传Azure，或者直接将微软提供的Sample Code上传Azure，发布成Web App，并和Skype或者Web结合（'''时间1.5小时'''）
−
或者直接将微软提供的Sample Code上传Azure，发布成Web App，并和Skype或者Web结合（时间1.5小时）
+
  
−
===设计===
+
b. 参赛者设计自己的智能对话机器人应用场景和功能，并设想可能的解决方案，并做报告（'''时间1.5小时'''）
  
−
自己的智能对话机器人应用场景和功能，并设想可能的解决方案，并做报告（时间1.5小时）
+
c. 初步实现参赛者设计的Bot的核心功能和主要场景（'''时间5小时'''）
 +
: 微软会提供两个版本的Sample Code，分别是C#和Node.js版本，选手可以根据此Code修改为自己设计的智能对话机器人，或者重新创建设计新的智能对话机器人
  
−
===实现===
+
d. 报告：展示自己设计实现的智能对话机器人（'''时间10分钟'''）
  
−
设计的Bot的核心功能和主要场景（时间5小时）
+
=== 参考 ===
−
（微软会提供两个版本的Sample Code，分别是C#和NodeJS版本，选手可以根据此Code修改为自己设计的智能对话机器人，或者重新创建设计新的智能对话机器人）
+
  
−
===报告===
+
* '''实验参考文档''' [https://github.com/yw346090249/tsinghuahackthon_20161119 Hackathon_Code]
 +
* 微软云Azure Web服务 [https://azure.microsoft.com/zh-cn/services/app-service/web WebApp]
 +
* 建议使用[https://www.visualstudio.com/zh-hans/downloads/ Visual Studio 2015 Community]开发微软智能对话机器人
  
−
展示自己设计实现的智能对话机器人（时间10分钟）
+
== 项目7-NeuralArt实践 ==
  
−
* 建议使用Visual Studio 2015 Community开发微软智能对话机器人
+
Neural Art，神经网络艺术
−
: https://www.visualstudio.com/zh-hans/downloads/
+
  
−
* 微软云Azure Web服务：
+
=== 研读论文 ===
−
: https://azure.microsoft.com/zh-cn/services/app-service/web
+
  
−
==项目7-NeuralArt实践==
+
* [https://arxiv.org/abs/1508.06576 A Neural Algorithm of Artistic Style]
−
神经网络艺术
+
* [https://arxiv.org/abs/1610.07629 A Learned Representation For Artistic Style]
 +
* [http://doi.ieeecomputersociety.org/10.1109/CVPR.2016.265 Image Style Transfer Using Convolutional Neural Networks], CVPR 2016
  
−
===研读论文===
+
=== 代码实现 ===
−
*A Learned Representation For Artistic Style  [https://arxiv.org/abs/1610.07629 Google_art_style]
+
−
*A Neural Algorithm of Artistic Style [https://github.com/anishathalye/neural-style neural-style]
+
−
*Image Style Transfer Using Convolutional Neural Networks_CVPR_2016 [https://github.com/gcucurull/neural-art-transfer neural-art-transfer]
+
  
−
===Google Art and Machine Intelligence(AMI)===
+
* [https://github.com/anishathalye/neural-style neural-style]
−
Magenta [https://magenta.tensorflow.org/ TensorFlow_Magenta]
+
* [https://github.com/gcucurull/neural-art-transfer neural-art-transfer]
  
−
AMI [https://research.googleblog.com/2016/10/supercharging-style-transfer.html#1 google_AMI]
+
=== 成功案例 ===
  
−
===创业公司===
+
* [http://deepart.io DeepArt]
−
[http://deepart.io DeepArt]
+
* [https://magenta.tensorflow.org/ Magenta]
 +
* [https://research.googleblog.com/2016/10/supercharging-style-transfer.html Supercharging Style Transfer]
 +
 
 +
=== 作业完成 ===
  
−
===作业完成===
 
 
第1组、第2组、第3组、第5组
 
第1组、第2组、第3组、第5组
  
 
第4组和第6组（缺）
 
第4组和第6组（缺）
  
−
==项目8-机器学习和大数据分析（Azure云）==
+
== 项目8-Azure云实践 ==
  
−
实验参考网址
+
'''实验参考网址'''
−
[https://aka.ms/Tsinghua-WorkShop ML_BD_code]
+
[https://github.com/yw346090249/Tsinghua-WorkShop WorkShop]
  
−
*按照实验指导，一步步完成两个随堂作业。
+
=== 机器学习 ===
−
===机器学习===
+
−
（1） 手写字体分类；
+
  
−
*Exercise 1: Create a Machine Learning experiment
+
实验1 手写数字识别
−
*Exercise 2: Upload a dataset
+
[https://github.com/yw346090249/Tsinghua-WorkShop/tree/master/Machine%20Learning Machine_Learning]
−
*Exercise 3: Train a classification model
+
−
*Exercise 4: Score the model
+
−
*Exercise 5: Deploy the model as a Web service
+
  
−
实验1 过程说明 [https://github.com/yw346090249/Tsinghua-WorkShop/tree/master/Machine%20Learning Machine_Learning]
+
步骤：
  
−
===大数据分析===
+
# Create a Machine Learning experiment
−
（2）spark集群实验；
+
# Upload a dataset
 +
# Train a classification model
 +
# Score the model
 +
# Deploy the model as a Web service
  
−
*Exercise 1: Create a Spark cluster on HDInsight
+
=== 大数据分析 ===
−
*Exercise 2: Upload Jupyter notebooks to the cluster
+
−
*Exercise 3: Work with Jupyter notebooks
+
−
*Exercise 4: Interactively explore data in Spark
+
−
*Exercise 5: Use Jupyter to develop a machine-learning model
+
−
*Exercise 6: Remove the HDInsight Spark cluster
+
  
−
实验2 过程说明 [https://github.com/yw346090249/Tsinghua-WorkShop/tree/master/HDInsight HDInsight]
+
实验2 Spark集群实验
 +
[https://github.com/yw346090249/Tsinghua-WorkShop/tree/master/HDInsight HDInsight]
  
−
==项目9-增强学习实验==
+
步骤：
 +
 
 +
# Create a Spark cluster on HDInsight
 +
# Upload Jupyter notebooks to the cluster
 +
# Work with Jupyter notebooks
 +
# Interactively explore data in Spark
 +
# Use Jupyter to develop a machine-learning model
 +
# Remove the HDInsight Spark cluster
 +
 
 +
== 项目9-增强学习 ==
 +
 
 +
=== 论文 ===
  
−
===论文===
 
 
Value Iteration Networks
 
Value Iteration Networks
 
[https://papers.nips.cc/paper/6046-value-iteration-networks VIN]
 
[https://papers.nips.cc/paper/6046-value-iteration-networks VIN]
  
−
===实验===
+
=== 实验 ===
−
Value Iteration Networks in TensorFlow
+
  
−
[https://github.com/TheAbhiKumar/tensorflow-value-iteration-networks VIN_code]
+
Value Iteration Networks in TensorFlow
−
 
+
[https://github.com/TheAbhiKumar/tensorflow-value-iteration-networks VIN_Code]
−
=数字化出版=
+
−
[http://www.madoko.net Madoko]
+

2017年1月25日 (三) 17:16的版本

目标

构建可以实用化的人工智能云服务。

平台：云平台/GPU工作站

准备工作

携带笔记本，智能手机或平板

Azure云平台

Flask-Web服务器搭建

项目1-大数据索引

描述

任务：基于位图索引的概念和原理，用C++实现一个位图索引数据库。

检验：完成对一段网流数据的索引建立，查询。在虚拟机上运行成功，得到正确结果。

网流数据：\\166.111.134.110\team-saturn\网流数据

代码托管：GitLab

时间：10月7日中午12点之前（特殊情况，推迟一周）(校历第四周)

组织：以组为单位，要求看到所有同学的贡献。

作业提交

[[Group1]] [[Group2]] [[Group3]] [[Group4]]
[[Group5]] [[Group6]] [[Group7]] [[Group8]]

项目2-Lucida使用

Lucida安装

每组在清华工业云平台上安装Lucida软件

时间：10月26日下周三中午12点之前。（校历第七周）

Lucida使用

每组熟悉了解Lucida的一种AI服务的实现原理

Lucida使用

项目3-TensorFlow/Keras实践

作业1_TensorFlow

  1. 阅读深度学习教程 Deep Learning
  2. 安装Google TensorFlow
  3. 完成TensorFlow网站上 Get Started
  4. 测试实验：MNIST For ML Beginners

时间：11月2日中午12点（校历第八周）

作业2_Keras

  1. 安装Keras（Deep Learning library for Theano and TensorFlow）
  2. 测试实验：elixir

时间：11月23日晚上24点（校历第十一周）

项目4-云＋端整合

时间：11月9日中午12点（校历第九周）（特殊情况，延长一周）

Thrift协议

Thrift

Client端

  1. 调用摄像头拍照
  2. 调用Thrift接口发送图片

Server端

  1. 接收图片文件
  2. 调用服务端程序

参考资料

项目5-机器智能

描述

完成一个可展示的人工智能系统

步骤：

  1. 设置Azure虚拟机
  2. 搭建Flask-Web服务
  3. 建立AI服务（Google TensorFlow）
  4. 智能端开发（移动平台、嵌入式硬件）+ Thrift协议联调

参考： Lucida-AI

成果展示

AI云

项目6-ChatBot开发

基于微软BotFramework和LUIS自然语言理解API，设计并实现具有实用场景的智能机器人对话服务。

流程

a. 动手实验：根据微软提供的文档，一步一步搭建一个简单的智能机器人，并将Code上传Azure，或者直接将微软提供的Sample Code上传Azure，发布成Web App，并和Skype或者Web结合（时间1.5小时）

b. 参赛者设计自己的智能对话机器人应用场景和功能，并设想可能的解决方案，并做报告（时间1.5小时）

c. 初步实现参赛者设计的Bot的核心功能和主要场景（时间5小时）

微软会提供两个版本的Sample Code，分别是C#和Node.js版本，选手可以根据此Code修改为自己设计的智能对话机器人，或者重新创建设计新的智能对话机器人

d. 报告：展示自己设计实现的智能对话机器人（时间10分钟）

参考

项目7-NeuralArt实践

Neural Art，神经网络艺术

研读论文

代码实现

成功案例

作业完成

第1组、第2组、第3组、第5组

第4组和第6组（缺）

项目8-Azure云实践

实验参考网址 WorkShop

机器学习

实验1 手写数字识别 Machine_Learning

步骤：

  1. Create a Machine Learning experiment
  2. Upload a dataset
  3. Train a classification model
  4. Score the model
  5. Deploy the model as a Web service

大数据分析

实验2 Spark集群实验 HDInsight

步骤：

  1. Create a Spark cluster on HDInsight
  2. Upload Jupyter notebooks to the cluster
  3. Work with Jupyter notebooks
  4. Interactively explore data in Spark
  5. Use Jupyter to develop a machine-learning model
  6. Remove the HDInsight Spark cluster

项目9-增强学习

论文

Value Iteration Networks VIN

实验

Value Iteration Networks in TensorFlow VIN_Code

取自“http://wiki.icenter.tsinghua.edu.cn/icenterwiki/index.php?title=大数据智能-课程项目&oldid=41820”