虚拟现实技术与内容制作
版权申明
CC BY-NC-SA
教学说明
教学团队
互联网+实验室 | iNetLab
陈震 Zhen Chen 章屹松 王蓓蓓 马晓东 高英 王德宇
合作团队：一拍科技 乐视创景 HTC宏达电
助教：郑文勋
上课地点
李兆基科技大楼B438 讲课与上机操作 （电子工艺教学实验室）
李兆基科技大楼B342 VR内容开发 （互联网+实验室）
李兆基科技大楼B634 （VR体验室）
服务器
软件资源服务器
\\101.6.160.40 用户名/密码：test/test 目录 vrke1
课程作业服务器
\\101.6.160.2\vr 用户名/密码：vr/Vr123456
作业成果展示
作业上传地址：\\net.icenter.tsinghua.edu.cn 用户名／地址 vr／vr123456
VR技术定义
利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身历其境一般。
VR是目前全球公认的下一代计算平台。每一代计算平台的出现都给科技行业以及跟计算机、互联网相关的所有行业带来天翻地覆的变化。
虚拟现实技术概览
虚拟现实设备
HTC Vive
Vive 由 HTC 和 Valve 联合开发。借助精准的移动追踪和自然的操控手柄手势，体验空间定位游戏。借助前置摄像头，在需要时打量一下真实世界。无需摘下头戴装置即可打开应用程序和游戏。这是完全的沉浸式虚拟现实体验。 特色: 2015年3月2日巴塞罗拉世界移动通信大会（2015）举行期间，HTC发布消息推出了一款VR游戏头盔。这款头盔名为HTC Vive，屏幕刷新率为90Hz，搭配两个无线控制器，并具备手势追踪功能。
HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验：一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统（Lighthouse）。 在头显上，HTC Vive 开发者版采用了一块 OLED 屏幕 ，单眼有效分辨率为 1200 x 1080 ，双眼合并分辨率为 2160 x 1200。2K 分辨率大大降低了画面的颗粒感，用户几乎感觉不到纱门效应。并且能在佩戴眼镜的同时戴上头显，即使没有佩戴眼镜，400 度左右近视依然能清楚看到画面的细节。画面刷新率为 90Hz，今年 3 月份的数据显示延迟为 22ms，实际体验几乎零延迟，也不觉得恶心和眩晕。
控制器定位系统 Lighthouse采用的是Valve的专利，它不需要借助摄像头，而是靠激光和光敏传感器来确定运动物体的位置，也就是说HTC Vive允许用户在一定范围内走动。这是它与另外两大头显 Oculus Rift 和PS VR的最大区别。
Google Daydream
Google Daydream: 在 Google I/O 2016 上，Google VR 方面的负责人 Clay Bavor 表示，过去开发者们一共开发出了大约 5000 万款 VR 应用，他们认为移动 VR 才是 VR 的未来，于是推出了一个名为「Daydream」的 VR 平台。这个平台由三部分组成：核心的 Daydream-Ready 手机和其操作系统，配合手机使用的头盔和控制器，以及支持 Daydream 平台生态的应用。 特点: Daydream和Cardboard有一个共同点是都依靠移动操作系统——特别是Android，Daydream和Cardboard还有一个共同点是开放性，规格都是第三方能使用的。Daydream 将 VR 从底层到 UI 全部串联，在系统端保证 20ms 内的延迟性能和对开发者友好的系统优化。这一切虽然看起来很美，但实际上是理所应当：Gear VR 通过深度定制的 Android 系统，结合算法将延时降到 20 毫秒，成为当前体验最好的移动 VR 设备。紧接着一体机的风潮开始建立，摆脱了手机限制的一体机设备也同样能够达到 20 毫秒内的延时。 而 VR mode 的应用和 Google Play 部署 VR 也是 Google 在不久之后提供庞大用户平台的基本要求之一。Google 的 VR 控制器，虽然它依旧是采用了「手柄」的概念（与 HTC Vive 类似），但是它却不同于 HTC Vive 的基于 Base Station 的激光定位——一个独立的的手柄是如何能够与头显进行联动？
目前普遍的说法是这个控制器无法定位，只能测量转动信息。基于角度追踪的设备或许是 VR 移动控制器的最佳解决方案。今天的 I/O 大会上或许出现新的一体机或者移动 VR 盒子时，Google 却要指引开发者深挖交互和硬件性能。如今，无线手柄已然成为 VR 的最佳解决方案，有了这一模板的出现，在不久后，我们一定能见到类似的配件或者产品
Oculus Rift
Oculus rift : Oculus Rift 是一款为电子游戏设计的头戴式显示器。Oculus Rift具有两个目镜，每个目镜的分辨率为 640×800，双眼的视觉合并之后拥有 1280×800 的分辨率。并且具有陀螺仪控制的视角是这款游戏产品一大特色，这样一来，游戏的沉浸感大幅提升。Oculus Rift 可以通过 DVI、HDMI、micro USB 接口连接电脑或游戏机。Oculus Rift 是一款虚拟现实设备。2016年7月13日，Oculus宣布即将为所有预定Oculus Rift虚拟现实头盔的用户发货，并且所有工作将在2到4个工作日内完成。 特色：这是一款虚拟现实显示器，能够使使用者身体感官中“视觉”的部分如同进入游戏中，向 黑客帝国 中所展示的技术迈出了第一步。该设备以索尼HMZ系列为代表的头戴显示设备有较大区别，Oculus Rift 提供的是虚拟现实体验。戴上后几乎没有“屏幕”这个概念，用户看到的是整个世界。设备支持方面，开发者已有 Unity3D、Source引擎、虚幻4引擎提供官方开发支持。
Samsung GearVR
Gear VR: 是三星电子和Facebook旗下的虚拟现实设备公司Oculus VR共同推出新版的虚拟现实头盔。该产品于2015年9月24日推出, 需要与三星电子在2015年推出的Galaxy系列设备联合使用。2016年1月22日，Gear VR开售。与上一代产品Innovator相比，新一代的Gear VR重量减轻了22%，而且“更加舒适”。 Gear VR，是三星电子和Facebook旗下的虚拟现实设备公司Oculus VR共同推出新版的虚拟现实头盔。该产品于2015年9月24日推出，需要与三星电子在2015年推出的Galaxy系列设备联合使用.
Gear VR包括了一个触控板、一个后置按钮和监测加速和陀螺仪位置的运动传感器。不过该设备依旧需要智能手机的高清晰屏幕进行配合。 智能手机通过Micro USB接口被连接到头盔上。
乐视超级 VR
乐视超级VR: 乐视超级头盔的外观还是近似于目前常见的VR(虚拟现实)眼镜那般，包含了带有显示模块的主机、头带以及连接线三部分，前面的渐变荧光色的使用让乐视超级头盔看上去更像是一副滑雪护目镜。乐视超级头盔的尺寸是173.4*114.8*94.6mm，放进普通的双肩包还是很简单的。在连接线的旁边就是3.5mm的耳机接孔，当乐视超级头盔连接上手机播放视频时，用户就可以直接通过乐视超级头盔链接音响设备了。而这条连接线则是在末端分为两条，一条是Type-C接口，负责链接乐视超级手机，另一条则是USB线，负责供电。
值得一提的是，相对于乐视超级头盔体积的编写，这条供电的USB线支持5V供电，也就是说你可以使用手机充电器、移动电源等常见设备为其供电，算是便携性的一个加成。 注：目前乐视超级头盔的测试版，接口为Type-C，仅支持乐视超级手机。而Micro USB版本正在开发当中，基础上将支持所有第三方手机。
PlayStation VR
全景VR制作
摄像器材
Cannon 6D，装配8.5mm鱼眼镜头,全景云台。
环物摄像技术
焦距选f/16，光圈选择为8mm,固定光圈，通过调整快门速度改变曝光；
实战拍摄
选定场地后，调整曝光和对焦，先选择自动对焦，找准对焦位置后轻轻长按快门同时改为手动对焦；然后实拍几张以确定正常拍摄的曝光值；
确定好后调整为HDR模式，共拍摄30张图片，水平60度分隔以HDR模式共拍摄6*3=18张。垂直90度分隔，拍摄2*3张。补地照片2*3=6张（水平夹角
60度侧补地和收起三脚架垂直补地）。注意挪动三脚架之前放好标记纸牌，拍摄补地照片前收回纸牌。
HDR模式拍摄顺序为正常，过曝光，欠曝光照片。
全景图制作
第一步，基于PTGui拼接全景图；
第二步，基于Krpanno生成浏览器预览VR版本，用手机浏览器在VR眼镜中观看。
PTGui
打开PTGui缝合软件，先导入24张HDR模式照片（不含补地照片），缝合后再导入3张侧补地照片，完成导入与link操作后进行mask操作和Control
Point对接。可以适当及进行垂直线与白平衡等内容的校正，预览无误后即可导出全景图片。 1 导入素材 进入软件页面，点击Load images ...按钮，导入要合成的一组全景图片，一般为24张，水平每60°一组三张，水平6组，天地各一组，
按顺序导入。
- 合并图像
- 添加补地
- 蒙板
- 关键控制点
- 蒙板、优化
- 生成全景图
- 保存图片
- 保存图片
Krpanno
主要是对vtour文件夹下的html和xml文档通过notepad++进行编程；具体操作可以参考krpano官网的相关事例教程，添加静态和动态图片视频音频 等内容，以及相关互动内容。需注意手机VR内容需要就陀螺仪控制程序进行相关处理。
全景视频VR
全景视频拍摄
摄像器材
高端全景摄像机：
NEXT VR, Upano J2VR, OZO （by Nokia）OZO, ODYSSEY+JUMP
中低端全景摄像机：
Gopro OMNI, 360 HEROS, 德图相机F4 Detu 完美幻境 Eyesir 4K VR全景相机 Eyesir
制作软件 Kolor autopanno Video Pro
1.缝合 AUP
2.精调 APG
全景视频拼接
第一步：视频软件拼接 Kolor autopanno Video Pro - 将不同摄像机中的视频导入软件 - 寻找视频的同步点。（拍摄时候的同步：最常用的如声音同步，或者快速旋转摄像头的图像同步，让拍摄物体短时间同时出现在几个摄像头中）
1. 在软件中人工手动寻找声音同步 2. 使用 Adobe Premiere Pro CC自动寻找同步， 把计算出来相差的帧数填入到autopanno Video Pro中
- 生成有地（三脚架）的拼接视频。
第二步： 视频缝合，地面（三脚架）处理软件 Kolor Autopano Giga
该软件用作图片的缝合处理。合理运用下述菜单： - 自动水平 - 垂直线条工具 - 自动颜色工具
对于地，可以采用photoshop 擦除三脚架。将ps好的地面截取出来后，导入Kolor Autopano Giga融合。
第三步： 生成最后视频 将第二步的输出导入到Kolor autopanno Video Pro，得到合成的视频。
实战拍摄
拍摄分为4组，每组一部摄像机。 分别使用了小蚁的六目相机,detu 4目,完美幻境摄像机. 每人的拍摄时长约为40秒钟.
全景视频剪辑和调色
1. 使用Adobe Premiere Pro CC软件进行视频的剪辑，在"序列"(sequence)窗口中导入素材（以及配乐），通过拖拽视频条,可以调整播放的位置,或者两个视频条部分重叠,另在"项目"窗口,选择合适视频过渡效果，比如3D, 划像,擦除等,达到两个视频内容叠化效果.
在效果的菜单里,有多种的剪辑方式可选,包括:
- 音频效果 - 音频过渡 - 视频效果 - 视频过渡 - 色调调整
还可以使用小行星的效果。
2. 全景视频的调色
在Adobe Premiere Pro CC中可以调色,相比较DaVinciResolve功能更全.
DaVinci 包含媒体,编辑,色彩,输出四大功能区. 素材导入到媒体池中,在编辑区拖入到时间序列.把时间条移到对应的视频区域,就可以进入色彩菜单进行调整.
- 节点调节 - 一级调色(全局),二级调色(局部) - 示波器(分量图,直方图,矢量图等)
HTC Vive VR实战
SteamVR
SteamVR是由Valve开发的VR应用平台，可以在Steam中下载。 安装SteamVR后，需要连接HTC Vive设备到PC，完成硬件识别和房间设置后才能使用HTC Vive。
Unity3D技术
在Unity3D中添加HTC vive支持
其支持是作为一个Assets包引入Unity的，下载地址为： Unity3d assetstore
默认需要在Unity中打开并下载，得到的文件会存放在Unity自己设定的目录中，无法直接获取。 具体的位置依系统不同而改变，应当使用搜索引擎获取具体位置。
在Unity项目中导入该Assets，在Unity项目的主视角摄像头上绑定该包提供的Steam_Camera脚本，就可以实现视角和头盔的绑定。这样，一个最简单的VR项目就可以完成了。（手柄的互动等其他高级功能有待添加）
对于Unity没有经验的人可以参考这份文档： 超简Unity3D项目
它提供了一个从 安装Unity 到 建立简单的VR观察者项目的操作流程
参考文献
The VR Book: Human-Centered Design for Virtual Reality VR Book
Open Source Virtual Reality OSVR
课程分组
课程报告
第一周 全景图 VR VR-DEMO
