“虚拟现实技术与内容制作”版本间的差异

来自iCenter Wiki
跳转至: 导航搜索
学习日志
 
(10位用户的61个中间修订版本未显示)
第1行: 第1行:
 +
=课号=
 +
 +
01510263
  
 
=教学说明=
 
=教学说明=
  
 
==教学团队==
 
==教学团队==
互联网+实验室 [http://net.icenter.tsinghua.edu.cn | iNetLab]
+
[[设计与原型实验室]]
 +
王德宇,金晖
  
[http://www.nslab-saturn.net SaturnLab]
+
[[互联网+实验室|智能系统实验室]]
  
陈震 [https://www.researchgate.net/profile/Zhen_Chen16/ Zhen Chen] 
+
陈震、章屹松、王蓓蓓、马晓东、高英
章屹松 王蓓蓓 马晓东 高英 王德宇
+
 
+
合作团队:一拍科技 乐视创景 HTC宏达电
+
 
+
助教:郑文勋
+
  
 
==上课地点==
 
==上课地点==
李兆基科技大楼B438 讲课与上机操作    (电子工艺教学实验室)
 
  
李兆基科技大楼B342 VR内容开发  (互联网+实验室)
+
李兆基科技大楼B137
 
+
李兆基科技大楼B634 (VR体验室)
+
  
 
==服务器==
 
==服务器==
 +
 
软件资源服务器
 
软件资源服务器
  
\\166.111.198.40    用户名/密码:test
+
本课程用到的软件和素材存放在服务器,使用方法,在资源管理器中,或Win+r(同时按下Win键和R键)调出运行命令窗口,写入以下内容:
 +
 
 +
\\101.6.160.40    用户名/密码:vr/vr123456    目录 vr\工程体验vr课程软件(素材)
  
 
课程作业服务器
 
课程作业服务器
  
\\166.111.192.2\vr   用户名/密码:vr/Vr123456
+
\\101.6.160.39\vrdemo   用户名/密码:vr/vr123456
 +
 
 +
作业上传地址
  
作业成果展示
+
\\net.icenter.tsinghua.edu.cn\vrdemo  用户名/密码:vr/vr123456
  
[http://net.icenter.tsinghua.edu.cn/vr-demo  vr-demo]
+
作业浏览地址
  
[http://net.icenter.tsinghua.edu.cn/vr-video  vr-video]
+
http://net.icenter.tsinghua.edu.cn/vr
  
=VR技术定义=
+
=虚拟现实技术概览=
利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界,提供用户关于视觉、听觉、触觉等感官的模拟,让用户如同身历其境一般。  
+
 
 +
==VR技术定义==
 +
 
 +
利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界,提供用户关于视觉、听觉、触觉等感官的模拟,让用户如同身历其境一般。
  
 
VR是目前全球公认的下一代计算平台。每一代计算平台的出现都给科技行业以及跟计算机、互联网相关的所有行业带来天翻地覆的变化。
 
VR是目前全球公认的下一代计算平台。每一代计算平台的出现都给科技行业以及跟计算机、互联网相关的所有行业带来天翻地覆的变化。
 
==虚拟现实技术概览==
 
  
 
==虚拟现实设备==
 
==虚拟现实设备==
  
 
===HTC Vive===
 
===HTC Vive===
    Vive 由 HTC 和 Valve 联合开发。Vive 结合了激情、天赋和创新,通过最一流的技术和内容实现了虚拟现实的承诺。借助精准的移动追踪和自然的操控手柄手势,体验空间定位游戏。借助前置摄像头,在需要时打量一下真实世界。无需摘下头戴装置即可打开应用程序和游戏。这是完全的沉浸式虚拟现实体验。
 
    特色: 2015年3月2日巴塞罗拉世界移动通信大会(2015)举行期间,HTC发布消息,HTC和VALVE合作推出了一款VR游戏头盔。这款头盔名为HTC Vive,屏幕刷新率为90Hz,搭配两个无线控制器,并具备手势追踪功能。
 
发布会上称,HTC Vive会在2015年春季推出开发者版本,而消费者版则会在2015年晚些时候上市。
 
HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验:一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。
 
在头显上,HTC Vive 开发者版采用了一块 OLED 屏幕 ,单眼有效分辨率为 1200 x 1080 ,双眼合并分辨率为 2160 x 1200。2K 分辨率大大降低了画面的颗粒感,用户几乎感觉不到纱门效应。并且能在佩戴眼镜的同时戴上头显,即使没有佩戴眼镜,400 度左右近视依然能清楚看到画面的细节。画面刷新率为 90Hz,今年 3 月份的数据显示延迟为 22ms,实际体验几乎零延迟,也不觉得恶心和眩晕。
 
控制器定位系统 Lighthouse采用的是Valve的专利,它不需要借助摄像头,而是靠激光和光敏传感器来确定运动物体的位置,也就是说HTC Vive允许用户在一定范围内走动。这是它与另外两大头显 Oculus Rift 和PS VR的最大区别。
 
  
===Google Daydream===
+
Vive由HTC和Valve联合开发。借助精准的移动追踪和自然的操控手柄手势,体验空间定位游戏。借助前置摄像头,在需要时打量一下真实世界。无需摘下头戴装置即可打开应用程序和游戏。这是完全的沉浸式虚拟现实体验。
  Google Daydream : 在 Google I/O 2016 上,Google VR 方面的负责人 Clay Bavor 表示,过去开发者们一共开发出了大约 5000 万款 VR 应用,他们认为移动 VR 才是 VR 的未来,于是推出了一个名为「Daydream」的 VR 平台。这个平台由三部分组成:核心的 Daydream-Ready 手机和其操作系统,配合手机使用的头盔和控制器,以及支持 Daydream 平台生态的应用。
+
    特点: Daydream和Cardboard有一个共同点是都依靠移动操作系统——特别是Android,Daydream和Cardboard还有一个共同点是开放性,规格都是第三方能使用的。Daydream 将 VR 从底层到 UI 全部串联,在系统端保证 20ms 内的延迟性能和对开发者友好的系统优化。这一切虽然看起来很美,但实际上是理所应当:Gear VR 通过深度定制的 Android 系统,结合算法将延时降到 20 毫秒,成为当前体验最好的移动 VR 设备。紧接着一体机的风潮开始建立,摆脱了手机限制的一体机设备也同样能够达到 20 毫秒内的延时。既然要发狠 VR 的 Daydream 优化性能合情合理。
+
而 VR mode 的应用和 Google Play 部署 VR 也是 Google 在不久之后提供庞大用户平台的基本要求之一。最让我惊讶的是 Google 的 VR 控制器,虽然它依旧是采用了「手柄」的概念(与 HTC Vive 类似),但是它却不同于 HTC Vive 的基于 Base Station 的激光定位——一个独立的的手柄是如何能够与头显进行联动?
+
目前普遍的说法是这个控制器无法定位,只能测量转动信息。基于角度追踪的设备或许是 VR 移动控制器的最佳解决方案。大家都猜测今天的 I/O 大会上或许出现新的一体机或者移动 VR 盒子时,Google 却要指引开发者深挖交互和硬件性能。如今,无线手柄已然成为 VR 的最佳解决方案,有了这一模板的出现,在不久后,我们一定能见到类似的配件或者产品
+
  
===Samsung GearVR===
+
2015年3月2日巴塞罗拉世界移动通信大会(2015)举行期间,HTC发布消息推出了一款VR游戏头盔。这款头盔名为HTC Vive,屏幕刷新率为90Hz,搭配两个无线控制器,并具备手势追踪功能。
  
===乐视超级 VR===
+
HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验:一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。
  
===Oculus Rift===
+
在头显上,HTC Vive开发者版采用了一块OLED屏幕,单眼有效分辨率为1200 x 1080,双眼合并分辨率为2160 x 1200。2K分辨率大大降低了画面的颗粒感,用户几乎感觉不到纱门效应;并且能在佩戴眼镜的同时戴上头显,即使没有佩戴眼镜,400度左右近视依然能清楚看到画面的细节。画面刷新率为90Hz,今年3月份的数据显示延迟为22ms,实际体验几乎零延迟,也不觉得恶心和眩晕。
  
 +
控制器定位系统Lighthouse采用的是Valve的专利,它不需要借助摄像头,而是靠激光和光敏传感器来确定运动物体的位置,也就是说HTC Vive允许用户在一定范围内走动。这是它与另外两大头显Oculus Rift和PS VR的最大区别。
  
 +
===Google Daydream===
  
=全景VR制作=
+
Google Daydream:在 Google I/O 2016上,Google VR方面的负责人Clay Bavor表示,过去开发者们一共开发出了大约5000万款VR应用,他们认为移动VR才是VR的未来,于是推出了一个名为「Daydream」的VR平台。这个平台由三部分组成:核心的Daydream-Ready手机和其操作系统,配合手机使用的头盔和控制器,以及支持Daydream平台生态的应用。
  
==摄像器材==
+
Daydream和Cardboard有一个共同点是都依靠移动操作系统——特别是Android;Daydream和Cardboard还有一个共同点是开放性,规格都是第三方能使用的。Daydream将VR从底层到UI全部串联,在系统端保证20ms内的延迟性能和对开发者友好的系统优化。这一切虽然看起来很美,但实际上是理所应当:Gear VR通过深度定制的Android系统,结合算法将延时降到20毫秒,成为当前体验最好的移动VR设备。紧接着一体机的风潮开始建立,摆脱了手机限制的一体机设备也同样能够达到20毫秒内的延时。
  
Cannon 6D,装配8.5mm鱼眼镜头,全景云台。
+
而VR mode的应用和Google Play部署VR也是Google在不久之后提供庞大用户平台的基本要求之一。Google的VR控制器,虽然它依旧是采用了「手柄」的概念(与HTC Vive类似),但是它却不同于HTC Vive的基于Base Station的激光定位——一个独立的的手柄是如何能够与头显进行联动?
  
==环物摄像技术==
+
目前普遍的说法是这个控制器无法定位,只能测量转动信息。基于角度追踪的设备或许是VR移动控制器的最佳解决方案。今天的I/O大会上或许出现新的一体机或者移动VR盒子时,Google却要指引开发者深挖交互和硬件性能。如今,无线手柄已然成为VR的最佳解决方案,有了这一模板的出现,在不久后,我们一定能见到类似的配件或者产品。
  
焦距选f/16,光圈选择为8mm,固定光圈,通过调整快门速度改变曝光;
+
===Oculus Rift===
  
 +
Oculus Rift是一款为电子游戏设计的头戴式显示器。Oculus Rift具有两个目镜,每个目镜的分辨率为640×800,双眼的视觉合并之后拥有1280×800的分辨率。并且具有陀螺仪控制的视角是这款游戏产品一大特色,这样一来,游戏的沉浸感大幅提升。Oculus Rift可以通过DVI、HDMI、Micro USB接口连接电脑或游戏机。Oculus Rift是一款虚拟现实设备。2016年7月13日,Oculus宣布即将为所有预定Oculus Rift虚拟现实头盔的用户发货,并且所有工作将在2到4个工作日内完成。
  
==实战拍摄==
+
特色:这是一款虚拟现实显示器,能够使使用者身体感官中“视觉”的部分如同进入游戏中,向《黑客帝国》中所展示的技术迈出了第一步。该设备与索尼HMZ系列为代表的头戴显示设备有较大区别,Oculus Rift提供的是虚拟现实体验,戴上后几乎没有“屏幕”这个概念,用户看到的是整个世界。设备支持方面,开发者已有Unity3D、Source引擎、虚幻4引擎提供官方开发支持。
  
选定场地后,调整曝光和对焦,先选择自动对焦,找准对焦位置后轻轻长按快门同时改为手动对焦;然后实拍几张以确定正常拍摄的曝光值;
+
===Samsung GearVR===
  
确定好后调整为HDR模式,共拍摄30张图片,水平60度分隔以HDR模式共拍摄6*3=18张。垂直90度分隔,拍摄2*3张。补地照片2*3=6张(水平夹角
+
Gear VR是三星电子和Facebook旗下的虚拟现实设备公司Oculus VR共同推出新版的虚拟现实头盔。该产品于2015年9月24日推出,需要与三星电子在2015年推出的Galaxy系列设备联合使用。2016年1月22日,Gear VR开售。与上一代产品Innovator相比,新一代的Gear VR重量减轻了22%,而且“更加舒适”。
  
60度侧补地和收起三脚架垂直补地)。注意挪动三脚架之前放好标记纸牌,拍摄补地照片前收回纸牌。
+
Gear VR包括了一个触控板、一个后置按钮和监测加速和陀螺仪位置的运动传感器。不过该设备依旧需要智能手机的高清晰屏幕进行配合。智能手机通过Micro USB接口被连接到头盔上。
  
HDR模式拍摄顺序为正常,过曝光,欠曝光照片。
+
===乐视超级 VR===
  
==全景图制作==
+
乐视超级VR:乐视超级头盔的外观还是近似于目前常见的VR眼镜那般,包含了带有显示模块的主机、头带以及连接线三部分,前面的渐变荧光色的使用让乐视超级头盔看上去更像是一副滑雪护目镜。乐视超级头盔的尺寸是173.4×114.8×94.6mm,放进普通的双肩包还是很简单的。在连接线的旁边就是3.5mm的耳机接孔,当乐视超级头盔连接上手机播放视频时,用户就可以直接通过乐视超级头盔连接音响设备了。而这条连接线则是在末端分为两条,一条是Type-C接口,负责链接乐视超级手机;另一条则是USB线,负责供电。
  
第一步,基于PTGui拼接全景图;
+
值得一提的是,相对于乐视超级头盔体积的便携,这条供电的USB线支持5V供电,也就是说你可以使用手机充电器、移动电源等常见设备为其供电,算是便携性的一个加成。
  
第二步,基于Krpanno生成浏览器预览VR版本,用手机浏览器在VR眼镜中观看。
+
注:目前乐视超级头盔的测试版,接口为Type-C,仅支持乐视超级手机。而Micro USB版本正在开发当中,基础上将支持所有第三方手机。
  
===PTGui===
+
===PlayStation VR===
  
打开PTGui缝合软件,先导入24张HDR模式照片(不含补地照片),缝合后再导入3张侧补地照片,完成导入与link操作后进行mask操作和Control
+
(待添加)
  
Point对接。可以适当及进行垂直线与白平衡等内容的校正,预览无误后即可导出全景图片。
+
=全景VR制作=
  
===Krpanno===
+
==摄像器材==
  
主要是对vtour文件夹下的html和xml文档通过notepad++进行编程;具体操作可以参考krpano官网的相关事例教程,添加静态和动态图片视频音频
+
Cannon 6D,装配8.5mm鱼眼镜头,全景云台。
等内容,以及相关互动内容。需注意手机VR内容需要就陀螺仪控制程序进行相关处理。
+
  
=全景视频VR=
+
==环物摄像技术==
  
 
+
焦距选f/16,光圈选择为8mm,固定光圈,通过调整快门速度改变曝光。
 
+
 
+
==全景视频拍摄==
+
 
+
摄像器材
+
 
+
高端全景摄像机:
+
 
+
NEXT VR,
+
Upano J2VR,
+
OZO (by Nokia)[https://ozo.nokia.com/ OZO],
+
ODYSSEY+JUMP
+
 
+
中低端全景摄像机:
+
 
+
Gopro OMNI,
+
360 HEROS,
+
德图相机F4 [http://cam.detu.com/zh/f4 Detu]
+
完美幻境 Eyesir 4K VR全景相机 [http://www.perfant.com/ Eyesir]
+
 
+
制作软件 Kolor autopanno Video Pro
+
 
+
 
+
1.缝合 AUP
+
 
+
2.精调 APG
+
 
+
==全景视频拼接==
+
 
+
第一步:视频软件拼接
+
Kolor autopanno Video Pro
+
- 将不同摄像机中的视频导入软件
+
- 寻找视频的同步点。(拍摄时候的同步:最常用的如声音同步,或者快速旋转摄像头的图像同步,让拍摄物体短时间同时出现在几个摄像头中)
+
  1. 在软件中人工手动寻找声音同步
+
  2. 使用 Adobe Premiere Pro CC自动寻找同步, 把计算出来相差的帧数填入到autopanno Video Pro中
+
-  生成有地(三脚架)的拼接视频。
+
 
+
第二步: 视频缝合,地面(三脚架)处理软件
+
Kolor Autopano Giga
+
 
+
该软件用作图片的缝合处理。合理运用下述菜单:
+
- 自动水平
+
- 垂直线条工具
+
- 自动颜色工具
+
 
+
对于地,可以采用photoshop 擦除三脚架。将ps好的地面截取出来后,导入Kolor Autopano Giga融合。
+
 
+
第三步: 生成最后视频
+
将第二步的输出导入到Kolor autopanno Video Pro,得到合成的视频。
+
  
 
==实战拍摄==
 
==实战拍摄==
  
拍摄分为4组,每组一部摄像机。
+
选定场地后,调整曝光和对焦。
分别使用了小蚁的六目相机,detu 4目,完美幻境摄像机. 每人的拍摄时长约为40秒钟.
+
  
==全景视频剪辑和调色==
+
先选择自动对焦,找准对焦位置后轻轻长按快门同时改为手动对焦;然后实拍几张以确定正常拍摄的曝光值;
  
1. 使用Adobe Premiere Pro CC软件进行视频的剪辑,在"序列"(sequence)窗口中导入素材(以及配乐),通过拖拽视频条,可以调整播放的位置,或者两个视频条部分重叠,另在"项目"窗口,选择合适视频过渡效果,比如3D, 划像,擦除等,达到两个视频内容叠化效果.
+
确定好后调整为HDR模式,共拍摄30张图片:
  
在效果的菜单里,有多种的剪辑方式可选,包括:
+
* 水平60度分隔以HDR模式共拍摄 6 * 3 = 18 张。
 +
* 垂直90度分隔,拍摄 2 * 3 = 6 张。
 +
* 补地照片 2 * 3 = 6 张(水平夹角60度侧补地和收起三脚架垂直补地)。注意挪动三脚架之前放好标记纸牌,拍摄补地照片前收回纸牌。
  
- 音频效果
+
HDR模式拍摄顺序为正常,过曝光,欠曝光照片。
- 音频过渡
+
- 视频效果
+
- 视频过渡
+
- 色调调整
+
  
还可以使用小行星的效果。
+
==全景图制作==
  
2. 全景视频的调色
+
第一步,基于PTGui拼接全景图;
  
在Adobe Premiere Pro CC中可以调色,相比较DaVinciResolve功能更全.
+
第二步,基于Krpanno生成浏览器预览VR版本,用手机浏览器在VR眼镜中观看。
  
DaVinci 包含媒体,编辑,色彩,输出四大功能区. 素材导入到媒体池中,在编辑区拖入到时间序列.把时间条移到对应的视频区域,就可以进入色彩菜单进行调整.
+
===PTGui===
  
- 节点调节
+
打开PTGui缝合软件,先导入24张HDR模式照片(不含补地照片),缝合后再导入3张侧补地照片,完成导入与link操作后进行mask操作和Control Point对接。可以适当及进行垂直线与白平衡等内容的校正,预览无误后即可导出全景图片。
- 一级调色(全局),二级调色(局部)
+
- 示波器(分量图,直方图,矢量图等)
+
  
=HTC Vive VR实战=
+
# 导入素材——进入软件页面,点击「Load images...」按钮,导入要合成的一组全景图片,一般为24张,水平每60°一组三张,水平6组,天地各一组,按顺序导入。
 +
[[文件:Ptgui1.jpg|500px|缩略图|居中|导入素材]]
  
==SteamVR==
+
# 对齐图像  选择Align images 按钮,将第一步导入的24个图像对齐拼接为一个全景图, 在弹出对话框中选择第一行
SteamVR是由Valve开发的VR应用平台,可以在Steam中下载。
+
安装SteamVR后,需要连接HTC Vive设备到PC,完成硬件识别和房间设置后才能使用HTC Vive。                         
+
  
==Unity3D技术==
 
  
 +
[[文件:Align.PNG|500px|缩略图|居中|对齐]]
  
==在Unity3D中添加HTC vive支持==
 
  
其支持是作为一个Assets包引入Unity的,下载地址为:
+
# 添加补地
[https://www.assetstore.unity3d.com/en/#!/content/32647 Unity3d assetstore]
+
# 蒙板
 +
# 关键控制点
 +
# 蒙板、优化
 +
# 生成全景图
 +
# 保存图片
  
默认需要在Unity中打开并下载,得到的文件会存放在Unity自己设定的目录中,无法直接获取。
 
具体的位置依系统不同而改变,应当使用搜索引擎获取具体位置。
 
  
在Unity项目中导入该Assets,在Unity项目的主视角摄像头上绑定该包提供的Steam_Camera脚本,就可以实现视角和头盔的绑定。这样,一个最简单的VR项目就可以完成了。(手柄的互动等其他高级功能有待添加)
 
  
对于Unity没有经验的人可以参考这份文档:
+
[[文件:Mask.PNG|500px|缩略图|居中|Mask Point]]
[http://oa6msg2ci.bkt.clouddn.com/%E8%B6%85%E7%AE%80Unity%E9%A1%B9%E7%9B%AE.docx 超简Unity3D项目]
+
  
它提供了一个从 安装Unity 到 建立简单的VR观察者项目的操作流程
+
[[文件:Opt2.png|缩略图|居中|擦除蒙版]]
  
 +
[[文件:Ptgui22.jpg|500px|缩略图|居中|保存图片]]
  
 +
===Krpano===
  
=参考文献=
+
Krpano是一个可以方便的将全景图制作成其他形式图片的工具,以.bat批处理的形式提供转换,方法是将要转换的图片,直接拖拽到相应的程序即可。
The VR Book: Human-Centered Design for Virtual Reality
+
[http://dl.acm.org/citation.cfm?id=2792790 VR Book]
+
  
Open Source Virtual Reality
+
PANO指的是标准全景;
[https://osvr.github.io OSVR]
+
VTOUR是全景漫游;
 +
MULTIRES指的是渐进分辨率,没有尺寸及像素限制;
 +
NORMAL是生成尺寸最大为2200的标准全景图;
  
 +
实现特效主要是对vtour文件夹下的html和xml文档通过notepad++进行编程;
  
 +
具体操作可以参考krpano官网的相关事例教程,添加静态和动态图片视频音频等内容,以及相关互动内容。
  
=课程分组=
+
需注意手机VR内容需要就陀螺仪控制程序进行相关处理。
  
==第一组==
+
通过以上方法生成的文件存放在图片目录下的Vtour目录中,可以将这个目录上传到服务器,放在\\101.6.160.39\vrdemo\  目录下,并且将默认的文件名tour.html,改名为index.html,就可以通透实验室主页观看你的作品了。
分组1:高兴、赵瑞、王大为、赵丰
+
  
组长:王大为
+
作业上传地址
  
带队老师:杨力、章屹松
+
\\net.icenter.tsinghua.edu.cn\vrdemo 用户名/密码:vr/vr123456
  
===Unity3D项目简介===
+
作业浏览地址
  
我们第一组制作游戏的主要内容是可在HTC vive上实际操作的3DFPS射击游戏。我和赵丰主要是利用老师所怎送的书籍进行关于FPS游戏的主要脚本工作以及图像环境包括skybox等的相关处理,同时我们组的赵丰通过结合大量网上资料对将HTC vive的及控制脚本进行了系统的处理,使得该游戏能够在HTC vive的硬件环境下进行处理。
+
http://net.icenter.tsinghua.edu.cn/vr
  
==第二组==
+
=全景视频VR=
分组2:夏世杰、柳荫、李登昊、王雅璇、张绳宸
+
  
组长:夏世杰
+
==全景视频拍摄==
  
带队老师:白宇、马晓东
+
===摄像器材===
  
===Unity3D项目简介===
+
高端全景摄像机:
我们组做了一个游戏:太空逃生。玩家需要在一个走廊内躲避泄露的能量球的同时维修泄漏点,被能量球击中多次则会死亡,维修所有泄漏点则胜利。(目前无法维修)
+
* NEXT VR
由于时间和精力所限,项目完成度不高。游戏本身只有一个关卡,而且模型、UI、音效和交互性等方面都比较简陋。然而,和小组成员一起做这个项目的过程是有趣的。
+
* Upano J2VR
 +
* OZO(by Nokia)[https://ozo.nokia.com/ OZO]
 +
* ODYSSEY + JUMP
  
==第三组==
+
中低端全景摄像机:
分组3:王开源、陈英杰、李卓婉、张钧尧
+
* Gopro OMNI
 +
* 360 HEROS
 +
* 德图相机F4 [http://cam.detu.com/zh/f4 Detu]
 +
* 完美幻境 Eyesir 4K VR全景相机 [http://www.perfant.com/ Eyesir]
  
组长:王开源
+
===制作软件===
  
带队老师:刘鑫、王蓓蓓
+
Kolor Autopano Video Pro
  
 +
# 缝合 AUP
 +
# 精调 APG
  
===Unity3D项目简介===
+
==全景视频拼接==
  
我们组主要运用了Unity3D软件所独有的工具制作了一个小场景。
+
'''第一步:视频软件拼接'''
我们首先制作了一个地形,并刷出高低不平的地势,接着在其上植树,然后设置了风,这样树木会随风摇动。我们还设置了天空盒,并在地势低处添加了河流。制作河流时我们用了Water4,但由于版本不兼容问题,在3楼的电脑上无法正常显示。
+
  
 +
Kolor Autopano Video Pro
  
 +
* 将不同摄像机中的视频导入软件
 +
* 寻找视频的同步点。(拍摄时候的同步:最常用的如声音同步,或者快速旋转摄像头的图像同步,让拍摄物体短时间同时出现在几个摄像头中)
 +
*# 在软件中人工手动寻找声音同步
 +
*# 使用Adobe Premiere Pro CC自动寻找同步,把计算出来相差的帧数填入到Kolor Autopano Video Pro中
 +
* 生成有地(三脚架)的拼接视频。
  
==第四组==
+
'''第二步:视频缝合'''
分组4:王佳杨、唐路明、苗雨菲、金晖
+
  
组长:王佳杨
+
地面(三脚架)处理软件:Kolor Autopano Giga
  
带队老师:潘万龙、高英
+
该软件用作图片的缝合处理。合理运用下述菜单:
 +
* 自动水平
 +
* 垂直线条工具
 +
* 自动颜色工具
  
===Unity3D项目简介===
+
对于地,可以采用PhotoShop擦除三脚架。将PS好的地面截取出来后,导入Kolor Autopano Giga融合。
  
我们提交的就是最初的简单unity项目。在布置完简单的场景后,借助于unity自带的asset store,导入了其他的模型元素布置了一个更为复杂的场景。同时通过C#脚本,可以使得模型进行简单的位移。
+
'''第三步:生成最后视频'''
本想在课后重现当时制作的场景并加以修改,但由于我自己的电脑上的unity版本有些问题,有些插件无法使用,所以没有去实现更精细化的设计。
+
  
=课程报告=
+
将第二步的输出导入到Kolor Autopano Video Pro,得到合成的视频。
  
第一周 全景图 VR    [http://net.icenter.tsinghua.edu.cn/vr-demo VR-DEMO]
+
==实战拍摄==
  
==2015010910==
+
拍摄分为4组,每组一部摄像机。
  
===第一周===
+
分别使用了小蚁的六目相机,detu 4目,完美幻境摄像机。
 
+
本周我们主要学习了VR全景图片的拍摄整理、后期处理以及通过HTML语言来进行效果添加。
+
  
周一,周博士向我们介绍了VR领域的现状,随后杨力老师以佳能6D配合广角鱼眼镜头大郅为我们介绍了单反相机的最基本的使用方法;
+
每人的拍摄时长约为40秒钟。
  
周二,杨老师继续讲解VR全景照片的拍照要领和实际注意事项,为我们细致地讲解了如何利用单反相机进行拍摄全景VR照片素材,包括拍天补地的一些细节问题;
+
==全景视频剪辑和调色==
  
周三,杨老师带领我们第一组同学实地进行了三处地点的实景拍摄;
+
===剪辑===
  
周四,周博士讲解了如何利用PTGui软件来处理素材,包括利用蒙版来去掉相机支架,控制点的选择与缝隙的衔接等,并拼接成全景图片的方法,之后进行了实际操作,并现场答疑解惑进行指导;
+
使用Adobe Premiere Pro CC软件进行视频的剪辑,在“序列”(sequence)窗口中导入素材(以及配乐),通过拖拽视频条,可以调整播放的位置,或者两个视频条部分重叠,另在“项目”窗口,选择合适视频过渡效果,比如3D、划像、擦除等,达到两个视频内容叠化效果。
  
周五:上午,周博士讲解了利用krpano下利用HTML语言为全景图片添加交互元素,并进行了后期处理的实际操作,推荐了krpano官网的案例应用,并现场利用乐视VRcardbox和手机进行了个人作品体验。下午,我们第一组在B342对相应的PC进行了Unity的安装,并体验了其开发环境,并在夏世杰同学的帮助下,在HTC vive设备中体验了我们组自己的小成品。
+
在效果的菜单里,有多种的剪辑方式可选,包括:
 +
* 音频效果
 +
* 音频过渡
 +
* 视频效果
 +
* 视频过渡
 +
* 色调调整
  
周末,利用krpano对自己的作品进行了后期处理,包括添加了指南针,音乐热点,图片说明热点,动态热点,视频热点,加载进度条等后期处理。
+
还可以使用小行星的效果。
  
 +
===调色===
  
===第二周===
+
在Adobe Premiere Pro CC中可以调色,相比较DaVinci Resolve功能更全。
  
周一,我们进行了VR全景图片的集中修改与展示,并上传到了课程服务器。
+
DaVinci包含媒体、编辑、色彩、输出四大功能区。素材导入到媒体池中,在编辑区拖入到时间序列。把时间条移到对应的视频区域,就可以进入色彩菜单进行调整。
  
周二,我们在Unity专业游戏开发工程师的指导下进一步熟悉了Unity 3D的开发环境,并对自己的PC安装了相关软。熟悉了其基本操作界面以及倒入相关的人物、环境设置等内容,并拷贝了一个基础压缩包文件,同时陈震老师赠与我们组两本Unity开发书籍,分别是清华大学出版社出版的《Unity 5实战——使用C#和Unity开发多平台游戏》和《Unity 3D游戏开发实战》。
+
* 节点调节
 +
* 一级调色(全局),二级调色(局部)
 +
* 示波器(分量图、直方图、矢量图等)
  
周三,我们开始了下一个本次课程的又一项主要内容——全景视频的制作上来。老师首先为我们讲解了全景视频的基本元素和当下最流行的拍摄工具,包括小蚁、DETU等。
+
=HTC Vive VR实战=
  
周四,我们具体学习了如何现有的拍摄素材进行处理加工,主要是利用avp(autopano video pro)、apg(autopano giga)进行素材视频的缝合,以及利用Adobe公司的Photoshop和premier进行相关辅助工作。并进行了premier软件的安装。
+
==SteamVR==
  
周五,我们组在章老师的带领下,利用detu拍摄器材在9003大楼门口进行了情景短片的拍摄,由高兴任编剧和导演,章老师、赵丰、高兴和我均参与到拍摄场景之中,随后我们在实验室在老师的指导下进行了任务分派和一些基本的后期制作。
+
SteamVR是由Valve开发的VR应用平台,可以在Steam中下载。
  
周日我和赵丰又在B342的实验室对我们组的Unity小游戏进行了相关调试,主要为配合在HTC VIVE上进行体验而添加了相关手柄操控的插件并进行了反复调试,已经初步实现了一些相关功能,并且有了一些游戏体验。
+
安装SteamVR后,需要连接HTC Vive设备到PC,完成硬件识别和房间设置后才能使用HTC Vive。
  
 +
==Unity3D技术==
  
 +
(待添加)
  
===第三周===
+
==在Unity3D中添加HTC Vive支持==
  
周一的话,因为我请假了,所以错过了韩老师关于PR的相关视频处理的操作讲解;
+
其支持是作为一个Assets包引入Unity的,下载地址为:
 +
[https://www.assetstore.unity3d.com/en/#!/content/32647 Unity3d assetstore]
  
周二,韩老师主要为我们细致的讲解了Davinci视频处理软件,并进行了实际操作。中午,正式结束了虚拟现实技术与内容制作这门课程,但下午我们又在B342进行了关于我们组Unity项目的实际展示,并在之后的个人PC上,完成了相关视频的一些简单的后期处理,包括对小组视频的整合和剪辑。
+
默认需要在Unity中打开并下载,得到的文件会存放在Unity自己设定的目录中,无法直接获取。具体的位置依系统不同而改变,应当使用搜索引擎获取具体位置。
  
==2015011093==
+
在Unity项目中导入该Assets,在Unity项目的主视角摄像头上绑定该包提供的Steam_Camera脚本,就可以实现视角和头盔的绑定。这样,一个最简单的VR项目就可以完成了。(手柄的互动等其他高级功能有待添加)
===第一周===
+
在第一周里我了解了VR领域的现状,学习了实景VR的制作,并做出一个微小的作品。
+
具体来说,
+
          第一天,周博士向我们介绍了VR领域的现状,随后杨老师讲解了单反相机用于拍摄全景VR照片素材时的使用方法;
+
          第二天,杨老师继续讲解了单反相机的使用;
+
          第三天,同学们在老师带领下分为四组进行素材拍摄,每人拍摄了三个场景;
+
          第四天,周博士向同学们讲解了PTGui软件处理素材拼接成全景图片的方法并进行了实际操作;
+
          第五天,周博士向大家讲解了krpano下将全景图片展示并添加交互元素的方法并进行了实际操作。
+
  
整个制作过程环环相扣,必须始终保持精细才能做出好的作品。
+
对于Unity没有经验的人可以参考这份文档:
===第二周===
+
[http://oa6msg2ci.bkt.clouddn.com/%E8%B6%85%E7%AE%80Unity%E9%A1%B9%E7%9B%AE.docx 超简Unity3D项目]
在第二周里我们主要学习了动态的VR场景内容制作,并以小组为单位做作品。
+
具体来说,
+
          第一天,我们完成了实景VR的作品并分别进行了展示;
+
          第二天,田老师向我们讲解了Unity3D下VR场景的制作;
+
          第三天,韩老师向我们讲解了全景视频的拍摄以及素材的拼接;
+
          第四天,韩老师继续向我们讲解了全景视频的拍摄以及素材的拼接;
+
          第五天,我们分组进行了全景视频的拍摄和拼接,我们组使用了小蚁设备进行拍摄,利用avp,apg,Adobe Pre等软件处理了素材。
+
  
全景视频的操作较静态的全景图片难度高许多,使用的软件也更加复杂,遇到了一些无法理解的问题,但在老师们的帮助下都获得了较好的解决,感谢老师们!
+
它提供了一个从「安装Unity」到「建立简单的VR观察者项目」的操作流程
===第三周===
+
在第三周里我们学习了视频的剪辑和调色。
+
具体来说,
+
        第一天韩老师向大家介绍了利用Pr进行视频剪辑;
+
        第二天韩老师向大家介绍了利用达芬奇进行调色和渲染。
+
因为教室里的电脑性能较差,视频的处理我做得较为简略粗糙。
+
  
==2014010853==
+
=课程分组=
===第一周===
+
<p>本周主要学习了运用单反相机实地拍摄,使用PTGui软件将多角度照片拼接成360°全景,并通过Krpano在场景中添加交互内容以增强用户体验。</p>
+
<p>我觉得VR实际上就是给用户提供全景影像,用户佩戴VR设备后可以有身临其境之感。因此这对VR素材的制作者提出了很高的要求。</p>
+
<p>我们这周接触的是比较基础的部分,但也遇到了不少棘手的问题,比如如何将8个角度的照片无缝拼接,如何将三脚架的图像抹去,如何在场景中添加交互内容。</p>
+
<p>这一周的学习很充实很愉快,既学到了新技能,又有了自己的作品。</p>
+
===第二周===
+
<p>本周主要学习了全景视频拍摄与制作。</p>
+
<p>拍摄全景视频需要用到有多个镜头的特殊设备,如Detu、小蚁、完美幻境等。完美幻境只有前后两个镜头,拍摄后画面内缝合,直接输出全景视频。Detu和小蚁拥有数个镜头,画面外缝合,即输出数个正常视频,由制作者进行缝合工作。</p>
+
<p>全景视频的缝合工作和全景图片的制作类似,但由于全景视频是动态的,经常出现有人在接缝处走动的情况,导致缺胳膊少腿的事故频发。所以我们在后期制作视频时需要特别注意接缝的位置。与制作全景图片不同,全景视频的补地完全是用PS的手段。</p>
+
<p>此外,我也初步接触了制作虚拟游戏场景的专业软件Unity3D。</p>
+
===第三周===
+
<p>本周主要学习了运用Adobe Premier和DaVinci Resolve进行视频的后期制作。</p>
+
<p>Adobe Premier俗称PR,是人们普遍运用的视频剪辑软件,我们可以将拍摄好的全景素材在PR里面剪辑成一段满意的成品视频。</p>
+
<p>DaVinci Resolve是一款专业的视频调色软件。我们通过相机拍到的素材由于户外光线的缘故,画面往往不尽人意,通过调色软件处理画面,可以将画面效果大大提升。</p>
+
<p>总之,这周虽然只有2天课,但学到的东西很丰富,尤其是PR和DaVinci,不仅可以用于这堂课,还能在学习生活中的各种方面使用到。</p>
+
  
==2014012205==
+
[[虚拟现实VR-课程分组 | 课程分组]]
  
===第一周===
+
=学习日志=
第一周主要学习了全景图的拍摄、PTgui中全景图的合成制作以及在krpano下漫游场景的制作和交互元素的添加。
+
感觉印象最深刻的是全景图的拍摄这一部分,因为之前并没有接触过摄影,刚开始听杨老师讲摄影的基本操作时感觉很迷,但同时也激发了自己渴
+
望去学习的兴趣,最后实地操作时更是感受到了摄影的乐趣,同时也逐渐发现这是门十分考究的技术活,是门艺术,想要真的拍出好的作品,不仅
+
需要娴熟的技艺,更要有构图等审美上的考究。
+
除此之外,全景图和漫游场景的制作让我从另一个角度感受到了编程的乐趣,最后做出能看的作品时感觉相当不错。
+
  
===第二周===
+
[[虚拟现实VR-学生学习日志 | 学习日志]]
这一周主要学习了全景视频的拍摄与缝合制作和Unity3d的初步使用,总的来说就是感觉内容十分丰富,但又过于繁杂,面面俱到也意味着面面不到,
+
所以总的来说感觉收获并没有第一周大,一方面是两位老师讲的时候都有些专注于自己的内容,而并没有给足一步一步细致的操作可以让我们来模仿,
+
另一方面也是因为进入第二周,自己的学习心态也有些懈怠,所以总体就是这样。
+
  
==2015012927==
+
[[虚拟现实VR-实验室探究课-学生学习日志 | 实验室探究课-学习日志]]
  
===第一周===
+
=成果展示=
第一周学习我们初步体验了vr设备,在此之后进行了全景图片的拍摄以及缝合制作,然后我们利用自己的全景照片,利用krpano进行HTML5的编程,做了自己的第一件vr作品。
+
  
在课程中时间是非常重要的环节。第一第二天 听了老师的讲解后,似乎心中对各个规程十分清楚,但在实拍中还是会遇到问题,有各种操作上的细节失误。也在老师的纠正下一一改正。
+
[http://net.icenter.tsinghua.edu.cn/vr iCenter-VR]
  
第四天的缝合操作也是对我们的图片质量的检验,果然也发现了各样的问题。不过整体还是满意的。
+
[http://net.icenter.tsinghua.edu.cn/vr/vr-demo VR-Demo]
  
周五我们学习了krpano的操作,无图形界面的操作对于一个文科生来说还是有些陌生,并不了解HTML程序设计,在听课时会遇到一些阻力,并不能完全吸收每一步的知识。此时就需要不停的摸索,在这个过程中也锻炼了我们的学习能力,从官网上找信息,搜教程,不止步于课堂,大家也都做出了自己独具一格的效果。
+
[http://net.icenter.tsinghua.edu.cn/vr/vr-video VR-Video]
  
希望在后面的学习里继续learning by doing
+
=参考文献=
  
 +
The VR Book: Human-Centered Design for Virtual Reality
 +
[http://dl.acm.org/citation.cfm?id=2792790 VR Book]
  
===第二周===
+
Open Source Virtual Reality
第一天我们继续完善了我们的vr作品,并进行了交流展示,看到大家在短时间内做出的效果,十分赞叹大家的学习能力。
+
[https://osvr.github.io OSVR]
 
+
第二天我们学习了unity3d软件,感到信息量有点大,很多内容并不能够完全吸收,由于对c#的陌生,代码部分并不能够记住,unity中很多复杂选项也并不是看一次就能熟知的。我们还需要在后续自己实践 体验,做东西才能学到更多的东西吧。
+
 
+
第三四五天韩老师带来的讲解让我们耳目一新。让我对于全景视频有了更深入的理解。全景视频颠覆了传统影视中的构图 以及故事表现方式。想要用全景视频的方式来表现一个新的故事还需要一番新的探索。韩老师带我们了解了全景视频的拍摄仪器以及他们的不同的区别。接着 老师进行了缝合软件的介绍。全景视频的缝合相比于全景图片的缝合更为复杂。我们学习使用了avp与apg软件。我认为比较熟悉的pr也有了更深的认识。接着韩老师带我们进行了全景视频的拍摄,我们交换了素材,分别缝合了自己的视频,完成了第一条全景视频的制作。
+
 
+
==2014011249==
+
 
+
===第一周===
+
在第一周的学习中,学会了全景图制作的流程。由于此前对于摄影以及图片的PS这些方面几乎没有接触,所以对于自己最终得到的素材很不满意。
+
但是一整套的流程走下来,让我们能够完成一些简单的全景图制作,收获很多。此外,摄影知识的部分,对于我这样的小白而言,很多都没有能够吸收理解,且在实际的操作过程中并没有用到那么多的知识,考虑到本课程的课时,建议可以在摄影部分只讲授相关内容。
+
在将自己得到的素材制作成可以观看的全景图片的过程,更多地需要自己的摸索。
+
同时,要制作出精美的作品,急需提高自己的PS等美工能力,在场景图片的制作和布局上才能更美观。
+
 
+
===第二周===
+
在第二周的学习中,我们首先巩固了第一周的学习成果,随后简单学习了unity的基本操作。在后三天中学习了全景视频的拍摄与缝合。
+
由于unity的学习内容较少,所以想要做出不错的项目还需要自己课后自学相关教学资料并实际操作实践。
+
全景视频的拍摄与缝合与第一周的内容较为相似,但是难度更大,且由于拍摄设备的限制,最终作品可能会存在很多缺陷,需要自己修改调整的地方要更多,擦地等操作也更为复杂。
+
自己在上周的实际操作中并没有能够得到自己满意的成果,还需要多加实践。也希望在以后的课程中能够多一些unity项目的实战。
+
 
+
===第三周===
+
在第三周的学习中,进一步学习了全景的编辑调整,学习了premiere和达芬奇软件的使用。
+
但是由于界面比较繁琐,在上课观看的过程中很多步骤没有看清楚,所以在自己实际操作的过程中还是有很多地方不太明白。
+
建议以后这样的课程可以让大家和老师的讲解同步操作,或者在一个简单的项目操作指南的指示下完成一次小的项目,这样的学习效果可能会更好。
+
 
+
==2014012801==
+
 
+
===第一周===
+
在一周的课程中,我们从VR技术的基础知识和产业现状开始了解,在接下来的几天中陆续学习和实践了全景拍摄、全景图片缝合制作、html编程发布以及unity3d场景初步搭建等项目,短短的几天内学习掌握了许多实用的虚拟现实相关技术技能,并在周末时间运用所学制作完成了第一份创意作品,收获良多。值得一提的是,我们还运用课程提供的htc vive设备,实实在在获得了现有产品以及独立建模制作作品的体验观感,对于虚拟现实制作拥有了较为全面的初步认识和了解。
+
每一个学习阶段的任务对我来说都新鲜而有趣。对于代码编写零基础的我来说,html5编程与发布则特别是这样一个独具挑战的部分。在课程之余,我还特别从网络途径学习了html5相关基础知识,并立志今后在这一方面继续学习更多内容,让自己的作品更加丰富。除此之外,因为自己对于摄影和设计的一贯兴趣,我也一直满怀热情地学习着老师所介绍的摄影知识和3d建模知识。多位老师悉心而及时的指导为我们带来了许多的帮助,同学之间互相的讨论也帮助我解决了很多实际的问题。在这里,我要对这门课程的众多老师和同学表达我真诚的感谢。
+
本周的课程对于我来说,除了技术本身的学习和拓展,更重要的是为我打开了一种新鲜的思路。通过接触业界常用软件和技术,我可以了解到利用现有资源可以实现到的更多表现效果和形式。我一贯相信技术是为内容服务的,在掌握了技术之后,更重要的是我们如何运用技术表达和传播我们想要为大家呈现的内容。想法和创意必不可少。
+
 
+
===第二周===
+
在第二周的课程进阶课程中,我们对于VR全景图片作业进行了最终的收尾和展示,并在接下来的几天中,陆续学习了基于Unity 3D的全景应用开发和全景视频制作这两项重要的学习内容。在关于上周作业的交流与展示中,我们看到了每个人的创意与发挥,多同学通过网上学习和自我摸索添加了许多有趣的插件与效果,这让我也认识到了了自己还可以继续提升的方向。这份作业最终可以发布在服务器上利用手机进行观看,这种便携式易分享的交互性更可以激励了我们不断完善这份作品。在Unity 3D这款软件的学习中,身为游戏开发工程师的老师为我们系统讲述了软件的基本操作方法和可以实现的诸多效果,看到自己喜爱的游戏正是由这套环境开发完成,我更体会到这款软件的强大之处。在全景视频拍摄与制作学习中,我体会到了其与全景图片拍摄和制作的相同点和不同点,体会到了实时动态拼接的难点所在。在了解了时下流行的拍摄工具盒基本的拍摄注意事项后,我们继续走出教室,利用一种目前操作较为复杂的拍摄工具小蚁,完成了一次亲历的时间拍摄活动。最后,我们利用自己拍摄的素材,初步拼接制作出了自己的全景风光视频。
+
在整个学习过程中,辅导老师们耐心地帮助我们不断安装调试软件,并分发图书辅助我们进行进一步的深入学习。
+
总结来看,这一周我最大的体会是,技术的学习有时候往往不是看到别人操作就能学会那么简单,很多事情必须要自己上手实践才会发现诸多问题。所以,除了多观察也要多动手。
+
 
+
===第三周===
+
最后一周两天的课程给我们这个阶段的学习一个完整的收尾,我们先后学习了视频剪辑和视频调色的相关知识,并运用这些技能将我们最后的作品 完整呈现,制作完成全景视频漫游网页版。
+
课程结束后,我们进行了大合影。这是一段很难忘的学习经历,相信在这里学习到的众多技能和知识能为我们今后的发展带来帮助,也感谢学校的平台给予我们这么好的机会和视野。
+
 
+
==2014011793==
+
 
+
===第一周===
+
 
+
本周主要学习的是利用单反相机拍摄全景图、利用PTgui拼接全景图、利用krpano制作可观看的全景图。
+
 
+
1.拍摄时要注意先设置好光圈和快门速度,然后就一定不要再进行调整;拍摄时要注意三角架的位置,不要出现三角架在某些位置时掩盖住了地上的关键物品导致补地无法进行
+
 
+
2.PTgui拼接时,一定要足够准确地设置相似点,在某些位置拼接不好的情况下,可以选择这些位置来添加合适的相似点;也可以通过删除距离过远的相似点而添加距离近的相似点来进行。
+
 
+
3.krpano制作全景图时可以用插件实现额外的效果,比如下雪、多边形热点等;在制作时,要注意场景内热点的添加,可以加入一些富有新意的内容。
+
 
+
===第二周===
+
 
+
首先讲评了上一周的全景图作业,大家的设计让我耳目一新,看到了许多有意思的创意。
+
 
+
本周主要学习的是全景视频的拍摄与制作。
+
 
+
1.拍摄全景需要用到特别的设备,如DETU、小蚁等。
+
 
+
2.拍摄好的全景视频要用到AVP和APG来进行同步和缝合。在视频同步的时候一般用晃动或者拍手声音来进行同步,可以通过PR来进行精细的同步。
+
 
+
3.学习了两款软件的具体使用方法,也学习了一些处理视频中瑕疵的方法,比如利用PS来除去三角架及进行补地。
+
 
+
==2013012178==
+
===第一周===
+
本周主要学习全景图片的拍摄,拼接和场景漫游的制作.
+
===第一周===
+
本周主要学习全景视频的拍摄,拼接和影视后期处理的基本知识.
+
 
+
==2014010185==
+
====第一周====
+
  本周主要是学习了360°全景图的拍摄、PTGui合成全景图与最终的使用krpano制作一个全景图浏览器的VR版本。可以说本周的学习是收获极大的。
+
  学习与作品制作过程记录如下:
+
  1.360°全景室外区域的拼贴上总会存在瓷砖地拼接要么模糊要么错位的现象,导致室外图失真较大,所以我最终没有使用室外图;
+
  2.krpano中主要的效果添加有小行星开场、背景音乐、左上方文字添加与雨雪效果。
+
  在krpano全景网页制作与展评中,我认识到像这样的面向客户的数字产品是技术与艺术的结合,但有时候有很创意的想法可以弥补技术上的不足,
+
像我就是前期的设计不是很有趣,再加上技术上不足,就不是很有亮点。
+
 
+
====第二周====
+
  本周学习主要分为三个阶段:
+
  1.上周vr全景图网页的展示讲评,在讲评过程中我出了一些小问题,但总体来说效果不错,我也非常惊讶于大家的脑洞;
+
  2.学习了一下unity 3d的建模操作,但是对我来说比较难,信息量很大;
+
  3.360°全景视频的拍摄与拼贴剪辑非常有趣,我们小组使用DETU设备在9003大楼拍摄了小型三幕剧情短片,目前只是完整渲染了而已,还没有进行精剪辑。
+
 
+
====第三周====
+
  本周继续上周拍摄的360°全景视频的后期缝合、剪辑与调色工作。
+
  主要遇到的问题有:
+
  1.缝合完进行擦地时avp与apg两个软件同步不好,导致在apg中pano图像已经擦地完成了,avp中的视频仍无法同步数据,后来反复重做,终于试验成功了一次;
+
  2.调色过程中的问题在于对于各种参数的调整都是纯凭感觉来的,很难说清是否比调整之前好;而且在使用遮挡工具时还多次闪退。
+
 
+
==2014011858==
+
 
+
===第一周===
+
 
+
礼拜一了解了VR技术的现状,以及拍摄相机的初步介绍,并且体验了“射箭”的快感;
+
礼拜二继续学习了拍全景的一些方法和注意事项,还是比较轻松的;
+
礼拜三室外实际拍摄照片,实践中出真知,在白老师的指导下,真正掌握了拍全景的技巧;
+
礼拜四进行图像处理,将各自的图片拼接处理成漂亮的全景照片;
+
礼拜五、六、日,学会了用手机以及VR眼镜切身体验VR场景,还学了一点用html处理的技术。
+
 
+
 
+
===第二周===
+
 
+
周一我们继续完成了简单的全景场景制作,增加了一些小的交互功能,并依次展示,我发现只要花些时间其实做得漂亮是不难的;
+
周二我们听了关于Unity 3D的使用介绍,其实也就是走马观花,真正掌握还需自己花时间学习;
+
周三和周四我们一直在听讲解关于制作全景视频,也一样,只是了解了大概,掌握的话仍须多实践;
+
周五我们出去拍摄了全景视频,回来后进行了缝合等操作,期待第三周继续。
+
 
+
 
+
===第三周===
+
 
+
周一复习了全景视频的缝合,并进行了擦地、融合等操作,初步了解了Adobe Premier的简单使用,大致可以做出全景视频;
+
周二了解了用Davinci软件进行视频的调色等,并把生成好的全景视频上传,小组成员协同完成Unity 3D项目,(夏同学、张同学技术甚高,佩服,)课程圆满结束。
+
 
+
==2014011078==
+
===第一周===
+
    这一周先是学习了全景的拍摄,熟悉了如何使用单反进行HDR拍摄,以及该怎么补地。
+
  之后又学习了如果将拍好的图片导入到PTgui里面进行一些后期的处理,例如用补地的图
+
  片把三脚架去掉之类的。最后学习了如何利用krpano制作HTML中的VR场景。
+
    在krpano的编写中,我将所有的箭头换成了比较显眼的动态箭头,在箭头上加上了文
+
  字提示,方便用户体验。并添加了两个平面视频。还添加了旋转一周自动进入下一场景的
+
  功能,并加上了一个bgm的开关按钮,以及在场景切换时添加了一个表示加载的热点。
+
===第二周===
+
    这一周先是接着上周的krpano全景漫游的教学,让我们动手尝试了制作了一个简单的
+
  全景场景,并依次展示。通过实践我发现krpano全景漫游的制作并不会很难,网上也有
+
  很多的教程。之后老师带着我们学习了一下unity3D的使用,在接下来的几天,小组的几
+
  个同学通过阅读参考书籍一起合作完成了一个简单的unity3D场景制作。最后,我们学习
+
  了全景视频的拍摄,以及使用avp和apg进行视频的缝合。当然在缝合过程中也遇到了各种
+
  各样的问题,但是最后都在老师的帮助下逐一解决了。
+
===第三周===
+
    很快VR课程就进入了尾声,最后的两天里,我们继续学习了全景视频的制作,
+
  掌握了如何利用pr对几段视频进行同步,以及利用avp和apg进行全景视频缝合。
+
  之后老师又教了我们如何使用达芬奇进行视频的调色,但是由于电脑配置有限,
+
  一直出现停止工作的情况,只能粗略的调了一下色。通过这两周多的课程学习,
+
  我对VR和全景有了更多的了解,也学习到了许多新的技能。在此,也感谢所有
+
  老师这段时间来的教导和付出!
+
 
+
==jinhui==
+
====第一周====
+
    通过本周课程,主要认识并学习了关于Vr全景图像的技术及相关知识。课程老师通过将内容
+
系统化的分解,按照实际流程一步步带领我们着手制作出有着自己小创意的全景漫游作品。下面
+
总结这一周学到的主要知识点及遇到问题的解决办法:
+
一、使用单反及云台等相关摄影器材,拍摄环物图像素材。
+
      遇到问题:1.细微部分虚焦  2.场景存在人物穿帮(会增加后期遮罩强度)
+
      解决办法:对焦拍摄主体或位置折中物体,再通过自动对焦配合。拍摄注意避免存在穿帮
+
              及反光或角度反光物体,注意躲影。
+
二、使用PTGui等软件进行图像拼接。
+
      遇到问题:导入补地图片无法完美拼接
+
      解决办法:注意导入新图片时点击“Align images”对其图像,并在补地图片勾选存在变形。
+
              如果边缘还拼接不好,适当增加图像边缘控制点。
+
三、使用krpano等软件对完成的全景图片制作漫游等效果。
+
      注意事项:1.热点箭头的空间位置合理化,便于VR的操作。
+
                2.添加LOGO不同位置注意透视关系。3.使用VR设备进行测试,添加的特殊效果
+
              是否能被设备正常播放
+
====第二周====
+
    通过本周课程,复习了上一阶段的全景漫游、了解unity基础操作及全景视频全流程制作。下面
+
总结第二周学到的主要知识点:
+
  一、完善上周全景漫游小作品,与同学沟通交流发现问题,并在老师帮助下完善最终作品并上台讲解。
+
  二、拍摄全景视频,着重记录:由于全景相机的视角问题所以构图结构很特殊,被老师总结为"高中低和远近。"
+
      拍摄注意问题:相机夹角避开拍摄主体,添加声音同步信号。
+
      文件整合问题:由于相机较多,所以注意文件导出及命名规整。
+
      缝合注意问题:视频同步,若软件不准可通过pr测出校准帧数并手动填写。补地:注意渲染帧大小。
+
 
+
==2014011149==
+
====第一周====
+
    第一周主要学习了全景图片的拍摄、缝合和网页制作。
+
    周一:讲解VR现状和单反操作
+
    周二:单反使用:全景拍摄和环物拍摄
+
    周三:使用设备进行实拍全景:canon6D + 全景云台
+
    周四:全景图片缝合软件的使用:PTGui
+
    周五:html编程的VR制作:KrPano
+
    第一周的课程给我留下了深刻的印象。8位老师,16位同学,每次遇到问题都可以立刻得到老师的帮助。全景拍摄和后期制作也是每位同学都可以得到实操的机会,这样实践的机会很是难得。
+
====第二周====
+
    这周主要学习了全景视频的拍摄和制作。
+
    周一:继续上周,制作VR全景图片网页。
+
    周二:学习unity 3D,并开始思考每组的unity 3D项目作业。
+
    周三:第一次学习全景视频的制作和拼接。
+
    周四:观看了几个例子,继续学习AVP和AVG软件的使用,以不好的素材练习拼接。
+
    周五:全景视频实际拍摄和缝合,但我们组使用的虚拟幻镜不需要缝合。
+
    周五下午小组进行了Unity 3D项目的制作,模仿书上坦克大战一节的场景设计。
+
    这周的内容与上一周相差不大,只是内容从图片变成了视频,但基本的操作都是一样的。
+
====第三周====
+
    周一:剪辑软件的使用:Adobe PRemiere
+
    周二:调色软件的使用:达芬奇调色
+
    感受:从视频制作开始,课程已经和VR关系不是很紧密了,很多方面都是普通视频制作的技巧,加上我原来对一般的视频制作略有了解,所以后两周学习的内容我已经比较熟悉,并没有太多的新鲜感。
+
    对课程的小建议:感觉整体课程涉及到的内容比较繁杂,可以给同学们更多选择的空间——不一定每一项内容都要从头到尾操作一遍交作业,而可以选择一两个自己感兴趣的内容,把它做精。
+
 
+
==2014011084==
+
 
+
===第一周===
+
 
+
第一周的学习充实而有趣。老师带我们深入了解VR技术的发展和应用前景,同时我们也有机会亲自实战VR全景照片的拍摄和拼接,最后收获了自己的作品。个人觉得比较难的部分是HTML和XML编程,因为不熟悉krpano软件的框架,所以做不出太炫的效果。但是,在自己手机上看到自己的作品的喜悦感是真实的。
+
 
+
对课程有一点小小的建议,希望老师能加入更多原理性的内容,而不要只停留在使用软件的层面。比如,如何将普通的3D场景转换成可以用VR眼睛观看的模式,全景视频是如何拼接的,我其实还是有点不太明白。
+
 
+
最开心的其实还是体验了一把HTC Vive设备,也希望课程能够增加更多Unity的内容。
+
 
+
==2014013300==
+
 
+
 
+
===第一周===
+
1.周一老师让我们初步了解了VR的行业现状<br />
+
2.周二我们学到了单反在VR制作中的作用<br />
+
3.周三进行了实拍,尝试了全景环拍<br />
+
4.周四完成了环拍图的拼接<br />
+
5.周五对网页编辑有了初步的了解,并尝试将环拍图转成网页浏览<br />
+
感谢老师让我们对全景VR体验的制作有了初步的探索,这样的机会很难得。
+
 
+
===第二周===
+
这周对VR的原型制作有了更加全面的理解,因为涉及了更多的东西,我们了解了unity3D,HTC,以及环拍视频的制作流程。<br />
+
我了解到了更多的可以对自己专业有帮助的方法以及知识,能够为自己所用就是实现了我对这门课的目标。
+

2019年8月7日 (三) 10:57的最后版本

课号

01510263

教学说明

教学团队

设计与原型实验室 王德宇,金晖

智能系统实验室

陈震、章屹松、王蓓蓓、马晓东、高英

上课地点

李兆基科技大楼B137

服务器

软件资源服务器

本课程用到的软件和素材存放在服务器,使用方法,在资源管理器中,或Win+r(同时按下Win键和R键)调出运行命令窗口,写入以下内容:

\\101.6.160.40 用户名/密码:vr/vr123456 目录 vr\工程体验vr课程软件(素材)

课程作业服务器

\\101.6.160.39\vrdemo 用户名/密码:vr/vr123456

作业上传地址

\\net.icenter.tsinghua.edu.cn\vrdemo 用户名/密码:vr/vr123456

作业浏览地址

http://net.icenter.tsinghua.edu.cn/vr

虚拟现实技术概览

VR技术定义

利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界,提供用户关于视觉、听觉、触觉等感官的模拟,让用户如同身历其境一般。

VR是目前全球公认的下一代计算平台。每一代计算平台的出现都给科技行业以及跟计算机、互联网相关的所有行业带来天翻地覆的变化。

虚拟现实设备

HTC Vive

Vive由HTC和Valve联合开发。借助精准的移动追踪和自然的操控手柄手势,体验空间定位游戏。借助前置摄像头,在需要时打量一下真实世界。无需摘下头戴装置即可打开应用程序和游戏。这是完全的沉浸式虚拟现实体验。

2015年3月2日巴塞罗拉世界移动通信大会(2015)举行期间,HTC发布消息推出了一款VR游戏头盔。这款头盔名为HTC Vive,屏幕刷新率为90Hz,搭配两个无线控制器,并具备手势追踪功能。

HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验:一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。

在头显上,HTC Vive开发者版采用了一块OLED屏幕,单眼有效分辨率为1200 x 1080,双眼合并分辨率为2160 x 1200。2K分辨率大大降低了画面的颗粒感,用户几乎感觉不到纱门效应;并且能在佩戴眼镜的同时戴上头显,即使没有佩戴眼镜,400度左右近视依然能清楚看到画面的细节。画面刷新率为90Hz,今年3月份的数据显示延迟为22ms,实际体验几乎零延迟,也不觉得恶心和眩晕。

控制器定位系统Lighthouse采用的是Valve的专利,它不需要借助摄像头,而是靠激光和光敏传感器来确定运动物体的位置,也就是说HTC Vive允许用户在一定范围内走动。这是它与另外两大头显Oculus Rift和PS VR的最大区别。

Google Daydream

Google Daydream:在 Google I/O 2016上,Google VR方面的负责人Clay Bavor表示,过去开发者们一共开发出了大约5000万款VR应用,他们认为移动VR才是VR的未来,于是推出了一个名为「Daydream」的VR平台。这个平台由三部分组成:核心的Daydream-Ready手机和其操作系统,配合手机使用的头盔和控制器,以及支持Daydream平台生态的应用。

Daydream和Cardboard有一个共同点是都依靠移动操作系统——特别是Android;Daydream和Cardboard还有一个共同点是开放性,规格都是第三方能使用的。Daydream将VR从底层到UI全部串联,在系统端保证20ms内的延迟性能和对开发者友好的系统优化。这一切虽然看起来很美,但实际上是理所应当:Gear VR通过深度定制的Android系统,结合算法将延时降到20毫秒,成为当前体验最好的移动VR设备。紧接着一体机的风潮开始建立,摆脱了手机限制的一体机设备也同样能够达到20毫秒内的延时。

而VR mode的应用和Google Play部署VR也是Google在不久之后提供庞大用户平台的基本要求之一。Google的VR控制器,虽然它依旧是采用了「手柄」的概念(与HTC Vive类似),但是它却不同于HTC Vive的基于Base Station的激光定位——一个独立的的手柄是如何能够与头显进行联动?

目前普遍的说法是这个控制器无法定位,只能测量转动信息。基于角度追踪的设备或许是VR移动控制器的最佳解决方案。今天的I/O大会上或许出现新的一体机或者移动VR盒子时,Google却要指引开发者深挖交互和硬件性能。如今,无线手柄已然成为VR的最佳解决方案,有了这一模板的出现,在不久后,我们一定能见到类似的配件或者产品。

Oculus Rift

Oculus Rift是一款为电子游戏设计的头戴式显示器。Oculus Rift具有两个目镜,每个目镜的分辨率为640×800,双眼的视觉合并之后拥有1280×800的分辨率。并且具有陀螺仪控制的视角是这款游戏产品一大特色,这样一来,游戏的沉浸感大幅提升。Oculus Rift可以通过DVI、HDMI、Micro USB接口连接电脑或游戏机。Oculus Rift是一款虚拟现实设备。2016年7月13日,Oculus宣布即将为所有预定Oculus Rift虚拟现实头盔的用户发货,并且所有工作将在2到4个工作日内完成。

特色:这是一款虚拟现实显示器,能够使使用者身体感官中“视觉”的部分如同进入游戏中,向《黑客帝国》中所展示的技术迈出了第一步。该设备与索尼HMZ系列为代表的头戴显示设备有较大区别,Oculus Rift提供的是虚拟现实体验,戴上后几乎没有“屏幕”这个概念,用户看到的是整个世界。设备支持方面,开发者已有Unity3D、Source引擎、虚幻4引擎提供官方开发支持。

Samsung GearVR

Gear VR是三星电子和Facebook旗下的虚拟现实设备公司Oculus VR共同推出新版的虚拟现实头盔。该产品于2015年9月24日推出,需要与三星电子在2015年推出的Galaxy系列设备联合使用。2016年1月22日,Gear VR开售。与上一代产品Innovator相比,新一代的Gear VR重量减轻了22%,而且“更加舒适”。

Gear VR包括了一个触控板、一个后置按钮和监测加速和陀螺仪位置的运动传感器。不过该设备依旧需要智能手机的高清晰屏幕进行配合。智能手机通过Micro USB接口被连接到头盔上。

乐视超级 VR

乐视超级VR:乐视超级头盔的外观还是近似于目前常见的VR眼镜那般,包含了带有显示模块的主机、头带以及连接线三部分,前面的渐变荧光色的使用让乐视超级头盔看上去更像是一副滑雪护目镜。乐视超级头盔的尺寸是173.4×114.8×94.6mm,放进普通的双肩包还是很简单的。在连接线的旁边就是3.5mm的耳机接孔,当乐视超级头盔连接上手机播放视频时,用户就可以直接通过乐视超级头盔连接音响设备了。而这条连接线则是在末端分为两条,一条是Type-C接口,负责链接乐视超级手机;另一条则是USB线,负责供电。

值得一提的是,相对于乐视超级头盔体积的便携,这条供电的USB线支持5V供电,也就是说你可以使用手机充电器、移动电源等常见设备为其供电,算是便携性的一个加成。

注:目前乐视超级头盔的测试版,接口为Type-C,仅支持乐视超级手机。而Micro USB版本正在开发当中,基础上将支持所有第三方手机。

PlayStation VR

(待添加)

全景VR制作

摄像器材

Cannon 6D,装配8.5mm鱼眼镜头,全景云台。

环物摄像技术

焦距选f/16,光圈选择为8mm,固定光圈,通过调整快门速度改变曝光。

实战拍摄

选定场地后,调整曝光和对焦。

先选择自动对焦,找准对焦位置后轻轻长按快门同时改为手动对焦;然后实拍几张以确定正常拍摄的曝光值;

确定好后调整为HDR模式,共拍摄30张图片:

  • 水平60度分隔以HDR模式共拍摄 6 * 3 = 18 张。
  • 垂直90度分隔,拍摄 2 * 3 = 6 张。
  • 补地照片 2 * 3 = 6 张(水平夹角60度侧补地和收起三脚架垂直补地)。注意挪动三脚架之前放好标记纸牌,拍摄补地照片前收回纸牌。

HDR模式拍摄顺序为正常,过曝光,欠曝光照片。

全景图制作

第一步,基于PTGui拼接全景图;

第二步,基于Krpanno生成浏览器预览VR版本,用手机浏览器在VR眼镜中观看。

PTGui

打开PTGui缝合软件,先导入24张HDR模式照片(不含补地照片),缝合后再导入3张侧补地照片,完成导入与link操作后进行mask操作和Control Point对接。可以适当及进行垂直线与白平衡等内容的校正,预览无误后即可导出全景图片。

  1. 导入素材——进入软件页面,点击「Load images...」按钮,导入要合成的一组全景图片,一般为24张,水平每60°一组三张,水平6组,天地各一组,按顺序导入。
导入素材
  1. 对齐图像 选择Align images 按钮,将第一步导入的24个图像对齐拼接为一个全景图, 在弹出对话框中选择第一行


对齐


  1. 添加补地
  2. 蒙板
  3. 关键控制点
  4. 蒙板、优化
  5. 生成全景图
  6. 保存图片


Mask Point
擦除蒙版
保存图片

Krpano

Krpano是一个可以方便的将全景图制作成其他形式图片的工具,以.bat批处理的形式提供转换,方法是将要转换的图片,直接拖拽到相应的程序即可。

PANO指的是标准全景;
VTOUR是全景漫游; 
MULTIRES指的是渐进分辨率,没有尺寸及像素限制;
NORMAL是生成尺寸最大为2200的标准全景图; 

实现特效主要是对vtour文件夹下的html和xml文档通过notepad++进行编程;

具体操作可以参考krpano官网的相关事例教程,添加静态和动态图片视频音频等内容,以及相关互动内容。

需注意手机VR内容需要就陀螺仪控制程序进行相关处理。

通过以上方法生成的文件存放在图片目录下的Vtour目录中,可以将这个目录上传到服务器,放在\\101.6.160.39\vrdemo\ 目录下,并且将默认的文件名tour.html,改名为index.html,就可以通透实验室主页观看你的作品了。

作业上传地址

\\net.icenter.tsinghua.edu.cn\vrdemo 用户名/密码:vr/vr123456

作业浏览地址

http://net.icenter.tsinghua.edu.cn/vr

全景视频VR

全景视频拍摄

摄像器材

高端全景摄像机:

  • NEXT VR
  • Upano J2VR
  • OZO(by Nokia)OZO
  • ODYSSEY + JUMP

中低端全景摄像机:

  • Gopro OMNI
  • 360 HEROS
  • 德图相机F4 Detu
  • 完美幻境 Eyesir 4K VR全景相机 Eyesir

制作软件

Kolor Autopano Video Pro

  1. 缝合 AUP
  2. 精调 APG

全景视频拼接

第一步:视频软件拼接

Kolor Autopano Video Pro

  • 将不同摄像机中的视频导入软件
  • 寻找视频的同步点。(拍摄时候的同步:最常用的如声音同步,或者快速旋转摄像头的图像同步,让拍摄物体短时间同时出现在几个摄像头中)
    1. 在软件中人工手动寻找声音同步
    2. 使用Adobe Premiere Pro CC自动寻找同步,把计算出来相差的帧数填入到Kolor Autopano Video Pro中
  • 生成有地(三脚架)的拼接视频。

第二步:视频缝合

地面(三脚架)处理软件:Kolor Autopano Giga

该软件用作图片的缝合处理。合理运用下述菜单:

  • 自动水平
  • 垂直线条工具
  • 自动颜色工具

对于地,可以采用PhotoShop擦除三脚架。将PS好的地面截取出来后,导入Kolor Autopano Giga融合。

第三步:生成最后视频

将第二步的输出导入到Kolor Autopano Video Pro,得到合成的视频。

实战拍摄

拍摄分为4组,每组一部摄像机。

分别使用了小蚁的六目相机,detu 4目,完美幻境摄像机。

每人的拍摄时长约为40秒钟。

全景视频剪辑和调色

剪辑

使用Adobe Premiere Pro CC软件进行视频的剪辑,在“序列”(sequence)窗口中导入素材(以及配乐),通过拖拽视频条,可以调整播放的位置,或者两个视频条部分重叠,另在“项目”窗口,选择合适视频过渡效果,比如3D、划像、擦除等,达到两个视频内容叠化效果。

在效果的菜单里,有多种的剪辑方式可选,包括:

  • 音频效果
  • 音频过渡
  • 视频效果
  • 视频过渡
  • 色调调整

还可以使用小行星的效果。

调色

在Adobe Premiere Pro CC中可以调色,相比较DaVinci Resolve功能更全。

DaVinci包含媒体、编辑、色彩、输出四大功能区。素材导入到媒体池中,在编辑区拖入到时间序列。把时间条移到对应的视频区域,就可以进入色彩菜单进行调整。

  • 节点调节
  • 一级调色(全局),二级调色(局部)
  • 示波器(分量图、直方图、矢量图等)

HTC Vive VR实战

SteamVR

SteamVR是由Valve开发的VR应用平台,可以在Steam中下载。

安装SteamVR后,需要连接HTC Vive设备到PC,完成硬件识别和房间设置后才能使用HTC Vive。

Unity3D技术

(待添加)

在Unity3D中添加HTC Vive支持

其支持是作为一个Assets包引入Unity的,下载地址为: Unity3d assetstore

默认需要在Unity中打开并下载,得到的文件会存放在Unity自己设定的目录中,无法直接获取。具体的位置依系统不同而改变,应当使用搜索引擎获取具体位置。

在Unity项目中导入该Assets,在Unity项目的主视角摄像头上绑定该包提供的Steam_Camera脚本,就可以实现视角和头盔的绑定。这样,一个最简单的VR项目就可以完成了。(手柄的互动等其他高级功能有待添加)

对于Unity没有经验的人可以参考这份文档: 超简Unity3D项目

它提供了一个从「安装Unity」到「建立简单的VR观察者项目」的操作流程

课程分组

课程分组

学习日志

学习日志

实验室探究课-学习日志

成果展示

iCenter-VR

VR-Demo

VR-Video

参考文献

The VR Book: Human-Centered Design for Virtual Reality VR Book

Open Source Virtual Reality OSVR