虚拟现实技术与内容制作

教学说明

教学团队

互联网+实验室 | iNetLab

SaturnLab

陈震 章屹松 王蓓蓓 马晓东 高英 王德宇

合作团队：一拍科技 乐视创景 HTC宏达电

助教：郑文勋

上课地点

李兆基科技大楼B438 讲课与上机操作 （电子工艺教学实验室）

李兆基科技大楼B342 VR内容开发 （互联网+实验室）

李兆基科技大楼B634 （VR体验室）

服务器

软件资源服务器

\\166.111.198.40 用户名/密码：test

课程作业服务器

\\166.111.192.2\vr 用户名/密码：vr/Vr123456

作业成果展示

http://net.icenter.tsinghua.edu.cn/vr-demo

VR技术定义

利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身历其境一般。

VR是目前全球公认的下一代计算平台。每一代计算平台的出现都给科技行业以及跟计算机、互联网相关的所有行业带来天翻地覆的变化。

全景VR制作

摄像器材

Cannon 6D，装配8.5mm鱼眼镜头,全景云台。

环物摄像技术

焦距选f/16，光圈选择为8mm,固定光圈，通过调整快门速度改变曝光；

实战拍摄

更换场地后，调整曝光和对焦，先选择自动对焦，找准对焦位置后轻轻长按快门同时改为手动对焦；然后实拍几张以确定正常拍摄的曝光值；

确定好后调整为HDR模式，共拍摄30张图片，水平60度分隔以HDR模式共拍摄6*3=18张。垂直90度分隔，拍摄2*3张。补地照片2*3=6张（水平夹角

60度侧补地和收起三脚架垂直补地）。注意挪动三脚架之前放好标记纸牌，拍摄补地照片前收回纸牌。

HDR模式拍摄顺序为正常，过曝光，欠曝光照片。

全景图制作

第一步，基于PTGui拼接全景图；

第二步，基于Krpanno生成浏览器预览VR版本，用手机浏览器在VR眼镜中观看。

PTGui

打开PTGui缝合软件，先导入24张HDR模式照片（不含补地照片），缝合后再导入3张侧补地照片，完成导入与link操作后进行mask操作和Control

Point对接。可以适当及进行垂直线与白平衡等内容的校正，预览无误后即可导出全景图片。

Krpanno

主要是对vtour文件夹下的html和xml文档通过notepad++进行编程；具体操作可以参考krpano官网的相关事例教程，添加静态和动态图片视频音频 等内容，以及相关互动内容。需注意手机VR内容需要就陀螺仪控制程序进行相关处理。

全景视频VR

全景视频拍摄

摄像器材

高端全景摄像机：

NEXT VR, Upano J2VR, OZO （by Nokia）[1], ODYSSEY+JUMP

中低端全景摄像机：

Gopro OMNI, 360 HEROS, 德图相机F4 Detu 完美幻境 Eyesir 4K VR全景相机 Eyesir

制作软件 Kolor autopanno Video Pro

1.缝合 AUP

2.精调 APG

全景视频拼接

第一步：视频软件拼接 Kolor autopanno Video Pro - 将不同摄像机中的视频导入软件 - 寻找视频的同步点。（拍摄时候的同步：最常用的如声音同步，或者快速旋转摄像头的图像同步，让拍摄物体短时间同时出现在几个摄像头中）

 1. 在软件中人工手动寻找声音同步
 2. 使用 Adobe Premiere Pro CC自动寻找同步， 把计算出来相差的帧数填入到autopanno Video Pro中

- 生成有地（三脚架）的拼接视频。

第二步： 视频缝合，地面（三脚架）处理软件 Kolor Autopano Giga

该软件用作图片的缝合处理。合理运用下述菜单： - 自动水平 - 垂直线条工具 - 自动颜色工具

对于地，可以采用photoshop 擦除三脚架。将ps好的地面截取出来后，导入Kolor Autopano Giga融合。

第三步： 生成最后视频 将第二步的输出导入到Kolor autopanno Video Pro，得到合成的视频。

HTC Vive VR实战

SteamVR

SteamVR是由Valve开发的VR应用平台，可以在Steam中下载。 安装SteamVR后，需要连接HTC Vive设备到PC，完成硬件识别和房间设置后才能使用HTC Vive。

在Unity3D中添加HTC vive支持

其支持是作为一个Assets包引入Unity的，下载地址为： Unity3d assetstore

默认需要在Unity中打开并下载，得到的文件会存放在Unity自己设定的目录中，无法直接获取。 具体的位置依系统不同而改变，应当使用搜索引擎获取具体位置。

在Unity项目中导入该Assets，在Unity项目的主视角摄像头上绑定该包提供的Steam_Camera脚本，就可以实现视角和头盔的绑定。这样，一个最简单的VR项目就可以完成了。（手柄的互动等其他高级功能有待添加）

对于Unity没有经验的人可以参考这份文档： 超简Unity3D项目

它提供了一个从 安装Unity 到 建立简单的VR观察者项目的操作流程

课程分组

第一组

分组1：高兴、赵瑞、王大为、赵丰

组长：王大为

带队老师：杨力、章屹松

第二组

分组2：夏世杰、柳荫、李登昊、王雅璇、张绳宸

组长：夏世杰

带队老师：白宇、马晓东

第三组

分组3：王开源、陈英杰、李卓婉、张钧尧

组长：王开源

带队老师：刘鑫、王蓓蓓

第四组

分组4：王佳杨、唐路明、苗雨菲、金晖

组长：王佳杨

带队老师：潘万龙、高英

课程报告

第一周 全景图 VR VR-DEMO

2015010910

第一周

     本周我们主要学习了VR全景图片的拍摄整理、后期处理以及通过HTML语言来进行效果添加。
     周一，周博士向我们介绍了VR领域的现状，随后杨力老师以佳能6D配合广角鱼眼镜头大郅为我们介绍了单反相机的最基本的使用方法；
     周二，杨老师继续讲解VR全景照片的拍照要领和实际注意事项，为我们细致地讲解了如何利用单反相机进行拍摄全景VR照片素材，包括拍天补地的一些细节问题；
     周三，杨老师带领我们第一组同学实地进行了三处地点的实景拍摄；
     周四，周博士讲解了如何利用PTGui软件来处理素材，包括利用蒙版来去掉相机支架，控制点的选择与缝隙的衔接等，并拼接成全景图片的方法，之后进行了实际操作，并现场答疑解惑进行指导；
     周五：上午，周博士讲解了利用krpano下利用HTML语言为全景图片添加交互元素，并进行了后期处理的实际操作，推荐了krpano官网的案例应用，并现场利用乐视VRcardbox和手机进行了个人作品体验。
           下午，我们第一组在B342对相应的PC进行了Unity的安装，并体验了其开发环境，并在夏世杰同学的帮助下，在HTC vive设备中体验了我们组自己的小成品。
     周末，利用krpano对自己的作品进行了后期处理，包括添加了指南针，音乐热点，图片说明热点，动态热点，视频热点，加载进度条等后期处理。

2015011093

第一周

在第一周里我了解了VR领域的现状，学习了实景VR的制作，并做出一个微小的作品。 具体来说，

         第一天，周博士向我们介绍了VR领域的现状，随后杨老师讲解了单反相机用于拍摄全景VR照片素材时的使用方法；
         第二天，杨老师继续讲解了单反相机的使用；
         第三天，同学们在老师带领下分为四组进行素材拍摄，每人拍摄了三个场景；
         第四天，周博士向同学们讲解了PTGui软件处理素材拼接成全景图片的方法并进行了实际操作；
         第五天，周博士向大家讲解了krpano下将全景图片展示并添加交互元素的方法并进行了实际操作。

整个制作过程环环相扣，必须始终保持精细才能做出好的作品。

第二周

在第二周里我们我们主要学习了动态的VR场景内容制作，并以小组为单位做作品。 具体来说，

         第一天，我们完成了实景VR的作品并分别进行了展示；
         第二天，田老师向我们讲解了Unity3D下VR场景的制作；
         第三天，韩老师向我们讲解了全景视频的拍摄以及素材的拼接；
         第四天，韩老师继续向我们讲解了全景视频的拍摄以及素材的拼接；
         第五天，我们分组进行了全景视频的拍摄和拼接，我们组使用了小蚁设备进行拍摄，利用avp,apg,Adobe Pr等软件处理了素材。

全景视频的操作较静态的全景图片难度高许多，使用的软件也更加复杂，遇到了一些无法理解的问题，但在老师们的帮助下都获得了较好的解决，感谢老师们！

2014010853

第一周

本周主要学习了运用单反相机实地拍摄，使用PTGui软件将多角度照片拼接成360°全景，并通过Krpano在场景中添加交互内容以增强用户体验。 我觉得VR实际上就是给用户提供全景影像，用户佩戴VR设备后可以有身临其境之感。因此这对VR素材的制作者提出了很高的要求。 我们这周接触的是比较基础的部分，但也遇到了不少棘手的问题，比如如何将8个角度的照片无缝拼接，如何将三脚架的图像抹去，如何在场景中添加交互内容。 这一周的学习很充实很愉快，既学到了新技能，又有了自己的作品。

2014012205

第一周

第一周主要学习了全景图的拍摄、PTgui中全景图的合成制作以及在krpano下漫游场景的制作和交互元素的添加。 感觉印象最深刻的是全景图的拍摄这一部分，因为之前并没有接触过摄影，刚开始听杨老师讲摄影的基本操作时感觉很迷，但同时也激发了自己渴 望去学习的兴趣，最后实地操作时更是感受到了摄影的乐趣，同时也逐渐发现这是门十分考究的技术活，是门艺术，想要真的拍出好的作品，不仅 需要娴熟的技艺，更要有构图等审美上的考究。 除此之外，全景图和漫游场景的制作让我从另一个角度感受到了编程的乐趣，最后做出能看的作品时感觉相当不错。

2015012927

第一周

第一周学习我们初步体验了vr设备，在此之后进行了全景图片的拍摄以及缝合制作，然后我们利用自己的全景照片，利用krpano进行HTML5的编程，做了自己的第一件vr作品。

在课程中时间是非常重要的环节。第一第二天 听了老师的讲解后，似乎心中对各个规程十分清楚，但在实拍中还是会遇到问题，有各种操作上的细节失误。也在老师的纠正下一一改正。

第四天的缝合操作也是对我们的图片质量的检验，果然也发现了各样的问题。不过整体还是满意的。

周五我们学习了krpano的操作，无图形界面的操作对于一个文科生来说还是有些陌生，并不了解HTML程序设计，在听课时会遇到一些阻力，并不能完全吸收每一步的知识。此时就需要不停的摸索，在这个过程中也锻炼了我们的学习能力，从官网上找信息，搜教程，不止步于课堂，大家也都做出了自己独具一格的效果。

希望在后面的学习里继续learning by doing

第二周

第一天我们继续完善了我们的vr作品，并进行了交流展示，看到大家在短时间内做出的效果，十分赞叹大家的学习能力。

第二天我们学习了unity3d软件，感到信息量有点大，很多内容并不能够完全吸收，由于对c#的陌生，代码部分并不能够记住，unity中很多复杂选项也并不是看一次就能熟知的。我们还需要在后续自己实践 体验，做东西才能学到更多的东西吧。

2014011249

第一周

在第一周的学习中，学会了全景图制作的流程。由于此前对于摄影以及图片的PS这些方面几乎没有接触，所以对于自己最终得到的素材很不满意。 但是一整套的流程走下来，让我们能够完成一些简单的全景图制作，收获很多。此外，摄影知识的部分，对于我这样的小白而言，很多都没有能够吸收理解，且在实际的操作过程中并没有用到那么多的知识，考虑到本课程的课时，建议可以在摄影部分只讲授相关内容。 在将自己得到的素材制作成可以观看的全景图片的过程，更多地需要自己的摸索。 同时，要制作出精美的作品，急需提高自己的PS等美工能力，在场景图片的制作和布局上才能更美观。

2014012801

第一周

在一周的课程中，我们从VR技术的基础知识和产业现状开始了解，在接下来的几天中陆续学习和实践了全景拍摄、全景图片缝合制作、html编程发布以及unity3d场景初步搭建等项目，短短的几天内学习掌握了许多实用的虚拟现实相关技术技能，并在周末时间运用所学制作完成了第一份创意作品，收获良多。值得一提的是，我们还运用课程提供的htc vive设备，实实在在获得了现有产品以及独立建模制作作品的体验观感，对于虚拟现实制作拥有了较为全面的初步认识和了解。 每一个学习阶段的任务对我来说都新鲜而有趣。对于代码编写零基础的我来说，html5编程与发布则特别是这样一个独具挑战的部分。在课程之余，我还特别从网络途径学习了html5相关基础知识，并立志今后在这一方面继续学习更多内容，让自己的作品更加丰富。除此之外，因为自己对于摄影和设计的一贯兴趣，我也一直满怀热情地学习着老师所介绍的摄影知识和3d建模知识。多位老师悉心而及时的指导为我们带来了许多的帮助，同学之间互相的讨论也帮助我解决了很多实际的问题。在这里，我要对这门课程的众多老师和同学表达我真诚的感谢。 本周的课程对于我来说，除了技术本身的学习和拓展，更重要的是为我打开了一种新鲜的思路。通过接触业界常用软件和技术，我可以了解到利用现有资源可以实现到的更多表现效果和形式。我一贯相信技术是为内容服务的，在掌握了技术之后，更重要的是我们如何运用技术表达和传播我们想要为大家呈现的内容。想法和创意必不可少。

2014011793

第一周

本周主要学习的是利用单反相机拍摄全景图、利用PTgui拼接全景图、利用krpano制作可观看的全景图。

1.拍摄时要注意先设置好光圈和快门速度，然后就一定不要再进行调整；拍摄时要注意三角架的位置，不要出现三角架在某些位置时掩盖住了地上的关键物品导致补地无法进行

2.PTgui拼接时，一定要足够准确地设置相似点，在某些位置拼接不好的情况下，可以选择这些位置来添加合适的相似点；也可以通过删除距离过远的相似点而添加距离近的相似点来进行。

3.krpano制作全景图时可以用插件实现额外的效果，比如下雪、多边形热点等；在制作时，要注意场景内热点的添加，可以加入一些富有新意的内容。

2013012178

第一周

本周主要学习全景图片的拍摄,拼接和场景漫游的制作.

2014010185

第一周

 ====第一周====
 本周主要是学习了360°全景图的拍摄、PTGui合成全景图与最终的使用krpano制作一个全景图浏览器的VR版本。可以说本周的学习是收获极大的。
 学习与作品制作过程记录如下：
 1.360°全景室外区域的拼贴上总会存在瓷砖地拼接要么模糊要么错位的现象，导致室外图失真较大，所以我最终没有使用室外图；
 2.krpano中主要的效果添加有小行星开场、背景音乐、左上方文字添加与雨雪效果。
 在krpano全景网页制作与展评中，我认识到像这样的面向客户的数字产品是技术与艺术的结合，但有时候有很创意的想法可以弥补技术上的不足，

像我就是前期的设计不是很有趣，再加上技术上不足，就不是很有亮点。

2014011858

第一周

礼拜一了解了VR技术的现状，以及拍摄相机的初步介绍，并且体验了“射箭”的快感；
礼拜二继续学习了拍全景的一些方法和注意事项，还是比较轻松的；
礼拜三室外实际拍摄照片，实践中出真知，在白老师的指导下，真正掌握了拍全景的技巧；
礼拜四进行图像处理，将各自的图片拼接处理成漂亮的全景照片；
礼拜五、六、日，学会了用手机以及VR眼镜切身体验VR场景，还学了一点用html处理的技术。

2014011078

第一周

   这一周先是学习了全景的拍摄，熟悉了如何使用单反进行HDR拍摄，以及该怎么补地。
 之后又学习了如果将拍好的图片导入到PTgui里面进行一些后期的处理，例如用补地的图
 片把三脚架去掉之类的。最后学习了如何利用krpano制作HTML中的VR场景。 
   在krpano的编写中，我将所有的箭头换成了比较显眼的动态箭头，在箭头上加上了文
 字提示，方便用户体验。并添加了两个平面视频。还添加了旋转一周自动进入下一场景的
 功能，并加上了一个bgm的开关按钮，以及在场景切换时添加了一个表示加载的热点。

jinhui

第一周

    通过本周课程，主要认识并学习了关于Vr全景图像的技术及相关知识。课程老师通过将内容
系统化的分解，按照实际流程一步步带领我们着手制作出有着自己小创意的全景漫游作品。下面
总结这一周学到的主要知识点及遇到问题的解决办法：
一、使用单反及云台等相关摄影器材，拍摄环物图像素材。
     遇到问题：1.细微部分虚焦  2.场景存在人物穿帮（会增加后期遮罩强度）
     解决办法：对焦拍摄主体或位置折中物体，再通过自动对焦配合。拍摄注意避免存在穿帮
              及反光或角度反光物体，注意躲影。
二、使用PTGui等软件进行图像拼接。
     遇到问题：导入补地图片无法完美拼接
     解决办法：注意导入新图片时点击“Align images”对其图像，并在补地图片勾选存在变形。
              如果边缘还拼接不好，适当增加图像边缘控制点。
三、使用krpano等软件对完成的全景图片制作漫游等效果。
     注意事项：1.热点箭头的空间位置合理化，便于VR的操作。
               2.添加LOGO不同位置注意透视关系。3.使用VR设备进行测试，添加的特殊效果
              是否能被设备正常播放

2014011149

第一周

   周一：VR现状和单反操作
   周二：全景拍摄和环物拍摄
   周三：实拍全景
   周四：全景图片缝合
   周五：html编程的VR制作
   周一：制作自己的VR项目
   8位老师，16位同学，每次遇到问题都可以立刻得到老师的帮助。全景拍摄和后期制作也是每位同学都可以得到实操的机会，这样实践的机会很是难得。

2014011084

第一周

第一周的学习充实而有趣。老师带我们深入了解VR技术的发展和应用前景，同时我们也有机会亲自实战VR全景照片的拍摄和拼接，最后收获了自己的作品。个人觉得比较难的部分是HTML和XML编程，因为不熟悉krpano软件的框架，所以做不出太炫的效果。但是，在自己手机上看到自己的作品的喜悦感是真实的。

对课程有一点小小的建议，希望老师能加入更多原理性的内容，而不要只停留在使用软件的层面。比如，如何将普通的3D场景转换成可以用VR眼睛观看的模式，全景视频是如何拼接的，我其实还是有点不太明白。

最开心的其实还是体验了一把HTC Vive设备，也希望课程能够增加更多Unity的内容。