基于VR技术的“虚拟文化馆”交互融合设计

虚拟现实 (Virtual Reality,以下简称 VR) 的概念由 Jaron Lanier 在 1987 年首次明确提出,它能利用计算机技术通过图像、声音等其他知觉为用户营造身临其境的感受并提供了 非比寻常的交互体验。目前,虚拟现实技术已经成功应用于计算机图像处理技术、画面传感技术以及人工智能等多学科场景。2020 年这个必将载入史册的年份,在“宅”就是最大贡献的时下,“虚拟课堂”、“虚拟旅游”、 “虚拟直播”、“虚拟看房”等各种“虚拟业务” 的需求暴增。特别是一些商家推出的“虚拟看展”、“虚拟赏花”、“足不出户游景点” 等“虚拟旅游”业务,受到市场的热烈追捧。但通过大量调研发现市面上推出的 “虚拟旅游”的APP、小程序亦或是其他在线旅游平台(OTA)大多还是停留在图片、视频等传统资源上,交互模式单一、场景精度不高从而造成整体体验感不足,固然引力也不强。本文着重从项目出发分析基于VR 技术将 3D 图形显示与体感(Kinect)技术系统、虚拟现实头盔、洞穴式虚拟现实(Cave)技术系统等设备及多种技术融合进行交互设计及应用,从而在提高VR 技术立体交互性及高度沉浸性 等方面进行探索。

“虚拟文化馆”的交互融合

设计及应用 VR 技术的高度沉浸性、立体交互性让体验者犹如身临各种场景中。我们以“巢湖虚拟文化馆”项目为出发点,通过多种虚拟现实设备终端应用的构建与融合,进而达到让参观者足不出户即可畅游古城、探寻城市、传承文化的目的。虚拟文化体验馆由五大主题交互区域构成,每个区采用不同的技术融合,围绕主题进行表达和渲染 : 展馆导览区,主要采用大屏幕+3D体感 (Kinect)技术系统融合,构建体感虚拟现实的典型应用;大场景观影区,主要采用沉浸洞穴式虚拟现实(Cave)技术系统,包括立体显示、虚拟现实外围网络(VRPN: Virtual-Reality Peripheral Network)标准等技术实现,构建沉浸洞穴式虚拟现实典型应用;游戏娱乐区,主要采用HTC Vive(由HTC与Valve 联合开发的一款虚拟现实头戴式显示器)的虚拟现实头盔技术、局域网互联技术,构建联网协同的头戴式虚拟现实典型应用;动感场景游览区,主要采用9D(将视觉、听觉、嗅觉、触觉和动感完美地融为一体)动感座椅、VR 头盔技术,构建外驱型(连接电脑以实现场景共享)的典型应用;人物造型互动区,主要采用增强现实(AR)技术,在移动终端上进行部署应用,并建立与 “3D 打印工作室”互通的机制。虚拟现实体验内容以开放的形式进行设计打造,主题包括:文化馆综合导览、古文化传说历史背景交互观看、古文化传说战争故事虚拟体验、古文化传说古代场景沉浸游览、古文化传说人物造型AR 互动。每个主题与对应的虚拟现实环境配合,通过内容、技术、设备融合达到与众不同的交互体验效果。

虚拟现实体感技术在虚拟文化馆展馆

导览区的交互设计与应用导览区由虚拟光学姿态传感系统构建,集合光学传感定位、传感交互等技术,通过交互导览区的互动大屏,向参观者直观展现文化馆的整体布局,推介最佳游览路线。

洞穴式虚拟现实(Cave)技术在虚拟文化馆大场景观影区的交互设计与应用

大场景观影区基于沉浸洞穴式虚拟现实 (Cave)系统进行构建,集合虚拟现实外围 网络(VRPN)标准室内追踪、四缓冲(Quad buffer)立体渲染、异型屏幕变换、多通道拼 接融合、VR 交互动画控制、大场景渲染优化 等技术,并借助立体环幕显示与光学位置追 踪,将古巢湖历史非平面影像、3D动画、各种场景通过洞穴式虚拟现实(Cave)系统沉 浸交互体验,向参观者生动展示古巢湖的由来,真实感受巢湖历史文化。场景故事为观看者随着“导游”小机器 人的解说,坐在“时光机”中穿越至古城游览,沿途按预先确定的古城寻宝主线置身各种场景中探险体验,同时,沉浸式大场景洞穴式 虚拟现实(Cave)手柄可以在主线范围内做 一些小范围的移动旋转操作,以形成一定程度的交互浏览。

虚拟现实头盔及网络协同技术在虚拟文化馆协同游戏区的交互设计与应用

VR 头盔协同游戏区基于多人网络协同的 VR 系统构建,集合虚拟现实头盔、VR 场景优化、游戏人工智能(AI)、多人网络协同等技术,通过游戏区的虚拟现实头盔娱乐系统,在线多人互动体验“地方传说:抵御外敌、守卫古城”3D动画联机游戏,让体验者在娱乐中感受地方魅力,传承本地历史文化。场景结合古老传说中的战争故事,在多人协同联网的虚拟现实环境中,由六个体验者穿戴虚拟现实头盔设备扮演护城守卫,通过手柄模拟虚拟场景中的武器,联手抵御外邦的敌人攻占城池。

虚拟现实9D互动媒体应用技术在虚 拟文化馆动感场景游览区的交互设计与应用 9D 动感场景游览区基于9D互动媒体应 用技术系统。9D 技术主要是指通过声、光、影、水、雾、烟、互动(视觉、听觉、嗅觉、味觉、触觉)构建真实场景,集合姿态反馈控制、VR大场景构建、场景渲染优化、动画交互控制、虚拟粒子系统等技术,通过预设的 9D 动感座椅和虚拟现实头盔反馈系统,让参观者沉浸体验、感受古城沿途风景,加深体验者对该 地历史文化的理解。体验场景衔接一个故事情节,体验者(主角)带领队伍前往古城守卫家园。虚拟现实 头盔中显示沿途各种绚丽的路边景色,动感9D 座椅配合上升下降的俯仰感受避开树木、飞鸟等会有抖动、飞行等感觉。整个过程为预设的9D座椅和虚拟现实头盔互动体验融合设计和应用,以达到展示历史场景的目的。

移动终端增强现实技术在虚拟文化馆

人物造型互动区的交互设计与应用 人物造型互动区基于增强现实交互技术 系统构建,集合增强现实、图片识别、三维模型动态处理等技术,使用场馆内的设备, 或使用自己的智能设备,通过扫描以“守卫 古城”3D 人物角色为内容的 AR交互卡片, 向体验者展示地方人文特色如人物、习俗、 服装等。 通过平板电脑(或手机)对彩色AR卡片的扫描,在平板电脑(或手机)中显示相应 的人物三维模型,如扫描士兵卡片,则显示士兵三维模型,通过填色工具为模型上色着 装,规定时间内上色着装完毕,则可以领取3D打印工作室提供的相对应的3D打印模型。AR 识别卡包含守卫古城池传说故事中的人物和主线沿路场景:主角、守卫士兵、城中官员、官员亲信、外邦统领、古城楼、府衙、城外沿途风景等

基于VR 技术的虚拟文化馆构建,突破了传统虚拟现实头盔的单一模式,通过光学姿态传感、沉浸洞穴式虚拟现实、多人网络协同、9D互动媒体应用及移动终端交互等多种设备和技术的有机融合与应用,提升了用户的交互体验效果,对地方民间文化的传承和发扬以及对非物质文化遗产的持续研究不失为一 种有益的探索。但整个设计的开发成本较高,国内在此类项目上尚无统一构建标准与政策支持,特别是缺乏网络应用平台的有效支撑,使“云游”在线上实现困难重重,可复制性较低,推广力度不足。基于虚拟现实技术的文物数字化应用,是对我国悠久的文化历史以及珍贵的文物资源保护的一种独特表达。此外,虚拟现实技术在文化、教育、健康等领域特别是跨学科融合的应用都有巨大的发展空间。目前,将虚拟现实技术应用于医疗健康领域的研究已卓有成效,如利用虚拟现实暴露疗法辅助和治疗创后心理障碍(Posttraumatic Stress Disorder,PTSD)、恐高症、抑郁症等就是交互设计与视觉神经学以及心理学等多学科领域有机融合的具体应用。然而,虽然国外对于VR 的相关研究及成果更为丰富,但 VR 技术在国内的应用潜力不可估量,且必将对人类的生存和发展起着至关重要的作用。