20220605文献翻译——虚拟现实的可视化系统的回顾

摘要

近年来，快速发展的虚拟现实(VR)技术得到了越来越多的重视，学者和实践者一直在寻找有效的虚拟现实可视化技术。到目前为止，游戏技术的应用一直是重点。尽管可视化研究的兴趣和讨论越来越多，但在2D可视化向沉浸式可视化的过渡时期，可视化研究缺乏一个共同的基线。为此，本研究旨在提供一篇系统的文献综述，解释虚拟现实可视化的最新研究和未来趋势。研究框架是基于经验和理论的可视化工作。我们基于三个维度描述了综述文献:(a)与可视化背景和理论的联系，(b)虚拟现实可视化的评估和设计考虑，以及©实证研究。研究结果表明:(1)针对虚拟现实技术的标准指导原则的研究较少，且每一项研究都单独提供了一个框架或借鉴了传统二维可视化技术的研究成果;(2)由于可视化和虚拟现实的诸多优势，大多数研究倾向于使用游戏引擎;(3)虽然游戏引擎被广泛使用，但并不方便进行批判性的科学研究;(4)传统的统计可视化技术的3D版本，如条形图和散点图，仍然在数据可视化环境中常用。这一系统的回顾试图为文献添加一个清晰的画面，新兴的背景，不同的元素，以及他们的相互依赖。

1 简介

“可视化”这个词在被确立为一个科学领域之前就已经是一个超载的术语，并且在不同的语境中有着不同的含义。由于在沉浸式环境中可以呈现的可视化结构和类型非常多样化，沉浸式可视化被置于不同研究领域的融合中。在沉浸式环境中，数据可以通过3D模型、3D图形和图形、模拟和多种2D表示来表示。数据源可以是统计学、医学、计算机科学、遗产和许多其他的东西。它的范围包括与技术相关的领域，如多感官界面、交互、导航、协作方面、呈现技术和领域特定的主题。

没有一个明确的起始事件，可视化的历史包括围绕设计、目的或意图的主题收集的许多讨论。几何图表、天文表和导航图形被认为是第一次可视化尝试，该领域的突出主题根据时代的问题和兴趣领域的不同而不同。17世纪实际应用的增加与对物理测量的兴趣密切相关，这导致了更多的线形图、天文图形和地图。例如，第一张已知的天气图，埃德蒙·哈雷(Edmund Halley)绘制的气压与海拔之间的理论曲线，以及克里斯蒂安·惠更斯(Christian Huygens)绘制的“预期寿命与年龄”图都是在那个时代绘制的(Chen et al.， 2014)。除了实际应用的增加，随着社会数据的收集，人口和经济可视化在“政治算术”的方法中产生。“18世纪带来了新的领域和图形形式，比如抽象图表和专题制图。约瑟夫·普利斯特里制作了一个更方便的时间轴(1765年)和一个详细的历史图表(1769年)。随着基本形式的创造性组合，第一线图和条形图(1786年)，饼状图和圆图(1801年)被William Playfair发明，这些图形表示形式至今仍被广泛使用(Friendly, 2007年)。

今天使用的大多数数据表示形式是在19世纪随着统计图表的发展而形成的。随着官方和科学领域承认图形表示，图形分析被用于科学出版物和国家规划。查尔斯·约瑟夫·米纳德(Charles Joseph Minard)的其他创新作品，他著名的视觉叙事，拿破仑和汉尼拔军队的命运，是图形在社会和政治上的应用的例子，后来获得了该领域大多数重要人物的赞赏(Rendgen, 2018)。除此之外，南丁格尔的精心设计的情节、琼恩·雪诺为改善公共卫生而绘制的霍乱地图、弗朗西斯·高尔顿的统计图形和天气模式以及卡尔·皮尔森的作品也是历史可视化的典型例子。经过一段繁荣期后，20世纪初被定义为现代可视化的黑暗时代。里程碑项目的关系数据库的分析显示，随着时间的推移，在19世纪稳步上升，然后在20世纪下降，直到1945年，并继续急剧上升到今天(Friendly et al.， 2017)。

传统二维表示的不足促使可视化社区寻找更有效的解决方案。近年来，人们对虚拟现实技术的兴趣以及跨学科领域的贡献为虚拟现实的应用和实现创造了新的可能性。虚拟现实是一种在人工环境中进行的沉浸式体验。随着时间的推移，人们对VR提出了不同的方法和设置。VR最简单的版本是桌面VR，一种显示器。鱼缸VR既包括显示器，也包括用于立体观看的特殊眼镜，并以键盘作为主要输入源。洞穴自动虚拟环境(Cave)是一种环绕屏幕显示技术，包括房间大小的投影表面，以促进沉浸式虚拟现实的探索和交互设计。使用的投影技术可以让用户看到所有的方向。如今，沉浸式系统主要是在头戴式显示器(HMDs)的帮助下使用的。hmd是一种立体设备，可以在眼睛面前显示两幅图像，以创造立体感。根据所使用的技术不同，交互技术也不同。技术包括头部跟踪、眼球跟踪和运动跟踪。头戴式设备为新的数据探索和交互方法提供了机会。

在沉浸式环境中，视觉信号会显示身体运动的存在，但实际上并没有运动，这种感官冲突的结果就是产生了网络病。不同的硬件对网络病有不同的频率要求。自由度(DoF)是一个用来描述物体移动能力的术语。基本的hmd提供了沿x、y、z轴移动的3自由度，而更先进的设备提供了6自由度，包括物理空间中的平移运动、波动、起伏和摇摆。VR有不同的交互模式。用户只能扮演被动角色，或者最常见的是按照预先设定的轨迹移动。探索性VR允许用户移动自己。在交互模式中，用户可以探索环境，并通过交互操作环境，这是沉浸式可视化最常见的交互模式。由于物理空间的限制，hmd提供坐姿配置，允许用户通过控制器和房间规模的VR移动。VR通过视觉提示和声音重建空间环境，建立三维空间意识。

沉浸式环境通常是指某些特定的术语，如存在、沉浸和具体化。体现感取决于为用户提供的空间组件，如位置意识和虚拟身体。存在与身处虚拟环境有关，沉浸感可以被认为是这种存在的结果。沉浸感、存在感和具体化的结合有助于用户的体验，并决定其质量。因此，它们被广泛用于评价和开发虚拟现实体验。大多数研究使用问卷来衡量存在感和沉浸感。

除了建筑设置之外，由于缺乏软件工具，创建大型VR环境也存在问题。近年来，游戏引擎Unity和虚幻引擎被广泛用于构建虚拟现实环境。游戏引擎所提供的快速制作让许多领域能够创造出沉浸式的视觉效果。从数据中提取的压缩信息需要以可视化的形式呈现。此表单可以是动画的、静态的或交互式的。数据类型的定义、可视化和交互技术的选择对创建高效、准确的可视化至关重要。选择合适的表示技术主要取决于用户。因此，可视化技术依赖于感知和认知理论来有效地传达数据。

可视化作为一种交互式的交流方式，需要提供一定的特征和任务，如数据的呈现、验证性和探索性分析等。近年来，由于数据量的不断增加，数据可视化和探索性数据分析得到了极大的重视。从高维和大体积数据中提取信息需要可视化领域，以采用不同的自动化技术，如机器学习算法。沉浸式技术和计算能力的最新进展为数据探索方法提供了新的可能性，旨在提供与高维数据的交互，以获得基本的见解。随着硬件和软件能力的不断提高以及时代的需要，VR设备变得更加实用和廉价。沉浸式技术改变了数据体验和决策过程。它允许用户分析复杂的动态数据集，并将其被动角色转换为主动角色。

可视化子领域除了VR的常见问题外，还存在特定领域的设计问题。信息可视化的创建包括关于抽象方法、可视化编码和设计原则的决策过程。科学可视化需要处理可伸缩性、准确性和精确度的问题。视觉分析(VA)关注的是可以通过可视化来执行的活动，例如决策和推理。沉浸式分析(IA)专注于使用显示和界面技术来支持更好的分析推理和决策过程。

可视化和交互机会为广泛的研究领域和学科提供了表达思想和提出新的交互方法的新方法(图1)。随着最近的技术进步，一些库、工具和设备的发明，VR利用3D环境的优势，方便了数据的操作和分析。结合VR和触觉或运动美学的界面，可以实现各种交互技术，并最大限度地提高效率。沉浸式可视化的生成在实用性、教育性和成本效益方面进一步改善了各个领域。数字城市技术允许用户为城市环境创造更可持续和有效的解决方案。为实验和教育提供可重复使用和安全的环境，虚拟环境在不同的领域提供培训。

VR和3D沉浸式环境是与感知相关的技术，需要有它们的视觉语言。因此，有必要继续构建理论方法。综合研究有能力为可视化奠定基础。游戏、电子游戏和虚拟现实之间的双向贡献和影响，推动了虚拟现实技术向科学、艺术或信息、教育等领域的延伸。虽然大多数VR研究采用了一种有趣的方法，但VR已经为游戏行业创造了包含新机制、叙事和互动的无限可能。Zyda(2005)强烈建议VR研究人员研究游戏来改进他们的设计并保持与时俱进。

虽然广泛的领域采用了这种技术，但批判性地思考挑战的解决方案、可视化规范和设计指南是至关重要的。现有的虚拟现实可视化研究大多集中在特定的领域或特定的可视化结构上。例如，齐默尔曼(2008)专注于汽车工业和设计方面。Seth等人(2011)解释了原型的组装方法，Radianti等人(2017)专注于高等教育，Wang等人(2018)从教育和培训的角度调查了建筑工程，El Jamiy和Marsh(2019)检查了深度估计，Caserman等人(2019)对全身运动重建进行了研究和分析，Ferdani等人(2019)对考古学研究进行了分析。但是，考虑到沉浸式技术的具体要求，不同领域中使用的可视化技术是密切相关的，并有可能创造一种相互关系来解决沉浸式技术的问题。在此之前，数据的收集是一个问题，而知识的提取和表示因为海量的数据而变得无处不在。为了充分实现可视化表示目标，可视化方法的构建依赖于从心理学到机器学习的各个领域。因此，我们从更广阔的视角来审视技术，以提取虚拟现实中可视化的关系、相似性和共享问题。我们认为这种方法可以帮助开发人员在其他领域找到解决方案，并为更具体的指导方针指明方向。本文旨在通过对现有文献的梳理，探讨不同领域中常见的问题和方法，为沉浸式可视化领域构建全面一致的结构提供基础。

本研究的其余部分结构如下。第II节提出背景概念，第III节简要描述方法，第IV节总结结果，第V节提出结论。

本研究对虚拟现实中沉浸式可视化的相关研究进行了系统的文献综述。本研究的研究问题为：

• RQ1: VR可视化最喜欢的可视化类型和结构是什么?
• RQ2:哪些方法/理论被用于研究VR可视化?
• RQ3: VR可视化的研究还有哪些空白?
• RQ4:现有的方法和技术是什么?
• RQ5:对于不同类型的可视化，哪种软件和硬件是首选的?

4 结果和分析

4.1 工具、工具包和框架

可视化工具通常可以是独立的、基于web的演示，主要由软件库(api)或编程语言模块(例如，Python或Java模块)组成的基于web的开发。它们还可以按照软件、可视化结构、操作系统、许可证、可伸缩性、可扩展性或最新发布日期进行分类。根据上述标准，Caldarola和Rinaldi(2017)报告了36个软件工具，分为4个子部分;科学可视化、数据可视化、信息可视化和商业智能工具。数据库相关和基于gui的应用程序提供了“直接操作原则”，如Microsoft Excel、Amazon Quicksight和Microsoft Power BI。尽管它们被广泛使用，但由于它们超出了本文的范围，因此不会给出进一步的细节。可视化构建工具通常被批评为由于固定属性而阻碍创造力;但是，它们是首选，因为它们提供了易于使用的环境，而不需要编程

尽管可视化库降低了复杂性，但它们仍然需要经验。除此之外，还有一些开发平台和现有的跨平台工具，它们的范围涉及多个领域。需要易于使用和灵活的图形系统来支持视觉思维，为进一步的发展铺平了道路。从Bertin的《图形符号学》(Semiology of Graphics, Bertin, 1983)开始，图形技术开始形式化，后来转变为图形的结构理论，在计算机图形学和信息可视化理论之间建立联系。克利夫兰和麦吉尔(1984)对视网膜变量(位置、颜色和大小)进行了实验。最近，Wilkinson(2012)的思想和理论为可视化界面Lyra (Satyanarayan和Heer, 2014)和VegaLite (Satyanarayan等人，2017)以及基于语法的系统如Polaris (Stolte等人，2002)提供了基础，后者扩展了透视表界面。可视化生产工具，如Lyra和iVisDesigner (Ren等人，2014)，可以基于概念模块化创建各种定制的图形可视化，而无需编写任何代码。不幸的是，它们只支持一小部分限制用户的可视化表单和参数。

借鉴威尔金森语法与图形语法的形式化，许多可视化语法、工具包和框架已经实现。这些声明性语言通常分为低级语法和高级语法。低级语法，如D3 (Bostock等人，2011年)，Vega (Satyanarayan等人，2015年)，Protovis (Bostock和Heer, 2009年)，都是表达性语法，以帮助设计师创建解释性和高度定制的图形，这些图形具有细粒度控制的数据可视化，其中所有映射元素都需要指定。最近，D3变得非常流行，特别是在web开发中。Protovis是一种用JavaScript实现的嵌入式领域特定语言，定义条形、线条和标签等图形标记可以帮助用户指定到可视属性的数据绑定。Vega类似于Protovis和D3，但它通过支持模块提供了尺度和布局上的转换，输入数据和标记属性之间的交互连接允许用户共享和重用产品。另一方面，高级声明性语法，如Vega-Lite和ECharts (Li等人，2018)更适合探索性可视化，通过封装细节和属性，它们专注于可视化的快速生成。开发了一个用于Python的声明性统计可视化库，名为Altair (Satyanarayan等人，2017)。

使用api创建可视化需要背景知识，这是一个令人疲惫的过程。因此，已经创建了用于快速和更好的抽象的框架。在引入InfoVis之后，开发了一些提供类似于基于java的可视化库的可视化工具集合的工具包，如Prefuse (Heer et al.， 2005)。除了提供操作符和库的抽象外，preuse和Flare (Gal et al.， 2014)允许用户定义新的操作符，并使用细粒度的单块单元来提供定制。基于gpu的可视化技术在科学可视化中得到了广泛的应用，近年来随着绘制性能的提高，其在信息可视化中的应用也越来越多。例如，Stardust (Ren et al.， 2017)利用了这些改进。它没有提供新的可视化语法，但它是对以前的工具的补充，具有更用户友好的构建块，它支持创建2D和3D可视化。一个名为VisComposer (Mei et al.， 2018)的可编程集成开发环境(IDE)指出了艺术家和编码专家之间的差距，它使用了类似于D3的基于树的视觉结构。VisAct (Wu et al.， 2020)是另一个交互式可视化系统，它为语义操作提供了高级语法，并通过包括向导面板和广泛的可视化表单来指导用户。

为信息可视化构建交互式工具包或系统的努力仅限于更传统的2D表示。因此，随着已有适合沉浸式环境的3D环境，科学可视化已经引领了虚拟现实系统的发展。一个针对科学可视化应用的广泛使用的框架是可视化工具包(VTK) (Hanwell等人，2015)，这是一个用于显示和与数据交互的广泛库。随着OpenVR的发展，在虚拟现实环境中使用VTK成为可能。该API支持Valve开发的SteamVR。因此，该框架与Oculus Rift和HTC Vive兼容。

近年来，研究人员越来越重视对非空间数据的沉浸式环境的探索。虽然是为游戏应用程序设计的，但Unity游戏引擎已经成为开发沉浸式环境的标准平台。IATK (Cordeil等人，2019年)和DXR (Sicat等人，2019年)的工具包都是为基于Unity游戏引擎构建沉浸式数据可视化而开发的。DXR是一个工具箱，它使用了一个受Vega-Lite启发的声明性框架，并提供了交互和可扩展的可视化，附加的类和应用程序可以导出到各种平台，包括Microsoft HoloLens上的混合现实(MR)和VR头盔。另一方面，IATK的API类似于D3，使用图形语法可以轻松构建可视化。IATK从之前的应用中涌现出来，如ImAxes(沉浸式坐标轴)(Cordeil等人，2017a)和FiberClay (Hurter等人，2018)，它允许用户通过三维坐标轴创建可视化，但不提供协作。Fiberclay是一个典型的例子，它与空中交通管制人员进行了评估，它以3D方式显示大规模空间轨迹数据，并提供构建查询所需的3D光束选择。ImAxes是一个开源的信息可视化工具，它实现了散点图、直方图和平行坐标，这些坐标可以通过使用自然交互操作可重构轴来探索。

4.2 数据可视化

数据可视化以图形的形式表示数据或信息，使观众能够识别模式，拉动见解，掌握信息的真正含义，并更迅速和有效地沟通(Aparicio和Costa, 2015)。虽然不同的领域受益于数据的图形表示，但数据可视化也依赖于几个学科。在心理学、计算机科学、统计学、平面设计和许多其他学科的贡献下，将数据转换成简洁易懂的图形格式的信息成为可能。随着来自多种背景的知识的蓬勃发展，数据可视化的适应性和可伸缩性得到了提高。例如，各个领域的数据不断积累，消除了传统的方法，目前对于大批量数据的不足。不同的方法，如机器学习，可以进行分析，并创建更有效的可视化具有不同的属性。现有的2D数据可视化方法只能包含少数指标之间的少量相关性。因此，为了对高维数据进行分析，需要许多单独的图表来进行全面的表示，最终会妨碍对相关性和模式的理解。

直接转换为3D无法提供足够的清晰度，因为遮挡和透视失真等3D问题可能会导致分析用例中的错误解释。虽然三维图形是有效的，但从数据和可视化结构来看，可以认为它们是不必要的。为了增强数据可视化体验，需要有更多的技术来更深入地显示信息。例如，根据一项调查(Fonnet and Prie, 2021)，位置和视觉通道(如纹理、颜色和形状)通常用于编码多维数据

Timeline of the rendering technologies used to implement immersive analytics system.

Fonnet A, Prie Y. Survey of immersive analytics[J]. IEEE transactions on visualization and computer graphics, 2019, 27(3): 2101-2122.

交互性是增强3D环境的一个方面。虚拟现实改变了我们与数据交互和解释的方式，而可视化应该支持多种活动。虚拟现实应该能够进行探索性分析，发现输入数据及其特征、趋势和关系。为了帮助用户拒绝或接受构建的假设，它必须提供验证性分析。数据的呈现应以结构化的方式呈现，以揭示其他媒介或平台无法呈现的隐藏特征。

Sun等人(2019)提供了时间序列和地理属性的动态可视化，并使可视化可用于观察积累、风向、时间和位置之间的关系。他们使用聚合表、日历视图、日柱状图和线图来可视化来自空气采样传感器和气象数据的数据。在Okada等(2018)的研究中，时空数据生成的可视化系统由两层组成。第一层是根据世界观和小地图选项可调节比例的空间模型。第二层用不同颜色和透明度的立方体表示频率。在单个VR可视化中结合多种可视化技术，改善了信息流，创造了更吸引人的体验。

Overview of VR Laboratory for Visual Analytics
视觉分析VR实验室概述

Geographic View
地理视图

The dial controls and the application button
拨号控制和应用程序按钮

The accumulation snapshot and accumulation scaling dial
累积快照和累积缩放刻度盘

Analysis Table
分析表

(a) Calendar Display; (b) Day Bar Graph; © Aggregation Table (d) Inactive Line Plot
(a)日历显示;(b)日条形图;©聚合表(d)非活动线图

(a) User controllers, left controller is grabbing (b) A single physical reading ( c) Toolbelt holding readings
(a)用户控制器，左控制器抓取(b)单个物理读数©工具带保持读数

Sun B, Fritz A, Xu W. An Immersive Visual Analytics Platform for Multidimensional Dataset[C]//2019 IEEE/ACIS 18th International Conference on Computer and Information Science (ICIS). IEEE, 2019: 24-29.

WorldView. (Left) Temporal change of the number of tweets is shown as the overview in a VR space. (Center) Panels which display actual tweets included in each cube appeared when users select each cube. (Right) The character icon with yellow highlight indicates the position of a user to prevent missing his/her current position.

(左)推文数量的时间变化为VR空间的概览。(中间)当用户选择每个立方体时，会出现显示每个立方体中包含的实际推文的面板。(右)黄色高亮显示的角色图标表示用户的位置，防止用户错过当前位置。

Processing flow of cubes generation in worldview.
世界观中立方体生成的处理流程。

Colormap and the transfer function for setting transparency.

Colormap和传递函数设置透明度。

The panel displays the detailed information of each cube. It contains the date, coordinate and text of representative tweets and gives us the knowledge about the reason why people made many tweets in a certain area and time.

面板显示每个多维数据集的详细信息。它包含了有代表性的推文的日期、坐标和文本，让我们知道人们在某个区域和时间发布很多推文的原因。

Minimap views the time change of the number of the tweets in a day. Cubes in minimap indicate the aggregation of one-hour data different from those in worldview. Users can observe the time change more specifically.

“小地图”可以查看一天内tweets数量的时间变化情况。小地图中的立方体表示一小时数据的聚合，与世界观中的数据不同。用户可以更具体地观察时间的变化。

Example. Top left figure shows people tweet a lot during japanese summer vacation. Top right figure is the map looked down from the position of cubes. It indicates user is in front of cinderella castle. Panels of the both figure below pick up actual tweets.

例子。左上角的图显示了人们在日本的暑假期间经常发推特。右上角的图形是从立方体的位置向下看的地图。提示用户在灰姑娘城堡前。下图中的面板都选取了实际的推文。

Okada K, Yoshida M, Itoh T, et al. VR system for spatio-temporal visualization of tweet data[C]//2018 22nd International Conference Information Visualisation (IV). IEEE, 2018: 91-95.

作为一种沟通媒介，可视化的另一个关键元素是解释。可视化的设计和解释选择可能会改变用户理解数据的能力或导致误解。因此，一个好的可视化应该保护美学和功能之间的平衡。图布局算法和聚类算法被广泛应用于复杂网络的可视化。集群数据需要转换为可理解的可视化。例如，Drogemuller等人(2017)喜欢用球体表示实体，用线表示关系，用圆表示集群节点，用弹簧嵌入布局构建网络可视化。聚类算法帮助用户快速检测模式，并协助他们检查高维数据集。然而，所使用的算法可能会因为数据的维数或噪声而性能较差。因此，Bobek等人(2022)在提出一种精细版本的沉浸式平行坐标图(IPCP)系统时，更倾向于对多维数据集使用广泛的聚类算法。通过对多种特征选择方法的测试，说明了特征选择的重要性。

Fig. 1: Our social network visualisation system running in a VR environment.
我们的社交网络可视化系统在VR环境中运行。

Fig. 2: Basic node and cluster interaction.
基本的节点和集群交互。

Fig. 3: The filter cube showing Age, Location and Education filters.
图3:显示年龄、位置和教育过滤器的过滤立方体。

Fig. 4: The storage box, used to save a collection of nodes by physically placing them within the box.
图4:存储盒，用于存储节点的集合，将节点物理地放置在盒内。

Fig. 5: Basic architecture diagram showing the relationship between the various system components.
图5:显示各种系统组件之间关系的基本架构图。

表一:筛选立方体属性
TABLE I: Filter Cube Attributes

Drogemuller A, Cunningham A, Walsh J, et al. VRige: Exploring social network interactions in immersive virtual environments[C]//Proceedings of the international symposium on big data visual analytics (BDVA). IEEE NJ, USA. 2017.

Figure 1
The Immersive Parallel Coordinates Plots (IPCP) of the (a) DS1 and (b) DS2 datasets respectively with the accompanying 3D scatter plot generated by mapping onto it the three criteria dimensions (selected in red). Both the IPCP and scatter plots selectors are visible (red spheres) as well as the orange cross-hair used for the user’s gaze tracking. The observable difference in the size of the scatter plots is caused by the different perspectives from which the screen-shots were captured.

(a) DS1和(b) DS2数据集的沉浸式平行坐标图(IPCP)，以及通过将三个标准维度(用红色选中)映射到其中生成的3D散点图。IPCP和散点图选择器都是可见的(红色球体)，以及用于用户注视跟踪的橙色十字线。散点图大小的可观察差异是由捕获屏幕截图的不同视角造成的。

Figure 2
Comparison of clustering results obtained with selected algorithms: (a) DBSCAN; (b) OPTICS; © Affinity Propagation. The top row presents the 2D plots, whereas the bottom one shows 3D scatter plots as the headset wearer sees them. The selected clusters are marked gray hulls (in 2D) and green (in 3D), respectively. These clustering examples were done over the DS1.

与所选算法的聚类结果比较:(a) DBSCAN;(b)光学;©亲和力传播。上面一行显示的是2D图，而下面一行显示的是耳机佩戴者看到的3D散点图。所选的集群分别被标记为灰色船体(2D)和绿色船体(3D)。这些集群示例是在DS1上完成的。

Figure 3
(a) DBSCAN clustering after dimensionality reduction with PCA to 3 components.; (b) feature importances obtained with random forest classifier. Difficulties in proper cluster identification on the correlated axis are shown in ©. Choosing the set of the uncorrelated axis (d) allows for a better overview of data. The presented clustering was done over the DS1.

图3
(a) PCA降维到3个分量后的DBSCAN聚类;(b)随机森林分类器得到的特征重要度。在相关轴上正确识别聚类的困难如©所示。选择不相关轴(d)的集合可以更好地概述数据。所示的聚类是在DS1上完成的。

Figure 4
Comparison of clustering results with a given number of the desired clusters (top rows) obtained with the Subspace Memory Clustering (SuMC) algorithms with respect to ground truth (bottom rows). (a,b) contain the results for selected 5 clusters; (c,d) contain the results for selected 3 clusters. The clusters are color-coded (top rows) and put against the patterns recognized by the domain-experts. Each bar constitutes a single point in the DS1 dataset and each cluster is represented by a different color.

图4
将聚类结果与给定数量的期望聚类(顶部行)进行比较，使用子空间内存聚类(SuMC)算法相对于地面真值(底部行)。(a,b)包含选定5组的结果;(c,d)包含选定的3个集群的结果。这些集群用颜色编码(最上面的行)，并按照领域专家识别的模式排列。每个条构成DS1数据集中的单个点，每个集群用不同的颜色表示。

Figure 5
(a) The left-hand menu with all the implemented data-science analytics: (1) [RESTART] restarts the visualization, (2–4) are the 3D scatter plot clustering solutions attached to individual labeled buttons [DBSCAN], [OPTICS], and [AFFIN], (5) [SORT] sorts the axes (i.e., IPCP’s dimensions) using their calculated importance, (6) [TOGGLE] toggles between the selected and unselected at the moment data items, (7) [DUPLICATE] duplicates the selected data items, and (8) [UNDO] undoes the most recent manipulation result. (b) presents the finger-press gesture used to select a button on the menu. Whereas © shows the highlighted [SORT] after the user pressed that button which cased the importance sorting to be executed on the IPCP as shown in Figure 6. Icons by Icons8 (https://icons8.com, accessed on 23 September 2019).

图5
(a)左侧菜单包含所有已执行的数据-科学分析:(1) [RESTART]重新启动可视化，(2-4)是附加在单个标记按钮[DBSCAN]， [OPTICS]和[AFFIN]上的3D散点图聚类解决方案，(5)[SORT]使用其计算的重要性对轴(即IPCP的维度)进行排序，(6)[TOGGLE]在当前数据项的选中和未选中之间切换，(7) [DUPLICATE]重复选择的数据项，(8)[UNDO]撤消最近的操作结果。(b)显示用于选择菜单上按钮的手指按下手势。然而©显示了用户按下按钮后高亮显示的[SORT]，该按钮用于在IPCP上执行重要排序，如图6所示。Icons8的图标(https://icons8.com, 2019年9月23日访问)。

Figure 6
The IPCP visualization of the DS1 dataset presented in original (a,b) sorted order. The rearrangement of the axes was carried out based on the importances. As it can be seen in (b) the axes containing no knowledge i.e., constant data, were moved on the right of the IPCP main plot, thus reducing the amount of data that has to be visually analyzed by the user. The user can toggle between sorted and unsorted i.e., the original organization of the axes.

图6
DS1数据集的IPCP可视化以原始的(a,b)排序方式呈现。轴的重新排列是根据重要性进行的。在(b)中可以看到，不包含知识的轴，即不变的数据，被移动到IPCP主图的右边，从而减少了用户必须进行可视化分析的数据量。用户可以在已排序和未排序之间切换，即轴的原始组织。

Bobek S, Tadeja S K, Struski Ł, et al. Virtual reality-based parallel coordinates plots enhanced with explainable ai and data-science analytics for decision-making processes[J]. Applied Sciences, 2021, 12(1): 331.

不像2D数据可视化，数据总是从一个角度呈现，VR展示了在不同视角之间切换的潜在用途。这为用户创造了不同的具身认知案例，以新的方式解读数据。改变视角的能力创造了更沉浸式的体验和精确的见解。在虚拟现实环境中，焦点会随着用户的移动而变化。因此，根据用户的视角，对内容的感知距离是不同的。所述数据的布局可以提供等效的感知，并保证其在球面空间中的分布;Kwon等人(2015)采用了空间填充曲线布局和球形边缘捆绑。不同的策略、算法、替代想法和演示，这些技术的组合增强了可视化。对复杂数据的精细化解读，让用户从不同角度看待数据，获得更深刻的理解。

Head mounted devices render a warped view with tight control for each eye. Our approach for graph visualization uses techniques targeted specifically for such displays. Color in all figures corresponds to clusters.

头戴式设备通过严格控制每只眼睛来呈现扭曲的视图。我们的图形可视化方法使用了专门用于此类显示的技术。所有图形中的颜色都对应于簇。

Mapping a 2D layout to a sphere. Nai¨ve azimuthal projection distorts distances (a). Warping the space according by d=tan(d) produces even radial spacing (b).

将2D布局映射到一个球体。Nai¨ve方位投影会使距离变形(a)。根据d=tan(d)扭曲空间产生均匀的径向间距(b)。

Spherical graph layouts: 2D layouts can be mapped to the sphere with varying amounts of distortion. Preserving angles (a) is appropriate for rigid, rectangular structures, but is limited in field of view (FOV). Azimuthal mapping (b) works well for roughly circular layouts to use a full hemisphere. For full immersion ©, we use a space filling curve defined on a cubed sphere to cover the entire surface.

球面图布局:二维布局可以映射到球体上以不同程度的失真。保角(a)适用于刚性的矩形结构，但在视场(FOV)上是有限的。方位角映射(b)适用于使用整个半球的大致圆形布局。对于完全沉浸©，我们使用定义在立方体球体上的空间填充曲线来覆盖整个表面。

Hierarchical edge bundling routes edges with splines that follow the clustering hierarchy. For a sphere, we compute the spline in two stages. An angular spline (in yellow) is computed with spherical interpolation according to control points on the surface of the sphere (red points). Then the spline is extended radially by moving the control points outward (blue) and modulating the radius of the edge samples as a 1D spline (green).

分层边缘捆绑路由边缘与样条遵循集群层次结构。对于球面，我们分两步计算样条。根据球面上的控制点(红色点)，用球面插值计算角样条(黄色)。然后通过向外移动控制点(蓝色)和将边缘样本的半径调制为1D样条(绿色)来径向扩展样条。

When the user selects a node, it and all its neighbors were brought closer to the user, rendered with a halo effect, and labelled. Here, this is shown at an angle for illustrative purposes; in the HMD view, the nodes move straight towards the user.

当用户选择一个节点时，它和它的所有邻居都被带到离用户更近的地方，渲染成晕轮效果，并贴上标签。这里，这是一个角度显示，以说明的目的;在HMD视图中，节点直接向用户移动。

In a 2D view, the whole graph may be visible, but there is no discernable shape to the edges, making them difficult to follow. In a VR environment, only a small section of the graph is visible at a given time, but structure is more tangible.

在2D视图中，整个图形可能是可见的，但边缘没有可识别的形状，使它们难以跟随。在VR环境中，在给定时间只能看到一小部分图表，但结构更有形。

Kwon O H, Muelder C, Lee K, et al. Spherical layout and rendering methods for immersive graph visualization[C]//2015 IEEE Pacific Visualization Symposium (PacificVis). IEEE, 2015: 63-67.

4.3 信息可视化

探索抽象数据的空间映射设计空间成为可视化新子领域信息可视化(InfoVis)的一个关键主题。信息可视化建立在图形设计师、统计学家、人机交互(HCI)研究人员和其他许多人的基础上。跨学科领域一直在探索如何有效地利用计算机图形学来进行抽象数据可视化及其交互探索(图4)。

4.3.1艺术、遗产和建筑

得益于游戏产业，最近开发出了能够提供强大的VR和增强现实(AR)应用的低成本设备，文化遗产机构开始了数字化时代。文化遗产文物和建筑的三维表现已经影响到虚拟文化遗产旅游和城市历史研究等多个领域。捕捉和记录遗产的技术的发展提供了新的技术，取代了需要更多时间和工作量的人工解读。在Leo Biek (Gettens, 1964)实现了第一个考古对象的3D文档之后，许多文物开始被输出到数字环境中。由于自然灾害和人为灾害而无法保护的文化遗产，有了足够的文献资料将其传递给后代，数字媒体保存已成为一种可靠的方法。数字化过程的最终产品不仅服务于考古和建筑文献，还提供教育机会、展览、虚拟旅游、空间实验研究和文物分析。另一方面，3D数字内容的准备、呈现和交互都需要细致的工作。根据三维数字表示的复杂性、规模和位置，可以使用不同的方法，如激光扫描和摄影测量。此外，人们还开发了一些技术来重建艺术品，如雕塑和绘画。这些技术包括图像排序，基于体积的方法，结构化形式的运动算法(Sooai等，2017)。问题是，由于对细节的图形要求，生成的模型通常很复杂。一些几何优化和压缩方法已经被开发出来，以解决诸如管理数百万个多边形或处理时间等技术问题，而它们的主要目的不是包含细节和现实主义。例如，Fernandez-Palacios等人(2017)提供了一种包括许多优化技术的方案，通过数字重建遗产场景来创造沉浸式VR体验。他们的工作包括向低分辨率模型传输细节的法线贴图，减少纹理负载的展开技术，以及使用软件工具降低几何优化的分辨率而不降低可见质量。Choromanski等人(2019年)建立了利用地面激光扫描的VR系统，照片属于巴洛克宫殿。他们还测试了各种纹理映射算法，以简化通过不同方法收集的数据构建的模型的网格几何。

Object placement in virtual environment.

虚拟环境中的对象放置。

Points (titik) to guide camera movements.

点(titik)引导相机运动。

Application is available on 谷歌 play

应用程序可在谷歌播放

Sooai A G, Nugroho A, Al Azam M N, et al. Virtual artifact: Enhancing museum exhibit using 3D virtual reality[C]//2017 TRON Symposium (TRONSHOW). IEEE, 2017: 1-5.

Fernández-Palacios B J, Morabito D, Remondino F. Access to complex reality-based 3D models using virtual reality solutions[J]. Journal of cultural heritage, 2017, 23: 40-48.

Figure 1. Meshes generated from clouds with differently computed normal vectors (particular methods are described in table 2.)

图1所示。由不同计算法向量的云生成的网格(特定的方法在表2中描述)。

Figure 2. Textures in adaptive orthophoto (A) and generic (B) mapping mode.

图2。自适应正射影像(A)和通用(B)映射模式中的纹理。

Figure 3. Comparison of adaptive orthophoto (A) and generic (B) textures mapped on mesh in Unreal Engine.

图3。自适应正射影像(A)和通用(B)纹理映射在虚幻引擎网格的比较。

Figure 4. Comparison of data preparation workflows.

图4。数据准备工作流程比较。

Figure 5. Sample blueprint responsible for showing user interface element on space bar key pressing action.

图5。示例蓝图负责显示用户界面元素上的空格键按下动作。

Figure 6. Content of Oculus Rift VR headset.

图6。Oculus Rift VR头盔的内容。

Figure 7. Overhead projection of the palace ground floor, where only three chambers were modelled with textured meshes (Both Galleries and Big Hall). Other chambers were placed in 3D as extrusion of walls outlines.

图7。宫殿底层的投影，其中只有三个房间的模型与纹理网格(画廊和大厅)。其他房间作为墙壁轮廓的挤压三维放置。

Figure 8. Example of additional lighting placement inside Big Hall chamber.

图8。在大礼堂内放置额外照明的例子。

Figure 9. Example of final visualization (North Gallery), on the right-side HUD with additional information about wall painting is visible.

图9。最后的可视化示例(北画廊)，在右侧的HUD上可以看到关于墙画的附加信息。

Choromański K, Łobodecki J, Puchała K, et al. Development of Virtual Reality application for Cultural Heritage visualization from multi-source 3D data[J]. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2019.

另一种通过数字化保护和维护文化遗产的方式是虚拟博物馆。Schweibenz(1998)将虚拟博物馆定义为相关数字对象的集合，在没有真实场所和空间的情况下传播对象和信息。由于对用户交互、环境和内容、体验设计等方面的要求，虚拟博物馆的建设具有挑战性。博物馆可以设计成逼真的形式，复制一个真实的博物馆，或使用替代方法，但最终产品应传达预期的信息(Skamantzari, 2018)。例如，Kersten等人(2017)的虚拟博物馆设计中，除了逼真的模型外，还包括对基本位置的引导视点和详细信息菜单。Monaco等人(2022)创建了一个可定制的虚拟博物馆，用户可以在虚拟展览中发挥更积极的作用。他们的构建过程允许用户使用知识图(Knowledge Graphs, KGs)选择数据，通过改变布局来个性化博物馆，并选择注释。知识是一组实体、属性和它们之间的关系。实体、关系和属性可以形成节点和边的图，使图结构成为知识的现实表示。虚拟展览与图形抽象的结合增强了互动性，并使复杂的知识关系在传统博物馆无法呈现的背景下变得可以理解。他们还报告说，施工时间与用户选择后的照明设置高度相关，因为这需要大量的计算。因此，它们提供了不同的照明选择。

Schweibenz W. The" Virtual Museum": New Perspectives For Museums to Present Objects and Information Using the Internet as a Knowledge Base and Communication System[J]. Isi, 1998, 34: 185-200.

Figure 2: The Newggenheim Museum of Second Life.

图2:Newggenheim Museum of Second Life。

Figure 5: The 3D polygonal mesh on the left and the textured 3D mesh on the right

图5:左侧为3D多边形网格，右侧为纹理3D网格

Figure 6: The main Interface and Views of Unity

图6:Unity的主界面和视图

Figure 7: The main elements that configure the entity of visitor in the environment of Unity

图7:在Unity环境中配置访问者实体的主要元素

Figure 8: A snapshot from the virtual museum. The visitor chose to rotate the left sculpture, while the available information appears on the right of the screen. The mini-map can be seen on the bottom left of the screen

图8:虚拟博物馆的快照。参观者选择旋转左边的雕塑，而可用的信息出现在屏幕的右边。迷你地图可以在屏幕左下方看到

Figure 9: At the beginning of the virtual tour the visitor reads the available instructions

图9:在虚拟旅行的开始，访问者阅读可用的说明

Skamantzari M, Georgopoulos A. 3D Visualization for virtual museum development[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 41: 961.

虚拟现实技术与地理信息系统(GIS)的融合产生了一种新的信息系统VRGIS。VRGIS可以支持空间数据的查询、处理、存储和分析功能。物联网(IoT)技术、虚拟现实(VR)、三维地理信息系统(3D GIS)等多种技术的结合，为城市环境的可持续发展提供了新的途径。视觉分析和GIS系统的复合使用允许理解重要的特征，例如城市设计领域的中间性、紧密性、中心性和最短路径。然而，城市规模和组件生成的图表是无法探索或理解的。解决这种杂波问题的一种方法是对图进行简化和分割。例如，Huang et al.(2016)生成了一个名为TrajGraph的可视化分析系统来研究和规划城市网络。他们应用了一种图划分算法，将图划分为几个块，同时保留目标的必要关系。智慧城市概念的提出是为了优化城市系统，形成可持续和高效的环境。Lv等人(2016)认为智慧城市建设由信息化、数字化、智能化三个阶段组成。Broucke和Deligiannis(2019)提出了一个基于布鲁塞尔智能城市数据的VR平台，该平台可以降低参与者在探索体验中的受挫程度。Dong等人(2022)进行了详细的分析，以了解城市多层数据的虚拟现实需求。与他们的分析结果并行的是，他们构建了一个基于多个组件和子系统的数字城市模拟模型，如模型编辑和重构模型(MERM)和场景创建和漫游系统(SCCM)。他们的过程从数据收集开始，然后演变成不同的格式，以创建一个一致的平台。大多数智慧城市项目旨在改善城市生活，创造环境，支持城市居民高效、轻松的互动。智慧城市的概念也有助于城市建设。在建设过程中，预见实际问题是至关重要的。理解空间秩序、适用功能、技术要求和生产过程也是必不可少的。考虑城市的参数和规模，三维可视化和模拟可以指导决策过程。

The system architecture

系统架构
The model of the TCM literature

中医文献的模式
The model of the bookcase

书架的模型
The snapshot of the platform scene.

平台场景的快照。
The snapshot of the platform

平台的快照

Huang Y, Zhai X, Ali S, et al. Design and implementation of traditional Chinese medicine education visualization platform based on virtual reality technology[C]//2016 8th International Conference on Information Technology in Medicine and Education (ITME). IEEE, 2016: 499-502.

System overview of the proposed platform. Geographical, Meteorological, Mobility and Social information is gathered from external sources. The data is then formatted, mapped to a visual structures and projected towards the user via using a HMD. The VR equipment captures 3D user interactions which allow for the user to directly interact with virtual objects that depict information from the external sources.

拟议平台的系统概述。地理、气象、流动和社会信息从外部来源收集。然后，数据被格式化，映射到一个视觉结构，并通过使用HMD向用户投影。VR设备捕捉3D用户交互，用户可以直接与描绘外部信息的虚拟对象进行交互。
User perspective in the VR application. Bus and bike stations are visualized by poles with counters (a). Real-time buses and trams move along the map surface (a). Metereological information is depicted using weather objects and textual displays (b). Social information is visualized in cluster spheres ©. The user is capable of touching 3D objects with the virtual index finger, upon which they are able to get more information in the form of a textual user interface (d).

VR应用中的用户视角。公交车和自行车电台被波兰人与计数器(a)可视化。实时公共汽车和有轨电车沿着地图表面(a)。Metereological信息描述使用天气对象和文本显示(b)。社会信息可视化在集群球体©。用户能够触摸虚拟食指3 d对象,在此基础上，他们能够以文本用户界面的形式获得更多信息(d)。Participants of the user study explore Brussels heterogeneous smart city data in virtual reality while executing taskset 4 (a). Real-time smart city data is displayed through moving vehicles, tweet clusters, bus and bicycle stations in a virtual environment (b).

用户研究的参与者在执行任务集4 (a)的同时在虚拟现实中探索布鲁塞尔异构智能城市数据。实时智能城市数据通过虚拟环境中的移动车辆、推特集群、公共汽车和自行车站显示(b)。
Box plot of perceived workload scores for every subdomain; Mental(M), Physical (Ph), Temporal (T), Performance (Pf), Effort (E) and Frustration (F)

每个子域的感知工作量得分箱线图;心理(M)，生理(Ph)，时间(T)，表现(Pf)，努力(E)和挫折(F)
Box plot of perceived scores for Data Intuitivity (DI), Data Distinction (DD), Immersion (I), Data Overview (DO) and Intuitive Interaction (II)

数据直觉(DI)、数据区分(DD)、沉浸(I)、数据概览(DO)、直观互动(II)感知得分箱线图

Broucke S V, Deligiannis N. Visualization of real-time heterogeneous smart city data using virtual reality[C]//2019 IEEE International Smart Cities Conference (ISC2). IEEE, 2019: 685-690.

为了让艺术体验更容易获得，更有沉浸感，更有吸引力，基于数字的策略，如AR, VR和Web3D已经被使用。最近的项目主要集中于在虚拟环境中重建工件。尽管许多研究的结果很有希望，但实现艺术家的宇宙并不是一件容易的事情。例如，将2D艺术形式转化为VR体验需要开发者添加原作中未包含的部分，而复制则需要每个细节都以3D方式建模。Raya等人(2021)为VR重建了两幅画，其中的画可以让用户通过介绍性的方法体验动觉纹理。根据一篇综述论文(Zhang et al.， 2020)， VR技术在建筑领域的安全规划、设计解读、协作、建设项目管理、教育、规划以及人类行为和感知等方面得到了应用。近年来，计算机辅助设计(CAD)和建筑信息建模(BIM)工具与虚拟现实技术相结合，以保持高效的沟通和设计过程，并避免上述领域的冲突。建筑师和工程师在高效的设计、管理、施工和运营阶段使用BIM。例如，在采光的影响上，Akin等人(2020)开发了一种融入BIM技术的沉浸式设计工具，以提高设计过程中的视觉感知和意识。3D CAD模型包含了3D模型、2D图纸和图表中的大量信息(Ivson et al.， 2020)。明斯特等人(2020年)提供了一种自动化的管道，从历史图像构建4D城市模型，以创建基于浏览器的移动VR应用程序，这里的第四维是时间。利用CNN的架构，他们根据建筑平面图从图像中生成建筑模型。嫁接不同领域的尝试也导致了广泛的子领域，如沉浸式城市分析。例如，Chen等人，2017年提出了一种方法，利用Li等人解释的爆炸视图和原理，在城市文脉中应用视觉分析(Li等人，2008)。

Images of the virtual paintings using the ImmersArt tool. Left, recreation of the painting The Persistence of Memory (original at www.moma.org/collection/works/79018). Right, recreation of the hellscape panel of The Garden of Earthly Delights (original at www.commons.wikimedia.org/wiki/File:The_Garden_of_earthly_delights.jpg).

虚拟绘画的图像使用ImmersArt工具。左图为《记忆的永恒》(图片来源:www.moma.org/collection/works/79018)。对，娱乐的地狱景观面板的花园世俗的乐趣(原来在www.commons.wikimedia.org/wiki/File:The_Garden_of_earthly_delights.jpg)。
Images of some of the virtually recreated details of Salvador Dalí’s painting The Persistence of Memory and the painters’s biographical highlights. At the top, close-ups of the recreation of the artwork. In the lower part, objects extracted from the author’s biography and other of his paintings.

萨尔瓦多Dalí的绘画《持久的记忆》和画家的传记亮点的一些虚拟再现的细节图像。在顶部，是艺术作品的再现特写。在下半部分，从作者的传记和他的其他绘画中提取的物品。
Haptic device used at ImmersArt to provide virtual touch to the user: the Novint Falcon.

ImmersArt为用户提供虚拟触摸的触觉设备:Novint Falcon。
Process of building this virtual scene. (a) Piece of art origin of the sketches. (b) Modeling/rigging phase. © Shading, lighting. (d) Result (with animation, FX, CFX, and optimizations).

建立这个虚拟场景的过程。(a)草图的艺术来源。(b)建模/操纵阶段。©阴影,照明。(d)结果(包含动画、FX、CFX和优化)。
Simplified class diagram of the interaction system developed for this experience. The Monobehavior class is part of the Unity3D API, and inheritance from it is required in order to be called by the Unity3D internal engine during the rendering of each frame.

简化类图的交互系统开发的经验。Monobehavior类是Unity3D API的一部分，为了在渲染每一帧时被Unity3D内部引擎调用，需要继承它。

Raya L, García-Rueda J J, López-Fernández D, et al. Virtual Reality Application for Fostering Interest in Art[J]. IEEE Computer Graphics and Applications, 2021, 41(2): 106-113.

4.3.2 计算机科学

为了更好地理解软件架构、各种算法和计算机科学概念，已经提供了不同的可视化技术。研究的重点是解释复杂的结构，以理解与该领域相关的不同特征和概念。例如，可视化技术已经被用于更好地理解和解释人工智能(AI)。可解释人工智能(XAI)是最近开发的一项技术，旨在通过人类的眼睛来加深对人工智能的理解。作为这项研究的一部分，Selvaraju等人(2017)提出使用梯度加权类激活映射(GradCAM)，这是一种受益于目标梯度的可视化方法，并在深度强化学习(DRL)算法上生成定位地图。通过分析他们对Atari Games的研究，包括对输入状态的可视化和选定的输出动作，可以理解CNN层的作用。另一项专注于神经网络可视化的研究是caff2unity (Aamir et al.， 2022)。将Caffe框架与Unity游戏引擎相结合，提供了与神经网络在图像分类任务上的实时交互。他们的交互方法可以让用户更好地了解神经网络的复杂结构。

Figure 1
(a) Flow chart of the compilation process of the Caffe2Unity.dll and its interfacing with Unity to perform various tasks. In its current form, we used the DLL for image classification as an application domain. (b) Prototypes and attributes of the main classes used in the Caffe2Unity.dll to achieve our goal. © Snapshot of the visualization strategy illustrating the immersive model of AlexNet with details of all layers and activation maps that are used in the VR environment.

图1
(a) caff2unity .dll的编译过程流程图，以及它与Unity的接口来执行各种任务。在其目前的形式中，我们使用DLL作为图像分类的应用领域。(b)在caff2unity .dll中使用的主要类的原型和属性来实现我们的目标。©可视化策略的快照，说明了AlexNet的沉浸式模型，其中包括所有层的细节和在VR环境中使用的激活地图。

Figure 2
(a) An immersive visualization of different layers of the AlexNet architecture in Unity, (b) virtual GUI for selecting paths for model weights, CNN structure, labels, and input image, © input layer, (d) first convolutional layer icon, (e) snapshot of activation maps of the 1st convolutional layer, (f) selecting the connection of a particular filter of the 1st convolutional layer to visualize its activity across the network, and (g) deeper layer interactions of the selected filter. The user can visualize and hide filters and activation maps by selecting the corresponding option on the layer icon using a laser pointer.

(a)在Unity中对AlexNet架构不同层的沉浸式可视化，(b)为模型权重、CNN结构、标签和输入图像选择路径的虚拟GUI， ©输入层，(d)卷积层第一层图标，(e)卷积层第一层激活映射快照，(f)选择第1卷积层的特定滤波器的连接，以可视化其在整个网络中的活动，以及(g)所选滤波器的更深层交互。用户可以通过使用激光指示器选择层图标上相应的选项来可视化和隐藏过滤器和激活映射。
Figure 3
Analyzing the network decision using Shapley-value-based interpretations in the VR environment. These interpretations are shown for three hidden layers namely conv1, conv3, and conv5, respectively (see also Figure 4 for zoomed in view).

在VR环境中使用基于shapley值的解释分析网络决策。这些解释分别显示了三个隐藏层，即conv1、conv3和conv5(也见图4的放大视图)。
Figure 4
Zoomed in view of VR-based Shapley value results from Figure 3 showing individual interpretation of three hidden layers, (a) conv1, (b) conv3, and © conv5 of the weasel image.

放大图3中基于vr的Shapley值结果，显示了对黄鼠狼图像(a) conv1， (b) conv3和© conv5三个隐藏层的单独解释。Figure 5
Zoomed in view of VR-based results, (a) original image on the left whereas the right image shows the overlaid block occlusion, and (b) Shapley-value-based interpretation of the weasel image after being occluded by the VR user. Results are shown for three hidden convolutional layers, where the network strongly predicted the image as being a “guinea pig” instead of a “weasel”.

在基于VR的结果中进行放大，(a)左边的原始图像，而右边的图像显示了叠加的块遮挡，(b)鼬鼠图像被VR用户遮挡后的基于shapley -value的解释。结果显示了三个隐藏的卷积层，其中网络强烈预测图像是“豚鼠”而不是“鼬鼠”。

Aamir A, Tamosiunaite M, Wörgötter F. Caffe2Unity: Immersive Visualization and Interpretation of Deep Neural Networks[J]. Electronics, 2021, 11(1): 83.

具有3D表示的高维可视化受益于隐喻，使知识更容易获得和理解。计算机科学的一个基本组成部分是隐喻的使用。隐喻的评价与可视化场的性质和相关场的概念的近似值有关。在这种方法中，与特定功能相关的组件设计至关重要。在计算机科学中广泛使用的隐喻之一是城市隐喻。例如，EvoStreets技术(Steinbeck等人，2019年)使用了一种城市隐喻，将等级关系可视化为软件街道。VR城市(Vincur et al.， 2017)由不同的层组成，使用布局算法来容纳各种实体。它包括用于关系的连接层、用于用路径点显示最近活动的作者层、用于表示类的城市层、用于扫描代码的代码空间层以及用于可能操作的UI空间层。Oberhauser和Lecon(2017)为飞行体验提供了空间、地面、自定义的隐喻，以鼓励对代码信息的探索性、分析性和描述性认知过程。在IslandViz中，Misiak等人(2018)利用一个岛屿隐喻来可视化一个基于VR中的开放服务网关倡议(OSGI)的软件系统的软件架构。

Visualizing software clones with evostreets.

用evostreets可视化软件克隆。
The evostreets of guava used as tutorial for the 2D environment.

《evostreets of guava》作为2D环境的教程。
The evostreets of guava using the same visual attributes as in Figure 2, but rendered in three dimensions.

番石榴的evostreets使用与图2相同的视觉属性，但以三维方式呈现。
Visualization of the scenarios of our three tasks as 2.5D projections. S marks the starting point of the exploration.

将我们三个任务的场景可视化为2.5D投影。S标志着探索的起点。
Time required to find an answer of each task and environment.

找到每个任务和环境的答案所需的时间。
Rating of each task and environment.

对每个任务和环境进行评级。
Trajectories of the 2.5D (yellow) and VR (cyan) environments.

2.5D(黄色)和VR(青色)环境的轨迹。

Steinbeck M, Koschke R, Rudel M O. Comparing the evostreets visualization technique in two-and three-dimensional environments a controlled experiment[C]//2019 IEEE/ACM 27th International Conference on Program Comprehension (ICPC). IEEE, 2019: 231-242.

4.4 科学可视化

强大的计算机和逼真的效果图成就了图形学这一独特的领域，这使得科学家们可以在科学研究中使用可视化(图5)。对科学领域的专家来说，可视化科学数据是至关重要的，并且可以与普通观众交流学生。科学可视化仅限于二维表示。随着绘制技术的发展，现在可以在三维虚拟世界中可视化科学数据并与之交互。这使得用户能够探索和与真实的代表进行互动，提高学生的理解能力和增强公众参与。

由于数据的高维和抽象，科学可视化扫描可能非常复杂，很难根据数据集进行计算。它们可能需要独占的可视化，而不是传统的计算机可视化。传统桌面和鼠标实现的不同2D部分可能不足以构建3D理解，这也因用户而异。与传统2D屏幕的单目系统不同，虚拟现实显示中的双目系统提供了真实的深度感知和空间关系。因此，许多行业都采用了这些系统来测试真实场景，就像在培训中一样。服务于矿业软件模块，开发了块体溶洞开采系统可视化软件，为块体溶洞的管理周期和运行提供了参考。允许协作环境，并将复杂的挖掘系统环境转换为图形表示，可以提高对地震数据的理解(Tibbett等人，2015)。交互式三维数据可视化也用于高能物理(HEP)实验。ATLASrift项目(Riccardo Maria等人，2019年)旨在为地图集探测器和实验现场创造沉浸式体验。利用虚幻引擎，他们提供了三个具有不同交互模式的关卡。虽然游戏引擎在需要外部库的情况下被广泛用于可视化，比如在theATLASrift项目中，但将外部库集成到游戏引擎中是很有挑战性的。

Figure 2. Spheres placed in the VR environment are used as switches: users can activate additional panoramic views of the location by getting close to them. In the example, the blue sphere in an ATLAS service tunnel activates a panoramic view of the computer crates

图2。放置在VR环境中的球体被用作开关:用户可以通过接近它们来激活该位置的额外全景视图。在示例中，ATLAS服务隧道中的蓝色球体激活了计算机板条箱的全景视图
Figure 3. The “Control Room” level: a view of the VR representation of the ATLAS control room. The screens on the desks show different plots related to the data-taking, while the virtual screens on the walls show educational videos and event displays.

图3。“控制室”级别:ATLAS控制室的VR呈现视图。课桌上的屏幕显示与数据采集相关的不同情节，而墙上的虚拟屏幕显示教育视频和活动展示。
Figure 4. A view of the “Globe” level, showing the ATLAS Barrel Toroid magnet inside the main hall. In the background, posters related to the ATLAS Muon Spectrometer, for which the magnet is used. On the right, a ramp climbs to the upper floor; on the wall along the ramp, posters tell the history of the ATLAS experiment.

图4。“环球”级别的视图，显示主大厅内的ATLAS Barrel Toroid磁铁。背景是与磁体使用的ATLAS μ子光谱仪相关的海报。在右边，有一个斜坡可以爬到楼上;沿着坡道的墙上，海报讲述着ATLAS实验的历史。
Figure 5. Game engines require that all user code is integrated into the engine itself.

图5。游戏引擎需要将所有用户代码整合到引擎中。

Figure 6. The self-contained nature of game engines makes it difficult to use external li braries in applications developed within such platforms.

图6。游戏引擎的自成一体使得在这样的平台上开发的应用程序很难使用外部库。

Maria B R, Bourdarios C A, Hovdesven M, et al. Virtual Reality and game engines for interactive data visualization and event displays in HEP, an example from the ATLAS experiment[C]//EPJ Web of Conferences. EDP Sciences, 2019, 214: 02013.

4.4.1 气象学与地球科学

Helbig et al.(2014)利用VR技术对大气云数据进行可视化，使其在不同维度上的异构数据可以通过变量之间的关系进行可视化，否则仅通过显示数字是无法容易理解的。与之前的气象可视化系统相比，MeteoVis (Li等人，2020年)提供了来自多个来源的并发时空气象数据流，具有广泛的操作和探索特征。地球科学的挑战通常与视觉要求有关，如大小、形状和结构。游戏引擎提供的着色器接口用于在地球物理环境中可视化地形。这允许在视场中渲染更高分辨率的网格来提供细节，并使用低分辨率的网格保存扩展视图。Bonali等人(2022)利用摄影测量技术重建了选定的地质环境。根据他们广泛的用户测试，大多数学生和学者都同意虚拟现实技术的实用性。他们还通过推广沉浸式技术来关注数据和体验的可获取性。

与行星相关的模型本质上是多层次的;因此，对一对一的3D模型保持一个整体的方法可能是不够的。VRGE (Ardulov和Pariser, 2017)通过表面查看、体积网格数据、截面查看和表面编辑解决了这个问题。Huang等(2019)提出了气候变化情景下的各种物种，提供了不同高度的视角和检索信息的过滤器。主体性、艺术元素、装饰物的使用一直是视觉领域亟待解决的问题。特别是对于科学可视化，演示文稿必须保持数据的准确性、完整性和可信性。另一方面，有些例子在不破坏数据本质的情况下使用了论证元素，相反地通过引人入胜来丰富它。例如，Rehme(2018)采用了艺术和电影元素，如着色器、阴影、相机运动和慢动作，这为最终产品带来了新的功能。
Forest rendering (link to video demo https://vimeo.com/307417933)

森林渲染(链接到视频演示https://vimeo.com/307417933)

Huang J, Lucash M S, Scheller R M, et al. Visualizing ecological data in virtual reality[C]//2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE, 2019: 1311-1312.

The icon with the triangle pointing up represents the camera. The dashed line extending from the camera points toward the camera aim. The wireframe box represents the camera focus.

三角形向上的图标代表相机。虚线从相机延伸指向相机瞄准。线框框表示相机焦距。
Removal of the water variable and glossy shading on the pressure isosurface helps visualize the increased amplitude of the impact without an airburst.

去除水变量和压力等值面上的光泽阴影有助于在没有空爆的情况下可视化冲击幅度的增加。

A reflective shader applied to the water fraction allows light to reflect off the surface to the camera, helping to connect the viewer to the scene.

一个反光的着色器应用到水的分数允许光反射表面到相机，帮助连接观众到场景。

Rehme M. Using Cinematic Effects to Visualize the Deep Water Impact Data Set[C]//2018 IEEE Scientific Visualization Conference (SciVis). IEEE, 2018: 82-84.

4.4.2 纳米

随着先进技术的发展，纳米科学得到了飞速发展。在纳米科学的背景下，虚拟现实已被用于化学(Ferrell等人，2019年)、材料科学(Drouhard等人，2015年)、生物医学(Pajorov´a等人，2018年)、生物信息学(Martinez和Baaden, 2020年;Sommer et al.， 2018)，为医学和卫生保健寻找解决方案(Gradl et al.， 2018)。纳米结构的结构特性的可视化和转移需要不同的技术。

(a) The “refvis” visualization, which consists of a heart symbol, pulsating in the rhythm of the user’s heartbeat, and the actual current beats per minute value written above it as a number. It is used as a reference visualization inspired by clinical electrocardiogram monitoring devices and presented in the central field of view of the subject. (b) The “radialvis” visualization, which consists of a circle filling time-coherent in radial sections over 20 s. For each detected heartbeat (r-peak) a line extends from the center of the circle. The length of the line and its color changes in direct correlation to the current RR-interval.

(a)“refvis”可视化，由一个心脏符号组成，它随着用户的心跳节奏而跳动，并在其上方以数字形式写出每分钟的实际电流跳动值。它被用作参考可视化灵感来自临床心电图监测设备，并提出在中心领域的主题的观点。(b)“径向”可视化，包括20秒内在径向截面上时间相干的圆填充。对于每一个检测到的心跳(r-peak)，一条线从圆心延伸。线条的长度和它的颜色变化与当前的rr间隔直接相关。
The “screenpulse” visualization, which consists of an red colored transparent texture, overlaid over the entire view of the user and fading in and out based on the user’s heart rhythm. This concept is adapted from the peripheral danger indicator visualization seen in many first-person view computer games.

“屏幕脉冲”可视化，由一个红色的透明纹理组成，覆盖在用户的整个视图上，并根据用户的心率淡入淡出。这一概念来自于许多第一人称视角电脑游戏中的外围危险指示器可视化。

The “cubegrid” visualization, which consists of a floor of cubes that bounce slightly in the rhythm of the user’s heartbeat. This visualization can be considered a predecessor of direct environmental modification biofeedback, where the final implementation would transform the virtual environments ground or floor in a similar way.

“立方体”可视化，它由一层立方体组成，这些立方体会随着用户心跳的节奏轻微地跳动。这种可视化可以被认为是直接环境修改生物反馈的前身，其中最终的实现将以类似的方式改变虚拟环境的底层或楼层。

Gradl S, Wirth M, Zillig T, et al. Visualization of heart activity in virtual reality: A biofeedback application using wearable sensors[C]//2018 IEEE 15th international conference on wearable and implantable body sensor networks (BSN). IEEE, 2018: 152-155.

作为一种先进的方法，扫描电子显微镜(SEM)是其中一种技术，获得的数据可以转移到虚拟环境。将科学知识转化为交互式3D VR环境格式有几种方法。转换可以包括艺术表现、使用电子显微镜等技术对数据的直接可视化或简化的3D模型。在地球科学的例子中，游戏引擎提供的不同艺术特征被用来放大小型建筑的某些特征。GEARS (Horton等人，2019年)利用表面着色器特性来强调共聚焦显微镜数据的选定特征。还有不同的呈现技术可用于呈现。例如，光线追踪的体绘制通过模拟光线来合成物体，而几何绘制则利用二维截面来构建3D模型。

材料科学广泛地依赖于体绘制。因此，为了克服延迟，采用了优化的渲染算法。在将体积点云表示传输到游戏引擎之前，为了创建直观的交互和自然的控制，Drouhard等人(2015)提供了使用提取方法来减小大小并提供更好的优化。

4.4.3 医学与生物学

医学可视化通常由二维介质组成，如横断面图像和磁共振成像(MRI)扫描。因此，从单个切片重建三维几何模型(Reddivari et al.， 2017;Soeiro等人，2016;Juanes et al.， 2016)。另一种方法是图像分割，它有助于从整体图像中分离指定部分的像素。Ciganek和Kepesiova(2020)提出了一种基于机器学习算法的分割和3D模型重建方法。医学或解剖模型的可视化由许多复杂的子部分组成(Liimatainen等人，2020年)。因此，研究设计了包括不同功能的界面，如标记、高亮显示(Marks等，2017年)、不同的颜色、选择性可视化(Soeiro等，2016年)和导航器(Juanes等，2016年)。此外，为了解决渲染摄影效果中的深度感知问题，使用景深(DOF)(马丁内斯和巴登，2020年)和渐变着色(Usher等人，2017年)来维持深度线索。虚拟现实可以通过提供适当的条件来辅助诊断过程。为了减少放射科的诊断错误，Sousa等人(2017)设计了一个虚拟阅览室，读者可以在显示亮度的同时调节照明和环境光。

一些研究包括不同的方法和学科，如医学教育(Huang et al.， 2016)，手识别(Reddivari et al.， 2017)，智能手机应用解剖学(Juanes et al.， 2016;Soeiro等人，2016)和生物反馈(Gradl等人，2018)。尽管由于图像性能、物理特性以及VR的易用性，大多数研究都使用了游戏引擎，但正如Elden(2017)的研究所检验的那样，游戏引擎可能不适用于科学可视化。Elden(2017)的研究包括三个样本;动脉，鼠脑，基因组。根据演示程序的要求，选择了不同的表示技术。因此，该研究为制定指导方针提供了便利。据该研究报告，游戏引擎是为几何可视化而设计的，它们的优先级不是准确性，而是速度，这使得游戏引擎不可靠。

Figure 1.1: Left: The artery model. Middle: The Genome models. Right: The Rat Brain model

图1.1:左:动脉模型。中间:基因组模型。右:大鼠大脑模型Figure 4.1: The genome data visualised inside the VR visualiser

图4.1:在VR可视化器中可视化的基因组数据Figure 4.2: The complete geometric representation of some of the larger rat brain segments visualised inside the VR visualiser.

图4.2:在VR可视化器中显示的大鼠脑段的完整几何表示。Figure 4.3: The geometric and volumetric artery model visualised inside the VR visualiser. The cut separates the volumetric and the geometric model.

图4.3:VR可视化器内可视化的几何和体积动脉模型。切割将体积和几何模型分开。
Figure 6.9: Left: World Space. Right: Volume space.

图6.9:左:世界空间。右:体积空间。Figure 6.10: Each object has its own local coordinate system while they share a world coordinate system. The blue area is the view space which determines what the camera can see.

图6.10:每个对象都有自己的局部坐标系统，同时它们共享一个世界坐标系统。蓝色区域是视图空间，它决定了相机可以看到什么。

Figure 6.13: The teleportation arc at a steep (left) and shallow (right) angle. The arc can be tweaked to balance between distance and ease of control.

图6.13:瞬移弧度呈陡峭(左)和浅(右)角度弧形可以调整，以平衡距离和易于控制。

Elden M K. Implementation and initial assessment of VR for scientific visualisation: Extending Unreal Engine 4 to visualise scientific data on the HTC Vive[D]. , 2017.

4.5 协作虚拟现实

协作虚拟环境(CVEs)对各种数据表示形式提供远程协作交互，独立于用户的物理位置。在一个综合的空间环境中，它们允许用户使用不同的信息渠道进行训练、回顾和讨论(Churchill and Snowdon, 1998)。以前的cve包括信息可视化、远程会议、模拟和社会事件。在设计cve时，最常用的技术是大型沉浸式空间显示和虚拟环境(VEs)，如cave和hmd。这些技术有许多不同之处，例如分辨率、存在性和移动的自由度。Cordeil等人(2017b)进行了一项用户研究，其中包括一系列关于3D网络可视化的任务，以比较VR平台上的任务。根据结果，虽然在准确性和体验上没有太大的差异，但hmd提供了更快的交互。因此，比起昂贵的洞穴式设施，现代hmd更适合用于沉浸式可视化。CVEs的目的是提供享受、社交和存在感，这对认知有益。

协作环境旨在更自然地连接多个用户，并增加用户打破隔离的意识。环境可以要求参与者位于同一位置或远程，并呈现不同的交互级别，例如对称或不对称。由于网络的限制，合作研究是可取的。然而，它们增强了人们在单一空间中的互动，限制了VR的机会。非对称应用程序不向所有参与者提供相同的交互可能性。例如，当一个用户使用VR头戴显示器进行交互时，另一个用户可能会通过传统的屏幕体验VR。用户之间的相互依赖关系与可视化的特殊需求密不可分。因此，根据可视化和协作机制，可以在设置中使用不同程度的不对称。不同设备的使用已经产生了可视化方面的不对称。根据参与者的角色，这种由硬件差异引起的不对称可能是一种有意识的设计选择。例如，ShareVR (Gugenheimer等人，2017a)提供了一种体验，在这种体验中，非HMD和HMD用户可以彼此交互，并与环境一起交互。他们实施了几个案例来构建共同定位的非对称VR体验指南。根据他们的研究结果，共享的物理空间和物理交互增强了体验，并为VR和VR游戏提供了新的交互方法。

另一个重要的交互决策是视点的确定。对于协作环境，这个决策可以分为两部分。第一步是确定用户在场景中的位置，第二步是决定用户之间的独立性。虽然一般倾向于只对一个共享视图使用“我看到的就是你看到的”原则，但是环境可以同步或异步地要求或为不同用户提供多个视图。例如，PlottyVR (Brunhart-Lupo et al.， 2020)由各种统计工具和库组成，提供了无数的可视化。为不同的用户提供多个视点使每个用户能够利用不同类型的可视化。在某些情况下，环境促进了非对称协作和多视点。Ibayashi等人(2015)在设计和架构中指出了这一需求，提出了一种名为“Dollhouse VR”的系统，该系统包括一个用于操作环境的多点触控桌面设备和提供内部视图的hmd。Xia等人(2018a)创建了一个场景编辑工具来支持协作工作流。这个名为Spacetime的工具引入了三个交互概念，使用户能够轻松地操纵环境:容器、并行对象和化身对象。

利用远程工作优势的公司也实现了虚拟现实，以从现有通信工具无法提供的交互可能性中获益。因此，团队合作的商业虚拟工具已经出现，如VISIONxR (Xia等人，2018b)。它允许多个用户在多个位置、多个设备上使用。这些虚拟平台旨在提高质量和效率，并创建易于适应的环境选项和界面。在表达交流方面，虚拟协作仍然不如共享相同的物理位置有效，包括语音凝视、手势、面部表情或全身动作。根据Fussell和Setlock(2014)的说法，在虚拟环境中，视觉动作比说话更重要。因此，为了传达信息，提供更有效和高效的交流，虚拟环境中开始使用虚拟形象和手势来代替属于物理世界的表情。为了增加实体的共同存在感，Amores等人(Amores等人，2015)提出了一个沉浸式移动平台，ShowMe。使用深度传感器和摄像头，用户可以看到自己的手势和双手，从而更容易协作完成一项物理任务。

VR设备需要硬件设备;因此，协作环境不是由一个而是由多个世界组成的，每个世界对应一个用户。这种情况会产生两种类型的用户;授权用户和连接用户。虽然授权用户可以通过本地机器直接控制世界，但连接用户的世界是持续同步的。这种分离是Hoppe等人(2021)提出的ShiSha的一个机会，它对远程虚拟环境使用移位但共享的视角修改。因此，它可以让用户从同一个角度观察，同时他们可以在自己的虚拟世界中看到其他人的虚拟化身。让多个用户共享一个虚拟空间需要个人的虚拟表示。另一项强调虚拟形象可视化潜力的作品是多用户细胞竞技场(MUCA)，其中(Bailey等人，2019年)提供可定制的虚拟形象。体现是许多社交VR体验的基础，并对存在产生积极影响。可定制的虚拟现实角色有可能增加归属感。

4.6 训练与模拟

虚拟现实技术为来自不同行业的人提供了处理复杂情况的能力，并为他们在现实环境中的角色做好准备。它已经成为士兵、医生、司机和飞行员必不可少的训练工具。此外，它还用于病人康复和灾难管理。根据Ott和Freina(2015)的说法，使用VR的主要动机是它能够提供难以访问、有问题或危险的背景或环境的体验。Mikropoulos和Natsis的研究综述(Mikropoulos和Natsis, 2011)报告称，与其他系统相比，VR更具有优势，因为它只有存在感和动态的3D内容，这对学习有积极的影响。大部分关于培训的研究集中在医学(Chang and Weiner, 2016)、安全(Xu et al.， 2017;Jeelani等人，2020a)，工业(Grabowski和Jankowski, 2015)，以及危机和应急管理(Ronchi等人，2016;Kwok等人，2019;Molka-Danielsen等人，2015;和康复(Joo等人，2020年;Yates等人，2016)

Figure 3
Virtual reality-based rehabilitation system on the burned hand of a study patient: (A) antero-posterior view (B) lateral view.

图3
研究患者烧伤手的虚拟现实康复系统:(a)前后视图(B)侧视图。

Figure 4
Volitional movements in the virtual reality-based rehabilitation system: (A) finger flexion/extension, (B) forearm pronation/supination, © wrist flexion/extension.

图4
虚拟现实康复系统中的意志运动:(A)手指屈伸，(B)前臂旋前/旋后，©手腕屈伸。

Joo S Y, Cho Y S, Lee S Y, et al. Effects of virtual reality-based rehabilitation on burned hands: a prospective, randomized, single-blind study[J]. Journal of clinical medicine, 2020, 9(3): 731.

Exemplary representation of the emergency exit portal within the VR environment

虚拟现实环境中的紧急出口入口的典型代表

Example of the emergency exit portal view in the VR environment

VR环境中的紧急出口门户视图示例

Ronchi E, Nilsson D, Kojić S, et al. A virtual reality experiment on flashing lights at emergency exit portals for road tunnel evacuation[J]. Fire technology, 2016, 52(3): 623-647.

由于虚拟现实训练场景主要涉及计算机生成的三维图形，因此三维建模在虚拟训练环境的创建中具有重要意义。开发人员有几种创建相关内容的选择。高级3D建模软件，如3ds Max, Rhinoceros, Maya和Blender，为开发人员提供了创建逼真环境的机会。除了这些工具，游戏引擎和3D模型库的资产存储也呈现出各种选择。三维模型的可重用性和可定制性降低了系统的成本。为了达到训练环境所必需的高水平的沉浸和存在感，人工生成实际信息需要刺激主要感官。因此，为了保持完全沉浸式的体验，我们使用了立体显示器、运动跟踪硬件和输入设备。主要为任天堂Wii平衡板、索尼Playstation Move和微软Kinect等游戏开发的体感控制器的发布促进了训练的进化。随着附加设备的贡献，VR训练领域扩大到舞蹈训练、飞机控制、康复等。虚拟现实在实际应用中的研究产生了新的术语，如虚拟工厂，它是由许多子模型组成的模拟模型，以表示一个工厂的单元。这种集成提供了计划、产品改进、有效的计划阶段、决策支持、测试和系统控制。在工业4.0的背景下，汽车工程、航空航天工程、机械工程和医学领域采用了不同的可视化技术、动态虚拟模型和仿真类型，如离散事件或三维运动仿真。VR训练通常更适合医学领域，因为它可以提供紧急管理、成本效益、任务递归性，以及远程手术训练(由于物理程序需要触觉设备)。

为了通过触觉设备操纵虚拟物体，除了基于几何的建模，医疗过程还需要基于物理的建模来模拟可变形物体(Escobar-Castillejos等人，2016)。然而，虚拟现实环境中可变形物体的动画仍然是一个具有挑战性的问题，而基于物理的有效虚拟物体交互方法需要计算复杂性。与虚拟对象的物理交互需要真实地模拟，以使人信服。这对于需要详细的手部交互的训练场景尤其重要，比如外科手术训练。实际的手部运动会导致物理引擎的不稳定结果，从而导致互穿。为避免仿真过程的复杂性和误差范围，大多数交互方法都进行了简化。

最近，虚拟现实已经开始取代传统的康复方法。提出的这种转变的方法融合了来自不同领域的各种假设。例如，基于神经运动康复的假设，康复游戏系统(rehabilitation Gaming System, RGS)和个性化训练模块(Personalized Training Module, PTM)共同形成了游戏开发和设计，用于调整任务难度。根据预期的结果，康复需要专门的可视化技术。例如，在运动功能意识的发展过程中，视觉能够提供反馈，而且神经运动康复也可能依赖于运动和环境可视化(Tsuji和Ogata, 2015)。为了满足这些需求，TRAVEE (Voinea et al.， 2015)提供了用于神经运动康复的3D场景和友好的界面，积极影响用户的过程。

紧急情况是指需要迅速和有效反应的意外事件。为了改善人类在人为和自然灾害下的行为，模拟如用于分析和控制的飓风洪水，消防安全，以及评估人类感知和行为的地震模拟(Gamberini等人，2015)已经被设计和使用。对于成功的预先疏散或行动，评估情况和反应时间是关键因素。不同紧急情况的模拟提供了对情况评估的预期、意识和行动时间和行为的改进。例如，根据(Rosero, 2017)，大多数参与者呈现不成功的火灾增长估计结果。虚拟环境的学习方法和本质使得交互成为一个基本特征，包括操作导航等多面特性。除了这些特征之外，个性化方法和自适应技术应该被首选，以提高基于虚拟现实的训练的有效性(Jeelani等人，2020b)。

尽管基于虚拟现实的模拟器在提高认知和精神运动技能、帮助用户控制情绪反应方面具有优势，但由于晕机和技术挑战的原因，为高风险行业培训个人仍存在问题。航空、消防、军事、医药和制造等领域需要高度的现实主义才能达到一定程度的成功。模拟器可能不能有效地表示导致过度简化训练环境的不确定性。另一个问题是，模拟器是由软件开发人员开发的，他们在大多数情况下不是所选主题的专家。因此，该分支的研究主要集中在这些问题上。Vahdatikhaki等人(2019)批评大多数建筑培训模拟器由于静态现场表现而不现实。他们的框架提供了四个阶段;上下文捕获、上下文生成、上下文-用户交互以及基于上下文的评估。虽然这一过程是为建筑现场模拟提出的，但它适用于广泛的情况下，需要上下文逼真的环境。此外，游戏引擎的广泛使用背后的易用性和原因是接近现实的成就，特别是粒子系统工具。通过对火灾模拟的研究，可以肯定的是，烟雾真实的扩散和扩散过程是至关重要的。烟雾可视化需要高的计算机性能和高水平的真实感，这可以通过游戏引擎来提供。

利用游戏引擎的优势，Shamsuzzoha等人(2019)提出了一个框架，包括从数据库到工业培训和维护评估的五个阶段。他们的原型包括小地图、闪烁的注意感叹号、逼真的视觉效果和与系统交互的物联网屏幕，这些可视化偏好使交互和信息流成为可能。

4.7 Web虚拟现实

Web服务已经成为主要的数据源，随时随地提供对信息的访问。然而，网络浏览器在很多情况下是有局限性的，大多数研究都集中在解决这些局限性上。由于浏览器的渲染能力，实现大规模、实时的可视化需要大量的工作。Yan等人(2020)采用不同的在线实时消防训练技术来解决这一问题。他们更喜欢在视点变化时逐步下载数据，并将虚拟人物转换为轻量级版本。他们采用了一种叫做“克隆”渲染的技术。现场可视化或处理，即数据在模拟生成时实时可视化的技术，被使用。因此，不涉及存储资源;这是数据传输的自然解决方案。由于它是实时生成的，用户可以干扰分析即时效果。VRSRAPID (Mascolino等人，2019)web应用程序使用可扩展的3D虚拟现实模型(X3D)进行交互式科学计算。它是一个协作和交互环境设计的核系统支持实时模拟。传统的核建模和仿真工具大多建立在确定性或统计方法上。确定性解决方案是内存密集型的，需要大量的计算资源。另一方面，统计方法，如蒙特卡洛方法，可能会导致统计上的不确定性。

The roadmap of Technology

技术路线图

Comparison of an interior scene of subway station before and after lightweighting

轻量化前后地铁站内部场景对比

Extracting an exterior shell from a building

从建筑物中取出一个外壳

A subway interior is partitioned into six subspaces

地铁内部被划分为六个子空间

Online interactive Web3D Visualization of massive escaping passengers

在线交互式Web3D可视化大规模逃离乘客

Lightweight preprocessing of heavy FDS smoking volume field

重FDS烟量场的轻量化预处理

Unifying the volumetric smog density into 28 opacity levels

将体积雾霾密度统一为28个不透明度等级

Self-adaptive smog LoD for Web3D Rendering

自适应雾霾LoD用于Web3D渲染

Roadmap of trace-clustering subway evacuation path planning (TC-eACO)

轨迹聚类地铁疏散路径规划路线图(TC-eACO)

Online collecting subway evacuation of virtual passengers via glasses

通过眼镜在线收集地铁疏散虚拟乘客
Preprocessing of online subway escaping traces of four cases: (a) reserve all the valid traces that have successfully reached some exists within the specified threshold; (b) delete the traces that have failed to reach the exits; © delete the wandering traces over the specified length threshold; (d) smooth the invalid traces containing redundant trace; (e) smooth the invalid traces containing loops

对四种情况的在线地铁逃逸痕迹进行预处理:(a)保留所有成功到达的有效痕迹，在指定的阈值范围内存在;(b)删除无法到达出口的痕迹;©删除超过指定长度阈值的漫游轨迹;(d)平滑含有冗余痕迹的无效痕迹;(e)平滑包含循环的无效轨迹
Backbone extraction

骨架提取

Online Web3D Visualization of 1000 virtual Passengers

在线Web3D可视化1000个虚拟乘客

Sprite texturing particle based real time rendering of a smog scenario at the Web browser

在Web浏览器上基于雾霾场景的Sprite纹理粒子实时渲染

The visual evacuation process of 1000 agents in a subway station under the TC-eACO algorithm

TC-eACO算法下地铁车站1000人的可视化疏散过程

Yan F, Hu Y, Jia J, et al. Interactive WebVR visualization for online fire evacuation training[J]. Multimedia Tools and Applications, 2020, 79(41): 31541-31565.

为了建立一个准确的、实时的模型，他们使用RAPID Code System，并在计算结束时生成X3D模型。为了探索健康数据的可视化方法，Hadjar等人(2018)提出了一个利用多个库和一个a框架框架的原型应用程序。Web分析包括图表、图形、图表、集成到可视化系统中的动画，以及其他可视化技术的组合。使用a - frame允许开发人员基于光线投射和动画对象来创建交互性，从而有效地解释多维数据集。

库允许用户通过映射从外部来源获得的数据集来构建3D可视化。遵循Shneiderman的咒语，基于web的ExplorViz (Fittkau等人，2015)工具呈现了一个软件城市隐喻，具有翻译、旋转、缩放、选择和重置任务的手势识别。Vria (Butcher等人，2019年)更倾向于使用3D条形图进行数据探索和分析，因为它们非常简单。随着基于VRGIS的网络环境重要性的增加，WebVRGIS引擎(Lv等人，2016)为数据发布、传输、多用户使用和解决P2P技术的问题提供了支持。空间分析需要对大尺度、多源的城市景观进行三维可视化。由于计算量和内存需求，实时绘制大量数据非常麻烦。他们使用了一个交互式渲染系统和可视化优化技术，如纹理映射、自动细节级别、遮挡剔除和截锥剔除来解决这个问题。在这项工作的基础上，Li等人(2016)提出使用WebVRGIS引擎对实时动态交通数据进行分析和可视化。正如在前几节中所理解的那样，大多数科学可视化都依赖于体积可视化，特别是在医学研究中。为了在VR中可视化使用3D医学扫描获取的网格和体积数据，Kokelj等人(2018)开发了一种基于web的应用程序。利用Med3D框架的渲染管道，他们使用了体积射线投射技术，该技术使用输出图像执行计算。

NeuroCave (Keiriz等人，2018)是一种视觉分析工具，为探索提供交互式方法和可视化选择。它允许用户使用配色方案来区分区域和它们的功能。他们没有使用逼真的绘制方法，而是使用不同的柏拉图实体来构建连接体。为了简化渲染过程，ProteinVR (Cassidy等人，2020)利用游戏式的摄像机运动，其中物体是稳定的，只有摄像机可以移动。因此，他们能够使用预先计算的阴影和纹理来提高浏览器的性能。

4.8 游戏、可视化和VR

电子游戏是信息的集合，广泛依赖于包含各种属性的信息呈现，这些属性会随着状态的变化而变化。由于拥有大量数据，在数字世界中玩的游戏比在易于理解的物理世界中玩的游戏更复杂，有不同的需求。数代人以来，数据可视化一直被用于游戏中，以创造持续的交流。虽然早前游戏中的可视化组件更直接，通常用于传输玩法数据，但它们在现代游戏中用于多种情况。与信息可视化相关的柱状图和树形图等表示形式在游戏中广泛存在;然而，特别是娱乐方面在执行上产生了差异。除了实现细节之外，虚拟现实在电子游戏行业的应用还产生了对更根本差异的需求。虽然先驱者推出了商业化的虚拟现实视频游戏，世嘉VR和任天堂的虚拟男孩，但它们在90年代被认为是不成功的。这一过程始于2016年，随后推出了各种产品，如Gear VR (Oculus)、HTC Vive (HTC和Valve)、PlayStation VR(索尼互动媒体)和三星Gear VR，通过为电子游戏提供主要的新奇事物而取得了巨大的成功。

虚拟现实游戏与传统电子游戏的不同之处在于沉浸感的程度以及与虚拟内容的互动类型。减少外部世界之间的连接水平以及包含身体和手部动作提供了创新的游戏体验，这需要新的技术来可视化虚拟世界。交互不仅发生在HMD用户之间，而且co - locate参与者也可以交互。VR游戏ShareVR (Gugenheimer等人，2017b)提供了HMD和非HMD用户之间的不对称互动。最近的可视化研究包括额外的界面功能、自适应提示、上下文敏感的教程和玩家导航的新方法。为了使VR游戏中的3D操作更容易，Rachevsky等人(2018)提出将玩家的手势作为界面的一部分进行图形化呈现。根据Polys and Bowman的说法，比起关注实用性，游戏中的可视化应该具有功能性和愉悦性。他们开发的框架提出了识别可视化技术的五个要素:主要目的、目标受众、时间使用、视觉复杂性和沉浸感。

Screenshot of the developed game, with the player located at the center and the aim touching an asteroid.

开发的游戏截图，玩家位于中心，目标触碰小行星。
Two ships, one moving towards the lower left corner of the screen with blue trace, and the other moving towards to top edge of the screen with a red trace. The player is located at the center, with blue target aim.

两艘船，一艘以蓝色轨迹向屏幕左下角移动，另一艘以红色轨迹向屏幕上边缘移动。球员位于中心，蓝色的目标瞄准。
Participant playing on HMD with the Rift touch control.

参与者在HMD上玩Rift触控。
Participant playing on PC with keyboard and mouse.

参与者在PC上用键盘和鼠标玩游戏。

Rachevsky D C, de Souza V C, Nedel L. Visualization and interaction in immersive virtual reality games: A user evaluation study[C]//2018 20th Symposium on Virtual and Augmented Reality (SVR). IEEE, 2018: 89-98.

4.8.1 视觉真实感和存在感

斯莱特等人(2009)提出了现实主义组件之间的划分，如几何和照明。几何现实主义考虑的是虚拟物体的特性，而照明现实主义则考虑的是照明的便利性。目前已有的大部分研究和讨论都是基于Slater的虚拟现实中的地点错觉(PI)和似是而非错觉(PSI)的理论框架以及几何现实主义和照明现实主义的子成分。斯莱特对人们的反应进行了争论，并根据事件和地点的可信性定义了两种错觉。VR游戏中的PI机制致力于呈现游戏对象和场所以增加存在感。PSI机制提供了有说服力的游戏事件和活动，同时玩家积极参与模拟环境的大视野。除了视觉，VR系统还应该提供听觉和触觉显示，以有效维持PI和PSI。PI和PSI的影响程度可以根据环境的主要目标而变化。例如，Lynch和Martins(2015)的调查研究调查了沉浸式VR游戏中的恐惧体验。随后对恐惧因素进行了进一步的分类，并确定了应对恐惧因素的策略和反应。根据他们的研究结果，PSI元素比PI元素引发的恐惧反应水平更高。另一项研究是基于Slater complement (Hvass et al.， 2018)的作品，对视觉现实主义效果的建议。参与者的生理测量和自我报告结果显示，更高程度的几何现实主义会诱发更强的存在感和情绪反应。

Screenshots of the kitchen (left) and living room (right) as they appeared in the condition involving high geometric realism.

厨房(左)和客厅(右)的截图出现在高几何现实主义条件下。
Screenshots of the ves used for the study: low geometric realism (left) and high geometric realism (right).

用于研究的ves截图:低几何现实主义(左)和高几何现实主义(右)。

Hvass J, Larsen O, Vendelbo K, et al. Visual realism and presence in a virtual reality game[C]//2017 3DTV conference: The true vision-capture, Transmission and Display of 3D video (3DTV-CON). IEEE, 2017: 1-4.

4.8.2 游戏数据

与游戏玩法相关的文本格式数据通过图形表示进行处理和呈现，使用户能够吸收这些数据。根据文献调查(Sevastjanova等人，2019;Wallner和Kriglstein, 2013)的游戏玩法数据、图表、热图、不同类型的移动可视化、自组织地图(SOMs)和节点链接表示是最常用的类型。根据所要表示的信息选择最有效、最方便的方法是至关重要的一步。尽管它们可以以不同的形式解释，但图表和图表比探索性任务更适合直接需求。

根据Kriglstein(2019)的分类研究，收集玩法数据有两种方法。我们可以通过观察玩家互动或问卷和访谈收集基于观察的数据，这有助于开发者了解玩家的动机、行为和偏好。可通过开发的介质自动采集数据。这些方法之间的主要区别之一是，第一种方法提供定性的结果，而第二种方法产生定量的数据，这更便于可视化。数据可以是空间的、非空间的或时间的。Kriglstein(2019)的分类法根据任务和数据类型，提出了六个不同的类别:比较、分布、关系、时间、空间和流。

据我们所知，不幸的是，目前还没有足够的研究来为虚拟现实中游戏玩法数据的可视化建立具体的理解。与游戏玩法数据呈现相关的可视化研究主要集中在传统电子游戏上。由于游戏数据的独特需求，为信息可视化而构建的分类法和技术无法适应这种变化。

4.8.3 博弈分析

越来越复杂的游戏和用户需要新的领域，而不是传统的方法，如用户测试、游戏测试、调查和录像来评估玩家行为。设计师、程序员、营销人员、高管和玩家都在以不同的方式和目的使用游戏玩法数据。使用可视化是综合分析数据的必然选择。虽然使用了信息可视化技术，但电子游戏以独特的视觉体验为不同的受众提供了分析的新方向。InfoVis社区已经定义了用于数据分析的系统，其中分析不仅是重点，如“休闲信息可视化”(Pousman et al. 2007)——属于这一类，环境、社交和艺术信息可视化被批评为低效。可视化将游戏与数据分析相结合，被认为是有趣的信息。Medler和Magerko(2011)提出拓宽Playful InfoVis的范围和功能。

由于VR的性质，分析已经成为VR游戏的一个重要组成部分。分析通过提供实时信息、通过呈现的数据进行微调、发现设计阶段的问题、理解玩家群体、玩家粘性水平和游戏风格，帮助开发者提高性能。与游戏玩法数据一样，沉浸式可视化领域也不研究游戏分析。特别的是，为传统环境产生的游戏分析可视化可以用于信息可视化领域的沉浸式环境。

4.8.4 游戏化和游戏化概念

尽管“游戏化”不是一个新概念，但它一直被认为是一个有争议的术语，游戏社区中不断出现类似的术语。Deterding等人(2011)将“游戏化”定义为在非游戏环境中使用游戏设计元素。在随后的调查中，Seaborn和Fels(2015)将游戏化定义为“有意使用非游戏任务和情境的游戏元素或游戏体验”。游戏化利用诸如积分、解锁、成就、排行榜、关卡、虚拟道具、任务、角色、收集、竞争或非游戏应用中的合作等游戏元素来强化用户动机。另一方面，严肃游戏是为非娱乐目的而设计的。之前的研究证实，在公民科学游戏中，视觉属性会影响用户的动机(Curtis, 2015;Miller等人，2019年)。EyeWire (Tinati et al.， 2017)是一个基于网络的游戏化公民科学平台，它鼓励用户在游戏化环境中将复杂的任务转化为更易于管理的任务。

根据一项研究(Tinati et al.， 2016)，排行榜、个人积分、可定制角色和视觉设备等游戏化元素可以提高用户粘性。Foldit (Curtis, 2015)是另一个公民科学游戏，这是一个谜题游戏，包含蛋白质折叠的分子可视化。对视图选项设置的游戏数据分析显示，专家和新手根据任务的可视化选择存在显著差异(Miller et al.， 2019)。

借助VR、AR和MR技术，数据可视化从被动探索转变为更具互动性的探索。将游戏设计概念的互动性与数据可视化相结合，可以减少认知过载，同时让玩家沉浸在内容中。为此，Wanick等人(2019)提供了两个关于科学数据轨道可视化和地球数据可视化的案例研究，他们将游戏设计概念和数据世界与VR技术相结合。为了测试VR游戏交互在科学领域的可用性，Bergmann等人(2017)开发了适合VR游戏交互技术的粒子物理学、生物学和医学成像领域的可视化。他们报告称，尽管VR游戏策略包括一些困难，如模拟疾病，但它们提供了无数的机会，并为科学领域提供了高度的沉浸感。GamefulVA (Sevastjanova et al.， 2019)的提出是为了通过结合游戏设计概念和视觉分析来培养动机。

Figure 2: A virtual visit on the KATRIN detector platform. In the foreground the target gizmo (light blue circle) pointing to the next teleport location.

图2:对KATRIN探测器平台的虚拟访问。在前景中，目标小发明(浅蓝色圆圈)指向下一个传送位置。
Figure 3: 3D view (left) and 3D explosion drawing (right) of the weevil Trigonopterus vandekampi.

图3:黄Trigonopterus vandekampi象鼻虫的3D视图(左)和3D爆炸图(右)。
Figure 4: The teleporter in the entomology virtual lab.

图4:昆虫学虚拟实验室中的传送器。Figure 5: Grabbing and investigating the beetles leg in detail. As visual feedback of the user hand position a robot hand is displayed in the virtual world by the UE4 VR blueprint template.

图5:抓住并调查甲虫腿的细节。作为用户手部位置的视觉反馈，机器人的手部通过UE4 VR蓝图模板在虚拟世界中显示出来。

Figure 6: A virtual USCT image viewer: segmented 3D mesh in the foreground, the original image slice behind the table in the background in poster size.

图6:一个虚拟的USCT图像查看器:前景中分割出的3D网格，原始图像切片到背景中的桌子后面，尺寸为海报大小。

Bergmann T, Balzer M, Hopp T, et al. Inspiration from VR Gaming Technology: Deep Immersion and Realistic Interaction for Scientific Visualization[C]//VISIGRAPP (3: IVAPP). 2017: 330-334.

另一种将电子游戏与其他领域相结合的游戏类型是运动游戏。Exergames旨在将体育锻炼和电子游戏相结合，要求玩家根据游戏机制进行身体运动。除了用Wii Remote和微软Kinect传感器等控制器玩的非沉浸式运动游戏，还有像《Ingress》和《精灵宝可梦Go》等鼓励身体活动的普遍游戏。随着最近的发展，VR在用户粘性和性能方面变得更加高效。因此，电子游戏被转化为VR格式，需要身体动作的新游戏也随之问世，如《水果忍者VR》、《热蹲》、《全息点》、《传送门故事:VR》等。根据一项评估研究(Gugenheimer et al.， 2017b)，虚拟现实游戏减少了感知的努力，激励人们更多地锻炼。除了VR提供的直接机会外，一些研究还专注于个性化和调整可适应界面的难度，以保持玩家的沉浸感。对于身体活动的可视化，已经提出了不同的策略。在名为HappyFit的抽象信息展示中，他们更喜欢通过颜色、形状和隐喻来保持抽象、非侵入性和积极的可视化，以提供一致的信息并保持玩家的参与。这一策略的主要目的是通过提高意识来鼓励短期和长期的体育活动，从而产生个人反应。

4.9 设计考虑和用户交互

本文的这一部分旨在解释评估方法和结果的重要性，并为以前的研究提供设计考虑的建议。可视化领域倾向于依赖于没有被证明但有坚实基础的假设。Kosara(2016)将这种情况定义为“建立在沙子上的帝国”，并通过他的研究解释说，即使是对最常用的可视化的假设也可能是错误的。反复质疑和测试假设以获得证据对于为发展和进化创造坚实的基础至关重要(Kosara, 2016)。作为社区的集体责任，在文献中可以找到数百名作者，他们使用和开发了各种度量标准、分类法和类型化，提出了指导方针，并为背后的多层次理解过程创建了模型，并对可视化的不同方面进行评估。

4.9.1 视觉感知

虽然感知在VR中得到了广泛的研究，但新的感知挑战仍在不断涌现。这些挑战不仅包括深度和距离、形状、大小、颜色和对比度等3D可视化特征，还涉及硬件相关问题。人的三维视觉感知与深度感知密切相关，深度感知也可以定义三维可视化的有效性和舒适度(Dede, 2009)。视觉线索在3D环境中提供深度感知，如遮挡、旋转、阴影和阴影。多角度观看3D可视化增强了对数据的理解。不幸的是，旋转方面不适用于以文本格式表示的数据。根据Bertin(1983)，人类的视觉感知可以被描述为三个层次。单个元素、一组元素或整个图像都可以成为焦点。专注力支撑用户完成特定任务。根据数据的密度，对原始数据进行转换的方式应该有利于用户的聚焦能力。为了实现这一点，方法可以包括视觉属性，如颜色、位置、大小、形状和技术，如不同的透视图或聚类。

虚拟环境中的视觉感知一般都是用Gibson理论的视角来研究的。Gibson(1977)指出，环境为演员提供了不同的行动可能性，称为可视性。根据这一观点，行动者与环境共存，感知与行动直接相关。从这个角度，研究人员研究了不同情境、高度和深度知觉的可视性知觉。Cliquet等人(2017)分析了在VR中站在倾斜表面时的可视性感知，并考虑了不同材料的影响。根据他们在VR中的实验结果，虽然参与者可以辨别出适合直立姿势的角度，但参与者确定的直立姿势的近似临界角度低于真实环境中的研究结果。Nagao等人(2018)设计了一种带有被动触觉板条和标记的无限楼梯演示界面，以增加存在感和立管高度。后来，为了检验移动时的高度感知，Asjad等人(2018)为虚拟环境设计了一个无限上升的楼梯，它与物理世界中的楼梯共享精确的维度。根据他们的研究，虚拟鞋对存在感和误差估计有积极的影响。

Figure 1: Three decades of various immersive analytics systems using CAVE [43], stereoscopic [4], or Head Mounted [15] Displays.

图1:三十年来使用CAVE[43]、立体[4]或头戴式[15]显示器的各种沉浸式分析系统。
Figure 2: IDEA project preliminary developments. Users have roller chairs with tablets, they can either sit, stand, or walk to explore and interact with the data environment, so as to make maximal use of embodied perception and action.

图2:IDEA项目的初步发展。用户拥有带平板的滚轮椅，可以坐、可以站、可以走，与数据环境进行探索和交互，最大限度地利用具身感知和行动。

Cliquet G, Perreira M, Picarougne F, et al. Towards hmd-based immersive analytics[C]//Immersive analytics Workshop, IEEE VIS 2017. 2017.

4.9.2 运动

在虚拟环境中保持用户的有效导航一直是一个挑战。虽然最自然的虚拟运动技术是直接映射用户的物理运动，但由于物理空间的限制，不同的运动技术已经被提供。

隐形传态是一种移动技术，通常需要用户在虚拟环境中瞄准目标位置。虽然它克服了空间上的限制，为用户提供了多用户的旅行体验，但由于瞬移导致用户的空间不连续性，可能会造成混乱和缺乏持续的反馈。为了解决这个问题并保持用户之间的沟通，Thanyadit等人(2020年)考虑到时间效率、可追溯性、直观性和可识别性，提出了四种不同的可视化:悬垂、跳跃、消退和传送门。这些动作的表现旨在创建可追踪的可视化，向其他用户提供反馈，以避免混淆。痕迹等线索有助于用户了解自己的位置，降低空间认知成本。Cherep等人(2022)进行了一项研究，以了解瞬移接口对不同个体的影响。他们的结果表明，界面的设计和个体差异创造了不同的空间认知案例，并与这些参数有关，用户对位置变化的感知。这项研究指出了在沉浸式环境中定义目标受众和了解设计选择的影响的重要性。

Figure 1: The common line visual cues for teleportation.

图1:传送的常见视觉线索。

Figure 2: Proposed teleportation visualizations: (a) Hover SV,
(b) Jump SV, © Fade SV, and (d) Portal SV

图2:隐形传态可视化建议:(a) Hover SV，
(b)跳跃SV， ©淡出SV， (d)传送门SV

Thanyadit S, Punpongsanon P, Piumsomboon T, et al. Substituting Teleportation Visualization for Collaborative Virtual Environments[C]//Symposium on Spatial User Interaction. 2020: 1-2.

4.9.3 交互

沉浸式技术给研究人员带来了许多新的挑战。交互技术可以使体验更加轻松或繁琐。观众与可视化数据之间有意义的互动增强了虚拟世界的沉浸感，观众可以看到数据并探索不同的方面。研究已经产生了无数的VR交互技术，如选择、操作和运动。研究人员正在寻找可视化任务与数据交互的创造性方法。

Onorati等人(2018)开发了沉浸式气泡图，特别是从非结构化数据中获取信息。他们的工作包括分类气泡，可以对单个气泡进行语义分组，并允许用户通过单词探索数据。在Unity中设计的体验允许用户抓取、缩放、删除和合并气泡，并跟踪以前的视图。Rachevsky等人(2018年)开发了一款第一人称射击游戏(FPS)，既适用于HMD，也适用于利用显示器和传统控制方式的非沉浸式游戏，并对不同版本的游戏进行了测试。而免费瞄准版本比沉浸式版本有更好的效果，因为用户在免费瞄准版本中使用键盘移动相机，固定瞄准版本对非沉浸式版本有更好的效果。就易用性而言，沉浸式游戏和非沉浸式游戏的结果是不同的，他们一致认为沉浸式游戏需要更自然和直观的互动。
Figure 1. The Immersive Bubble Chart for the use case: (a) View of the five main category bubbles: who, how, what, when, and where. (b) View of the individual bubbles in the place category. © Breadcrumb on the wrist with the path of explored views.

图1所示。用例的沉浸式气泡图:(a)五个主要类别气泡的视图:谁、如何、什么、何时和何地。(b)查看地方类别的个别气泡。©手腕上的面包屑，上面有探索过的观点的路径。

Onorati T, Díaz P, Zarraonandia T, et al. The Immersive Bubble Chart: a Semantic and Virtual Reality Visualization for Big Data[C]//The 31st Annual ACM Symposium on User Interface Software and Technology Adjunct Proceedings. 2018: 176-178.

4.10 比较研究

设计和实现决策对于数据表示非常重要。这个过程从原始数据开始，直到它形成最终形式，需要做出许多选择。新技术、新技术和新思想的出现需要不断的分析来创造一个具体的背景。不幸的是，沉浸式可视化缺乏标准的指导方针。为了证明这种偏好背后的基本原理，研究人员进行了比较研究。在用户体验测试中，沉浸式技术意味着特定的结果。要选择沉浸式可视化而不是传统的可视化，需要通过一个门槛要求。这个阈值与人机交互中被广泛研究的用户体验和技术接受度问题密切相关。例如，Shrestha等人(2016)为CAVE环境重建了尼泊尔的历史遗址，并与Paper-Based artifact进行比较。结果表明，参与者在VR中很难解决复杂的问题。这种斗争可能是由于不习惯新技术而产生的阻力的原因和结果。

Ren和Hornecker(2021)进行了一项用户研究，通过为物理和虚拟环境创建相同数据集的两种等效表示来比较虚拟和物理数据表示。这项研究表明，虽然物理化有助于减少反应时间，但由于VR滞后，参与者倾向于在VR环境中缓慢移动，这影响了体验的质量。根据Millais等(2018)对散点图的研究，传统可视化和VR可视化的工作量几乎相等。他们报告称，用户在使用VR进行数据探索时感到更满意和更成功。基于任务的比较二维和三维可视化版本给出了更多样化的结果。一项比较研究(Kraus et al.， 2020)将Brehmer和Munzner的可视化任务分类方法用于概述任务，结果显示，在读取和比较单个数据项时，2D热图的结果更好，在虚拟现实环境中测试的3D热图的错误率更低。这种情况导致研究人员使用混合技术。

在他们的研究中，Roberts等人(2022)使用案例研究讨论了不同的可视化技术，以确定创建不同的3D可视化的关键特征。他们的结果表明，使用多视角和不同视角可以增强理解。然而，每种可视化技术都需要解决各种各样的问题。这些问题并不总是与可视化的结构有关。沉浸式可视化需要同时优化多个参数。除了这些比较，在沉浸式环境中如何有效利用空间来表示数据是另一个研究课题。一项荟萃分析研究(Akpan和Shanker, 2019)由162项综合研究组成。与2D可视化相比，VR在DES任务性能上提供了更有效的模型开发、验证和验证性能。有几种方法可以在虚拟环境中指导用户。

引导可以通过声音、视觉线索或动画发生。例如，虚拟环境中的注释通常用抽象的手势、文本或简单的对象表示。替代指导可以基于虚拟导师的模仿，它可以演示需要完成的任务。基于三种不同的任务，Lee等人(2019)比较了Annotation和Tutor的有效性。根据整体结果，发现注释对准确性和时间性能更有帮助。另一方面，使用导师可以提高对模式的回忆。

Screenshots of the use of visual instructions, i.e., annotation (ANN) and tutor (TUT), in crane manipulation (CM), stretching exercises (SE), and maze escape (ME). (a) ANN-CM, (b) ANN-SE, © ANN-ME, (d) TUT-CM, (e) TUT-SE, (f) TUT-ME

在起重机操作(CM)、拉伸练习(SE)和迷宫逃脱(ME)中使用视觉指令，即annotation (ANN)和tutor (TUT)的截图。(a) ANN-CM、(b) ANN-SE ANN-ME ©, (d) TUT-CM, (e) TUT-SE TUT-ME (f)

Top view of the map of ANN in ME. The red circle with ’S’ and ’G’ indicate start goal positions respectively. From S to G, there exist 5 intersections that are represented as white sphere with two choices.

ANN在ME中的地图俯视图。“S”和“G”的红色圆圈分别表示起始目标位置。从S到G，存在5个交点，这些交点用白色球面表示，有两种选择。
Out-of-view visual guidance indicator of ANN in ME; three yellow 3D arrows for the body parts (middle) and red 3D arrows to make user face the front side (low).

神经网络在ME中的视野外视觉引导指标三个黄色的3D箭头表示身体部位(中)，红色的3D箭头表示面向前方(低)。

Five poses in SE: (a) forward bend; (b) triangle; © side bend stretch; (d) mountain; (e) neck relaxing.

东南五种姿势:(a)前屈;(b)三角形;©侧弯拉伸;(d)山;(e)颈部放松。

A participant taking the triangle pose in the SE evaluation

在SE评估中做三角姿势的参与者
Top view of four equipment in CM. (a) Wheel that turns clockwise or counterclockwise to pick up a crane hook, (b) Joystick that contains 2 dimensional degrees of freedom (x,y) to translate the position of crane hook, © Six buttons, including the grab button, (d) Lever which is pulled up or down to change gears of from 1 to 3

四设备在CM的俯视图。(a)轮,顺时针或逆时针捡起起重机吊钩,(b)操纵杆,它包含二维自由度(x, y)翻译起重机吊钩的位置,© 6个按钮,包括获取按钮,(d)杆向上或向下拉改变齿轮的从1到3

Lee H, Kim H, Monteiro D V, et al. Annotation vs. virtual tutor: Comparative analysis on the effectiveness of visual instructions in immersive virtual reality[C]//2019 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). IEEE, 2019: 318-327.

5 讨论

由于大量的选项和缺乏共同点，选择或创建方法和技术来可视化特定类型的信息是具有挑战性的。虽然所有可视化技术的主要目的是通过可视化媒介进行交流，根据数据、用户、定义的任务以及从数据收集开始的表示技术，但整个过程需要不同的技术。大多数科学可视化数据是通过传感器、显微镜、摄像机等设备获得的，或者通过模拟体绘制、切片提取切片。因此，数据已经适合传输到虚拟3D环境中。

数据可视化研究更多的是与抽象数据相关，侧重于表现和分析方面。考虑到研究，根据主题，信息可视化可以包括这两个方面。例如，艺术和建筑领域使用的技术与科学可视化技术有更多的相似之处，而计算机科学处理类似的数据可视化问题。领域的特定需求会对不同的主题进行不同的讨论。例如，纳米科学和建筑遗产领域已经有了3D物理形式需要改造。对于这种转换，讨论主题可以集中在抽象级别、模型的交互技术或文本数据表示的周围。另一方面，如果将文化遗产的统计数据进行可视化，这一次，数据没有一个物理的对等物来直观地展示它。物理属性将注重数据的特征和设计原则;色彩和感知理论可能扮演着更重要的角色。

物理属性和知觉理论被广泛用于抽象。考虑到数据本身所呈现的交互可能性，一般来说，抽象级别和呈现的交互能力之间存在相关性。抽象可视化对操作和交互更开放，更适合分析。另一方面，更多的文字和现实的可视化更具有代表性。科学可视化大多依赖于结合抽象元素的三维体数据。虽然领域和主题根据数据类型不同而不同，但可以使用通用的可视化结构。动态可视化与时间序列数据相结合广泛应用于信息可视化和科学可视化中。柱状图、直线图和散点图的3D版本仍然是各种领域中最常用的可视化。我们的共同目标是在沉浸式环境中寻找最佳的用户友好导航和交互技术。因此，不同研究领域的研究在考虑可视化时存在共同的问题和挑战。总的来说，大多数研究问题集中在表征、感知、互动、运动和决策的概念上。

在信息可视化领域，由于基于cad和基于bim的模型，文化遗产和建筑越来越受欢迎。因此，与集成模型的交互变得非常重要。除了与3D模型和多维可视化的交互，协作研究为用户提供了各种机会。大多数现实世界的案例都需要拥有精密昂贵的设备或处于危险的环境中。为训练而建立的科学可视化、模拟和可视化可以替代现实世界的设备和情况。教育可视化也在扩展其范围，包括游戏元素，它们创造了更积极和动态的关系。游戏化可以激发学习者的学习动机，视觉感官与肢体互动相结合可以改善用户的回忆机制。动作、化身和手势也可以提高理解水平，提供更积极的角色。学习者有机会与不同规模的对象进行互动。VR打破了空间的限制，因此选择的对象可以包括任何大小的物体。数据表示的规模可以是任意的，并由用户控制，以在不同级别上与表示进行交互。虽然用户可能更喜欢围绕在他们周围的大规模可视化，或为特定任务更快地操作它们，但数据可以是空间规模或更小的。通过改变尺度，用户可以在以自我为中心和以自我为中心的方法之间切换，以适应不同的任务。以自我为中心的可视化提供了更多的身临其境的体验，因为数据围绕在用户周围，飞过它，需要更少的认知负荷。另一方面，在分析任务中，心外可视化给出了更好的结果

随着交互方法的发展，按时间顺序观察可视化分类法表明，其范围、任务数量和主要目标也在不断扩大。这种扩展与新的数据提取技术和技术发展之间可以建立一种关联。例如，虽然先进的技术提供了新的数据类型，但像触觉设备、传感器、AR、VR、MR等技术定义了新的交互技术。据我们所知，目前还没有关于VR的全面的可视化分类研究。同时，尽管以前的分类法由于相似而有一定的局限性，但它们可以作为基础来构建VR的分类法。

虚拟现实技术(图6)增加了交互技术的数量，并对现有的交互技术进行了改造。例如，通过眼睛凝视或头部姿势的免提指向是一种与vr相结合的交互方法——呈现第三轴旋转运动与物理沉浸。用户可以通过在物理环境中行走，使用控制器或隐形传送的方法来实现移动。虚拟现实还具有其他方面，需要分析和分类，以拓宽现有的分类。可视化社区需要更多的比较研究来显示传统可视化技术和VR可视化之间的明确区别，从而为设计决策创建客观规则和基线。

对目标用户进行分类和定义对于生成分类法、指导方针和分类至关重要。根据用户的认知能力、技术使用情况和特殊情况，应考虑交互和可视化偏好做出决策。有必要进行比较研究，以确定构建这种知识的共同模式和特定群体。从相关章节可以看出，合作研究可以产生有争议的结果。特别是，在比较VR可视化与桌面环境的研究中，不同的结果脱颖而出。甚至不同的可视化媒介对空间理解的影响也存在争议。这种情况可能源于参与者或设计特定问题的差异。因此，直到结果收敛在同一点，它们应该重复。以用户为中心的设计过程对于可视化任务是必不可少的。

在确定指导方针之后，可以生成工具来创建更精确的可视化。通过这种方式，可视化研究可以加快速度，找到共同的语言和视觉一致性。之前测试并证明了事实标准也有助于用户适应新技术并在它们之间切换。不幸的是，开发的工具仅限于特定的数据和可视化类型。例如，大多数工具包是用来表示定量数据的，它们的范围仅限于定量分析。此外，为定性分析创建工具箱是一项更复杂的任务。工具需要灵活地创建可能的解决方案和不同的交互方法，因为设计首选项也会指导用户的行为。

虚拟现实仍然受到技术接受的影响，而且由于硬件要求，它仍然不常见。WebVR、VR游戏和协作研究是打破接受障碍的关键。最近的趋势是有希望的增加虚拟现实系统。特别是最近的远程协作趋势为VR版本铺平了道路。其他的例子可以创造高度的沉浸感，例如自由视点视频技术，可以适用于WebVR和智能手机可视化。智能手机几乎被广泛应用于我们日常活动的方方面面。此外，创建移动版本的可视化解决了对硬件的需求。谷歌Daydream和Samsung Gear VR等更简单的硬件为移动VR提供了控制器。但移动VR的性能完全基于智能手机，技术要求不太适合复杂的可视化。不幸的是，使用web浏览器的应用程序也有渲染和速度限制。即便如此，对于特定的领域，它们可能是有益的。

Exergames在游戏领域的可视化研究中处于领先地位。大多数研究鼓励用户定期锻炼并参与到活动中。由于它们以具有特定需求的用户为目标，可视化和界面需求是可变的，需要精心设计。为了进一步实现虚拟现实技术在日常生活活动中的整合潜力，比如在运动游戏中，可以克服使用障碍。

另一个有待进一步发展以克服接受问题的子领域是协作研究。它们可以包括同步或异步、现场或远程以及对称或非对称方法的组合。异步和远程协作对于在同一个项目中一起工作的科学家来说至关重要。同步式和现场式主要用于培训和建筑研究。异步和现场版本是较不常见的版本，但它们的范围可以包括架构项目。例如，为了创建更高效的智能城市，用户可以通过可视化的方式参与到城市的特定枢纽中。同步和远程的结合允许协作者在不同的位置实时地一起工作。协作的同步方面帮助用户不感到孤立。因此，接受问题是需要克服的基本特征之一。与单用户版本相比，多用户体验对用户的积极影响更大。它提高了用户的粘性和成功率。Web、协作和移动技术的结合可以提供快速而容易的信息传播。

虽然大多数的研究都是针对虚拟现实的具体问题提供解决方案，但与虚拟现实硬件相关的问题并没有完全解决。大多数情况下，晕屏、追踪延迟、低刷新率会干扰用户，破坏用户的存在感。研究人员试图将体验固定在快速帧率上，以避免VR疾病。虽然这种方法适用于简单的可视化，但它们遵循不同的复杂可视化和模拟技术。允许用户在一个一致的环境中进行物理传输，让VR创造出完全的沉浸感，这使它与众不同。然而，可视化的设计也会造成用户存在感的波动，打破沉浸感。在VR中，用户只能看到计算机生成的图像。因此，用户凝视的对象应该比距离较远或较近的对象更明显。

可视化还可以使用聚焦技术来创建层次结构级别，以区分数据的基本方面。几何现实主义会影响VR中的存在感，并创造出强烈的存在感和情感反应。多边形数量和纹理分辨率通常会增加，以创建更真实的环境。然而，预期的现实主义关卡需要强大的硬件。因此，使用不同的技术，如fofoate渲染和遮挡剔除。在沉浸式环境中，用户可以看到所有方向;因此，与二维表示不同，3D映射技术可以应用于数据。演示的可见性对用户来说也是至关重要的。当数据包含复杂关系时，开发人员可以使用不同的呈现或分层技术。例如，如果网络可视化表示数据，则边和节点可以是密集的。为了降低遮挡级别，开发人员可以使用缩放、线宽或将数据分成更多层。关键的一点是传送数据时不变质。为了确保数据的正确和实际解释，正确和明确的信息视觉编码是至关重要的。

规模是另一个需要考虑精度的方面。例如，大比例尺地图是为估计或提取价值任务而设计的;有些部分可以根据视觉编码进行删减。感知物体的大小也会根据化身的真实性和比例而改变。数据集的图形表示的有效性可以根据视觉特征进行客观评价。联想和选择的特征使人们能够感知和辨别特定的物体或特征。视觉特征应该在整个视觉体验中保持一致。图形感知研究通过可视化设计和不同的显示来衡量用户的表现，为深度、颜色、几何形状和尺度的实用性提供了新的见解。

根据位置方面对空间数据进行编码，数据元素可以放置在虚拟坐标系中，也可以根据数据放置在构建的地图或全球视图中。与此同时，开发人员选择了不同的交互方法。全球可视化包括旋转运动。然而，用户只能看到地球的特定部分。因此，信息可视化更喜欢使用地图上的位置，而科学可视化由于准确性方面的原因使用精确的形状或坐标系统。不同的3D形状、颜色、不透明度和纹理用于表示所定位的元素。还有一些特定于数据的偏好，例如旋转模型与网络图的组合。时空可视化主要用于模拟。多维数据最常用的可视化技术之一是三维散点图。大多数沉浸式工具和工具包都提供沉浸式散点情节构建。由于它们已经可以用于各种视觉通道，因此编码过程不需要额外的技术。然而，由于视觉上的杂乱，它不适合用于特定任务的复杂数据集。为了解决这一问题，我们采用了过滤方法。对于选择任务，光线投射仍然是最常用的方法。这些方法允许用户选择单个对象、绘制边界框或绘制可选择的多个对象。交互式可视化总是需要提供必要的反馈和视觉线索来指出可能的交互。例如，所选对象应该是可视的。

数据质量、处理数据流以及从原始数据中提取语义关系仍然是一个挑战。虽然机器学习算法很有前途，但自动化过程可能会产生不准确的可视化结果。为大量的多元数据提供紧凑的表示还需要更先进的技术。尽管研究通常使用有监督和无监督的机器学习算法和降维技术，但他们也报告说，结果可能会被误解或处理不当。因此，需要一种高效的压缩和特征提取方法。在科学可视化中，准确性对于数据过滤或概率计算显得尤为重要。通常通过微调超参数来调整算法的灵敏度。

6 结论

根据系统审查协议，识别并过滤与浸入式可视化相关的信息来源。对结果文章进行了进一步分析，并根据最常见的问题域对相关研究进行了分组，并在不同的部分中表示。我们介绍了现有文献的概述，讨论了所述方法的优点和缺点，并指出了未解决的问题和挑战。我们的研究结果表明，有越来越多的研究在各种各样的问题领域中检验浸入式可视化。然而，虽然大多数研究都是围绕沉浸式可视化的发展展开的，但只有少数人专注于构建理论背景。大多数研究开发了基于数据类型和领域的可视化，然后对可视化任务进行了测试。然而，这些任务也有一定的规范。只使用任务来评估可视化会消除可能的集成选项和特定于任务的设计决策。研究使用了控制者提供的类似的交互方法。这种情况不足以满足特定领域的要求。应该探索利用全身互动的新型互动范式。

在可视化领域中，最成熟的研究领域来自于培训、建筑和游戏技术。最引人注目的结果之一是，尽管游戏引擎广泛应用于各个领域，但只有少数研究针对VR游戏的玩法数据可视化。许多研究都集中在如何将VR用于培训以及提高效率的要求上。已经有了3D演示，大多数建筑研究已经完成了过渡过程。特别是，越来越多的人使用沉浸式系统来维护数字媒体中的文化遗产。大多数可视化研究利用了游戏技术和源自计算机图形学和人机交互的新技术。有了这些技术，可视化领域带来了新的研究问题，随之而来的是可用性、交互性和可靠性问题。

在信息可视化中，二维可视化在显示统计和抽象数据方面仍有一定的优势，而三维可视化通常用于物理科学、工程和设计领域。传统统计可视化技术的3D版本，如条形图和散点图，仍然常用在数据可视化环境中。然而，只有少数研究关注于为虚拟现实创建标准指南，每一项研究都单独提供了一个框架，或采用了以往的传统2D可视化研究。

由于可视化和虚拟现实的诸多优势，大多数研究都倾向于使用游戏引擎。然而，对准确性的要求对于批判性的科学研究并不方便。由于遮挡问题、感知失真、缺乏共同基线以及在标准2D监视器上对抽象数据的三维无效表示，3D验证仍有待进一步研究和替代方法来解决设计挑战。在生命科学中，一种更全面的方法是混合使用它们，它们可以相互弥补。近年来，虚拟现实可视化技术取得了一些令人瞩目的进展，但仍有很大的改进和进一步探索的空间。许多研究问题有待综合研究:哪些数据类型和视觉结构更适合VR，它们是否提高了定性和定量数据分析的性能?是否需要针对VR的分析方法，以及如何制作这些方法?

底层技术的不断变化要求实证研究背后的理论不断重复研究和发展。与VR的前景一样，可视化的质量和复杂性也有待进一步改进。

这篇好文章是转载于：学新通技术网