液晶与显示 | 悬浮3D显示+手势交互=未来触手可及

在电影《钢铁侠 2》中有这样一幕：影片主角托尼·斯塔克在一张悬浮的 3D 地图上轻点手指，地图发生令人眼花缭乱的变化，他过世的父亲遗留给他的“信息”——一种新型人造元素的 3D 原子结构模型被提取出来。

图1：《钢铁侠 2》电影片段

许许多多的科幻电影中的类似场景无不体现出人们对 3D 显示与交互无限的遐想。可喜的是，这样的遐想或许有望在不远的将来成为现实。

近日，北京航空航天大学 王琼华 教授团队开发出一套悬浮真 3D 显示实时交互系统，展现出了该种 3D 显示与交互系统的雏形。该系统能够动态地显示裸眼3D图像，在 3D 片源分辨率为 4K 下实现 30 帧/秒的实时、准确的手势交互，并且支持通过预设的多种手势实现多手对多物体的独立交互。

该成果以“基于 Leap Motion 手势识别的悬浮真 3D 显示实时交互系统”为题发表于《液晶与显示》（ESCI、Scopus收录，中文核心期刊）2022 年第 5 期。

1. 悬浮真3D显示实时交互系统构成

该系统主要分为显示模块和交互模块，并通过计算机进行衔接和数据处理。

图2：系统结构（图源：液晶与显示, 2022, 37(5): 658. Fig. 6）

显示模块基于集成成像 3D 显示，这一技术可追溯到 1908 年 Lippmann G. 提出的集成摄影术。集成成像 3D 显示利用光路可逆原理，使用透镜阵列将光线在特定的空间点先汇聚再发散，如同光本就是从汇聚点发出的一样，从而模拟真实物体表面发光或反射光的情况，因此被认为是一种裸眼真 3D 显示。

在此基础上研究人员应用了悬浮器件——二面角反射镜阵列。从一个点光源出发出的光经过每个二面角反射镜单元后，被反射 2 次汇聚成悬浮于空中的像。因此集成成像 3D 显示的 3D 图像将被投射出整个系统之外，带来更强的视觉冲击，也为更自由的交互提供便利。

图3：悬浮真 3D 显示原理（图源：液晶与显示, 2022, 37(5): 655. Fig. 2）

图4：二面角反射镜单元（图源：液晶与显示, 2022, 37(5):655. Fig. 3）

交互模块通过体感控制器 Leap Motion 采集手势数据。Leap Motion 是一款基于双目计算机视觉的体感控制器，它通过顶部的透明窗口拍摄图片，提取用户手的关节特征，进而反映整个手的手势和姿态。Leap Motion 采集到的数据将被送入计算机处理，把用户手势反映的信息转化为控制 3D 片源变化的指令，实现 3D 片源随着手势动态变化，也就能结合显示模块实现 3D 图像随着手势动态变化。

图5：Leap Motion 以及参考坐标系（图源：Leap Motion 官网）

2. 准确手势交互的实现方法

由于 Leap Motion 的参考坐标系和 3D 图像的参考坐标系原本不存在关联，因此悬浮于用户身体左侧的物体可能与位于用户身体右侧的手产生交互，这就自然而然带来违和感和交互的不便利性。

为解决此问题，研究人员通过标定以及矩阵变换的方法，将 Leap Motion 的坐标映射到 3D 图像的参考坐标系；相当于在 3D 图像所在的虚拟空间生成了一个虚拟手来控制 3D 图像的变化，而这一虚拟手由于现实中用户的手处在相同的空间位置，达到了虚拟和现实的统一。

3. 多手对多物体的独立交互

目前国内外进行了一些悬浮真 3D 显示手势交互技术研究，但多数仅考虑单个 3D 物体的交互或 3D 场景的整体交互，未考虑复杂 3D 场景中多个 3D 物体的独立交互。那么如何理解独立交互呢？想象一下我们日常生活中用到的个人电脑，我们新建两个窗口，只拖动位于上层的窗口，这一交互操作不会对位于下层的窗口产生影响，反之亦然，那么我们认为这两个窗口对象都是可以独立交互的。

图6：2D 显示鼠标交互

在 2D 显示下的鼠标交互，由于两窗口重叠的区域窗口会发生遮挡，我们能够交互到的只有上层的窗口；而且鼠标只能单点交互，不能同时拖动两个窗口，因此独立交互较容易实现。而在 3D 显示、手势交互的系统中，1 和 2 两个 3D 物体一旦发生重合，重合区域既属于物体 1 又属于物体 2。因此有时用户只需要对 1 进行交互的时候不小心穿过了 2，就会导致 2 也被交互了，我们称这种现象为交互串扰。当系统由单手交互扩展到多手交互，每只手都需要进行不同的交互，因此在 3D 物体互不干扰的前提下，还需要能实现不同物体同时响应对应手的交互。

为此研究人员提出一种交互通道机制。每个 3D 物体都有一个通道用于连接一只虚拟手。成功连接的 3D 物体与手建立其交互关系，它的交互通道就被这只手的数据占用了，那么其他手将无法占据这一交互通道，其他的 3D 物体将不会再容许这只手占用交互通道，使得成功连接的 3D 物体与手成为独立的交互组合，直到手主动放弃交互。

图7：多物体交互的通道机制（图源：液晶与显示, 2022, 37(5): 657. Fig.5）

利用交互通道机制，可以有效减少多手对多物体之间的交互串扰，实现独立交互；当然在特定的手势下也可以让 3D 场景全局或局部的几个物体按照同一交互方式进行交互。交互通道机制使交互的设计与实现更加灵活，更加有助于激发用户的创造性。

悬浮真 3D 显示与手势交互结合，符合现实世界中人与真实物体交互的自然观感，因此可以将现实世界和虚拟世界重叠甚至混淆，实现亦虚亦实的信息交流；其应用于影音娱乐、会议办公、文化展览等场景，为元宇宙发展提供一种可能的方向。另一方面，该系统的交互操作可避免不必要的接触，特别有利于减少疾病传播风险，在新冠疫情背景下具有潜在的便利性和安全性优势。

论文信息

林星雨, 邢妍, 张汉乐, 王琼华. 基于Leap Motion手势识别的悬浮真3D显示实时交互系统[J]. 液晶与显示, 2022, 37(5):654-659.

‍https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0060

通讯作者介绍

王琼华，北京航空航天大学仪器科学与光电工程学院教授/博士生导师、国家杰出青年科学基金获得者、国际信息显示学会会士（SID Fellow）、中国物理学会液晶分会副主任、中国图象图形学学会三维成像与显示副主任委员，Journal of the Society for Information Display 等国际期刊 Associate Editor 和《液晶与显示》等期刊编委。1992 年、1995 年和 2001 年于电子科技大学先后获得学士、硕士和博士学位，1995-2001 年在电子科技大学任助教、讲师和副教授，2001-2004 年在美国中佛罗里达大学光学中心任 Research Scientist，2004-2018 年在四川大学任教授和博士生导师。主要研究方向为显示与成像技术，负责完成了国家级科研项目 20 余项，现为国家重点研发计划项目和国家重大科研仪器研制项目的负责人。研制了裸眼3D显示器、3D 摄像机、新型液晶显示器、液晶透镜、可变焦液体透镜和连续光学变焦显微镜等；获得省部级科技奖励 6 项，获准美国和中国发明专利 150 余项，出版著作 3 部，发表了 SCI 收录论文 300 余篇。

阅读原文