基于改进L-K光流的WebAR信息可视分析方法

裴云强，吴亚东，王赋攀，张晓蓉，蒋宏宇，许世健，唐文生

基于改进L-K光流的WebAR信息可视分析方法

裴云强1，吴亚东2，王赋攀1，张晓蓉1，蒋宏宇3，许世健1，唐文生1

(1. 西南科技大学计算机科学与技术学院，四川 绵阳 621010； 2. 四川轻化工大学计算机科学与工程学院，四川 自贡 643002； 3. 法政大学计算机信息科学学院，日本 东京 184-8584)

信息可视化技术结合移动增强现实(MAR)技术在目标跟踪领域仍然存在设备计算负载过大的问题。若仍坚持采用同跟踪平面图像特征点的方案来跟踪立体对象各角度的特征点，则目标跟踪过程所需要获取的多角度特征点数据无疑会加重跟踪过程的计算压力，进而导致移动设备负载过大，最终影响模型渲染，所渲染的模型常出现剧烈抖动、卡顿或运动滞后于目标物的现象。针对上述问题，提出了一种基于改进的L-K (Lucas-Kanade)光流跟踪算法的WebAR (基于Web端的MAR技术)解决方案，将特征点的跟踪问题转化为光流估计问题以及一种优化的三维信息可视化交互策略。实验结果表明，该方法能够提高MAR在跟踪目标时的计算效率和稳定性，丰富信息可视化的呈现效果和交互方式。

移动增强现实；WebAR；信息可视化；Lucas-Kanade算法；光流跟踪

利用可视化技术呈现原始数据是一种较为直观的信息传递方式[1]。数据可视化技术虽然种类繁多，但可视化呈现方式的优化问题长时间未获突破。随着技术的发展，在可视化领域已经出现诸多数据呈现的新方式，增强现实(augmented reality，AR)结合数据可视化[2-4]就是其中一种较高效的数据分析方式。人类的认知水平有限，因此有效的数据分析和呈现工作至关重要。AR[5]是一种身临其境的虚实空间畅游体验，能为数据可视化提供更大空间，容纳更高维度数据。用户在AR所创造的虚实空间中，通过切换不同的视角确保视觉元素的所有细节不被遗漏，故AR从根本上改变用户与数据交互[6-7]和分析数据的方式，进而提升用户认知。如今数据可视化技术正逐步围绕图像、图表、多维动画等视觉元素向AR技术迈进，最终形成以“AR Data Visualization”为核心的技术延展路线。

AR设备主要分为头戴式和移动增强现实(mobile augmented reality，MAR)2大类。早期的头戴式AR设备通常体积庞大、分辨率低、帧率低等问题，大大降低了投影在现实场景中AR模型的真实感；伴随移动设备的普及，愈来愈多的大众选择通过移动端(如智能手机)体验AR，即MAR。MAR从技术上主要划分为APP-based AR (基于APP的MAR技术)和WebAR[8-11]，如图1所示。相较于APP-based AR存在的跨平台难等问题，WebAR具有无下载、跨平台、轻量、低成本等优势。为了提升真实感和实时性，多数MAR应用采用目标跟踪的方案，实时匹配在视频帧中所提取的特征点描述子与预先保存在云端的参考图像描述子，以实现目标识别与跟踪。传统的WebAR目标跟踪方案亦是需要预先计算并筛选目标中便于跟踪的特征点，增大了预处理的开销。基于目标跟踪的MAR以常用平面图像作为Marker (标记即识别跟踪对象，例如：二维码、自然图像等)，且在不同角度观察下的特征点基本一致。而真实场景中的立体对象在不同的角度下观测会产生不同的特征信息，若对于立体对象仍采用跟踪平面图像的方案来跟踪特征点，则需要获取更多角度的特征信息，必然增大跟踪的难度，因此对于此部分跟踪目标来说基于特征点的检测与跟踪存在相当的局限性。

图1 MAR发展时序图(基于Web的MAR应用和基于APP的MAR应用分别位于左、右两侧)

1 相关工作

为了促进MAR结合信息可视化领域的发展，研究者已提出了多种策略。2011年，YASOJIMA等[12]为了提升信息可视化的交互水平和精度，提出了一种基于协同式AR的信息可视化应用程序；2013年，VLADIMIR[13]提出并解决了信息可视化结合MAR应用中的实用性和美观性问题；2017年，UMER等[14]开发了一款基于MAR的植物学习系统MAPILS，用于引导学生自主探究学习植物相关知识；2018年，陶燎亮和宋俊锋[15]运用MAR技术实现校园三维可视化。但以上研究都没有对目标信息进行有效地可视分析，并且没有独立的跟踪方案。另外，提供的使用平台皆为移动端APP，用户需要下载安装。因此，本文针对在信息可视化和MAR结合领域中存在的跟踪效率低、信息呈现与小屏交互受限的问题，做了跟踪算法、数据呈现和交互方式上的优化。

2 交互与跟踪模型

为了研究立体对象的WebAR跟踪方案，本文提出了一种基于改进L-K光流法[16-17]的跟踪方法并对该WebAR跟踪方案做如下4个假设：

(1) 基于改进L-K光流法的图像金字塔[18]中采样窗口大小会影响最终计算得出的光流(,)值；

(2) 加入判断T矩阵(与光流约束方程中的梯度相关)是否可逆后，能够基本保证L-K光流法各梯度变化情况下运动的完整性；

(3) 采用改进L-K光流法后的目标跟踪会相对稳定，且能实现立体对象跟踪；

(4) 该方案下所渲染的AR模型基本不会出现抖动、卡顿或运动滞后于目标物的现象。

2.1 AR与数据可视化相结合的意义

将AR同数据可视化相结合是人机交互领域的新发展趋势，结合后的用户能在三维空间中以更直观的视角分析数据，并实现多人协作。

2.1.1 沉浸式数据分析与三维交互

AR将可视化结果融入到真实场景中，将可视化结果作为AR模型对用户视觉内容进行增强，进而给用户沉浸式的数据交互体验，使虚拟信息成为真实场景中的一部分。AR用更大的空间来呈现数据，将带来更全面的分析结果和更广阔的视野，同时赋予数据可视化在三维空间中的交互方式，如手势、凝视、触觉交互等。

2.1.2 注册对象抽象化

AR中的核心技术之一就是三维注册[19]，包括相机跟踪、物体跟踪和场景三维重构等。在AR与数据可视化的结合领域中，将注册对象识别为视觉元素能够减少用户视觉通道的负载，使原始数据直观易懂[20]。

因此，本文提出IV LKWA解决方案，在真实场景中将植物视为视觉元素，使相关数据通过WebAR技术叠加到真实场景中，以可视化的形式呈现在种植者眼前以便观测和栽培。

2.2 L-K光流跟踪法

2.2.1 传统光流跟踪法

美国心理学家James J. Gibson于1950年首次提出光流的概念，用以描述真实世界中物体的运动。根据视觉场景中的亮度变化[21]，光流也可以被定义为物点的速度矢量在成像平面上的投影，该运动中所有光流的分布情况将被展示于光流场中，如图2所示。光流场是运动场在二维图像帧上的投影，继承运动场中相关运动和结构的信息，并且可以从连续视频帧的亮度变化中近似计算出像素点的运动偏移，以求得无法直接获得的运动场[22]。

光流法存在的基本假设条件：

(1) 运动是连续的“小运动”。根据视觉感知原理可知，时间的变化不会引起客观物体的运动在空间上产生剧烈变化，这样的运动是相对连续的。所以在目标运动过程中，相邻帧之间是连续变化，且位移量足够小。由此条件可见运动相对于帧率是缓慢、连贯的，在数学上表示该运动的相关函数是连续、可导的。

图2 面向转轴所呈现的光流展示

(2) 亮度恒定不变。同一目标在相邻帧之间，其亮度保持不变。这是基本光流法的假定，用于得到基本约束方程。假设某像素点经过间隔后对应点亮度由(,,)变为(+,+,+)，且趋近于0。由假设条件(2)得

将式(1)中右式泰勒展开后整理得

2.2.2 L-K光流跟踪法

除了上述假设条件外，L-K光流跟踪法还应用了第3条假设：邻域内像素点位移量一致。2幅相邻帧中的目标位移很小，且位移在所研究像素点的邻域内为固定常数，即像素点邻域内所有像素点的速度向量(,) (，分别表示像素坐标系中指向轴和轴正方向的位移量，该向量表示光流)相等。L-K光流跟踪法利用此假设，将单像素点光约束问题转化为邻近像素点群光约束问题。假设窗口内的像素具有相同的光流(,)，窗口大小为4()×4()，得到16个约束方程为

图3 “孔径”问题(从小孔中观察物体的运动并不能唯一确定其真实运动，故其真实运动具有不确定性)

对于超定方程组式(3)，采用最小二乘法求解，即

式(4)求解光流(,)T的前提是矩阵T可逆，与此同时还要求矩阵T的最小特征值min足够大，且只有满足此要求的像素点才易于跟踪[21]。

2.2.3 基于图像金字塔的L-K光流跟踪法

当目标由于运动速度过快而违背假设条件“小运动”时，会导致误差累计，最终造成求得的光流值误差过大。而运用图像金字塔能有效解决此问题。其基本原理为逐级降低视频帧分辨率，至下而上建立图像金字塔，接着从塔顶向下逐层计算该帧像素点在下一帧的估计位置直至塔底，最终求得相应光流，如图4所示。

图4 基于图像金字塔的L-K光流法计算光流的过程

3 交互与跟踪模型

3.1 IV LKWA系统

本文采用WebAR实现目标跟踪并渲染可视化结果为AR模型，图5(a)和(b)分别展示了系统框架和用户流程。用户通过Web Camera获取实时视频流。待视频流被传至云端完成匹配后，前端获取反馈结果。根据结果，前端实现目标跟踪，并采用three.js直接于前端渲染AR模型，释放了来自云端或边缘[23]的传输压力。

3.2 WebAR中的数据交互

在MAR应用中，移动端的小屏幕限制了交互方式和信息的容量与维度。而本系统将所有的信息以可视化的形式呈现，并运用WebAR技术将可视化页面嵌入AR模型，进而产生双指缩放、双指拖动、单指旋转等丰富的三维交互方式(图5(c))，以提升种植者的栽培体验。

3.3 改进的L-K光流跟踪算法

传统的L-K光流跟踪法解光流(,)T时，仅考虑了矩阵T可逆的情况，直接导致最终计算出的光流不具备运动的完整性。而改进的算法讨论了矩阵T的奇异性(即矩阵是否可逆)，并对矩阵不可逆的情况做相应光流估计，进而确保了运动的完整性。

图5 WebAR的系统框架和用户交互流程

3.3.1 矩阵T为奇异矩阵

基于已建立的图像金字塔计算光流，从顶层开始，逐层向下计算光流，直到求得底层原图像的光流。每一层图像的光流都是由上层的光流计算结果累加所得。

3.3.2 矩阵T为非奇异矩阵

图6 当矩阵ATA分别为非奇异和奇异矩阵时的光流

4 测试结果与讨论

理论上，改进的L-K光流跟踪算法不仅能有效解决立体对象的跟踪问题，而且能基本确保运动完整度，即计算覆盖所有梯度变化情况下出现的光流；WebAR中的信息可视化将克服小屏幕的限制，实现三维交互方式。

4.1 性能估计

进行性能测试的设备包括OnePlus7T (安卓手机)、微星笔记本电脑和一台阿里云服务器，相关参数见表1。使用火狐浏览器评估性能。测试主要评估了基于改进L-K光流算法的跟踪时延和改进前后L-K光流跟踪法的运动完整度。

表1 服务器和移动设备相关参数

在与改进前算法的对比实验中，调整改进的算法中图像金字塔每层的采样窗口大小后，发现随着采样窗口大小的增大，最终计算出的光流值基本呈线性递增，经观察发现较适于观测AR模型运动的窗口大小为9×9，如图7(a)所示。改进的L-K光流跟踪算法在加入判断矩阵T是否可逆的条件后，在同色温同亮度不同测试时间内，平均召回了较之前在无判断下约4.74% (移动端)和23.04% (PC端)的运动数据，如图7(b)所示。而在固定时间内不同色温不同亮度下平均召回3.88% (移动端)和11.4% (PC端)的运动数据，如图7(c)所示。算法改进前后出现的运动偏差如图7(d)所示，红色方框呈现改进后的效果，绿色方框呈现改进前的效果。两者初始时上下重合(左侧)，绿色方框在上层，红色方框在下层。经过移动后，虽然上下层边框都存在一定的偏差(右侧)，但改进后的结果更靠近原来的位置。上述可证色温亮度的改变确实会对测试结果造成影响，但不同条件下的运动丢失率仍然存在。而在与同类WebAR跟踪方案的对比实验中，所有方案的跟踪对象横截面积范围在217.8~253 cm2之间，平均面积226.7 cm2。观测距离范围最大值和最小值分别为171 cm和3 cm，且均来自于改进的光流跟踪算法。采用改进L-K光流跟踪算法的均帧率在WebAR移动端跟踪方案中处于中上水平且帧率变化幅度最小，如图8所示。在移动端浏览器的兼容性方面，改进的L-K光流跟踪算法同时兼容Chrome和Firefox浏览器。在跟踪对象自身的维度方面，改进的L-K光流跟踪算法同时可以实现立体和平面目标跟踪。

综上所述，改进光流法的关键就是求解出图像中运动目标的完整光流以及有效解决立体对象的跟踪问题。未来，考虑在改进L-K光流法的基础上，引入单目相机下的位姿估计方法来解决立体对象的位姿估计问题。

图7 分析比较改进算法的特点

图8 IVP WA与4款WebAR跟踪方案的性能对比

4.2 用户评估

为了验证系统的有效性，邀请了55名志愿者，通过植物温度、植物适宜生存环境指标、浇水周期、盆土成分比例、AR模型运动流畅度、交互方法、界面布局、系统有效性来判断用户满意度。用户的得分越高(从0~10)，满意度就越高。图9的统计结果说明了该系统可以有效地帮助用户体验沉浸式培育植物，提升对植物的了解程度。此外，植物温度和适宜生存环境指标以及AR模型运动流畅度和交互方法的满意度得分较高，不仅符合用户对植物栽培环境的普遍关注，也体现出系统满足了用户对于画面流畅度和交互效率方面的需求，因此该评估间接验证了系统的有效性。

图9 用户满意度评估

5 展望与总结

WebAR和信息可视化的结合必将成为一种趋势，但还需要克服诸多困难。下面从相关应用的大规模普及与私有化和光流法的应用拓展2个方面入手，展望Web AR结合信息可视化的发展前景。

5.1 普及与私有化

WebAR的开发水平正逐步提升以待大规模普及。但是，当涉及到部分敏感数据时，开发者必须保证用户个人信息不公开。因此，WebAR在网络安全方面应该立足于解决用户数据隐私泄露问题。只有拥有安全可靠的网络环境WebAR的普及才能得到保障。

5.2 光流法的应用拓展

光流包含了目标的关键运动信息，除了用于检测图像帧中的运动目标，还可以用于分割运动目标等。其次，将光流法运用于WebAR技术再结合信息可视化，有助于自动导航、室内智能系统等领域的技术突破和持续发展。

5.3 总 结

本文提出了一种基于改进L-K光流算法的WebAR解决方案和一种优化的交互策略，并应用于WebAR与信息可视化的交叉领域。测试部分比较了传统和改进L-K算法的运动完整度，以及同类型WebAR解决方案的性能。测试结果表明，改进的L-K光流跟踪算法确实能在无特征点跟踪的情况下有效解决立体对象的跟踪问题，并能基本确保光流的运动完整度。本系统尝试将立体对象作为跟踪目标，且避免了大量特征点计算时产生的能耗，有效提高Mobile AR领域在跟踪目标时的计算效率和跟踪稳定性。WebAR提供更大的空间以呈现数据，将带来更全面的可视分析结果，同时赋予信息可视化三维交互方式。WebAR渲染可视化结果于三维空间供用户进行高效的人机交互，替代了传统复杂耗时的手动检索，辅助种植者高效快速地了解植物培育信息。上述结论验证了WebAR和信息可视化的结合存在大量的研究意义和价值。除了植物，IV LKWA还可以应用到其他领域，如博物馆展品、购物指南等。本文也为MAR结合信息可视化领域中改善目标跟踪性能和丰富交互方式等方面提供了新思路。

[1] ALI S M, GUPTA N, LENKA R K, et al. Big data visualization: tools and challenges[C]//2nd International Conference on Contemporary Computing and Informatics. New York: IEEE Press, 2017: 656-660.

[2] 张开法. 混合现实技术在大数据可视化中的应用[J]. 电脑编程技巧与维护, 2019(4): 84-86. ZHANG K F. The application of mixed reality technology in big data visualization[J]. Computer Programming Skills & Maintenance, 2019(4): 84-86 (in Chinese).

[3] ELSAYED N A M, THOMAS B H, SMITH R T, et al. Using augmented reality to support situated analytics[C]//2015 IEEE Virtual Reality. New York: IEEE Press, 2015: 175-176.

[4] COSTA I V, QUEIROZ V F, MIRANDA B, et al. A card-based interaction to design visualizations in augmented reality environments[C]//23rd International Conference in Information Visualization–Part II. New York: IEEE Press, 2019: 52-55.

[5] 李腾飞. 增强现实虚实交互技术的研究与实现[D]. 沈阳: 沈阳工业大学, 2019. LI P F. Research and implementation of virtual and reality interaction technology in augmented reality[D]. Shenyang: Shenyang University of Technology, 2019 (in Chinese).

[6] WILLIAMS T, SZAFIR D, CHAKRABORTI T, et al. Virtual, augmented, and mixed reality for human-robot interaction[C]//2019 14th ACM/IEEE International Conference on Human-Robot Interaction. New York: ACM Press, 2019: 671-672.

[7] SANGALLI V A, DE OLIVEIRA, T V, SOARES L P, et al. SculptAR: an augmented reality interaction system[C]//2017 IEEE Symposium on 3D User Interfaces. New York: IEEE Press, 2017: 260-261.

[8] REN P, QIAO X Q, CHEN J L, et al. Mobile edge computing – a booster for the practical provisioning approach of web-based augmented reality[C]//2018 IEEE/ACM Symposium on Edge Computing (SEC). New York: IEEE Press, 2018: 349–350.

[9] QIAO X Q, REN P, NAN G H, et al. Mobile web augmented reality in 5G and beyond: challenges, opportunities, and future directions[J]. China Communications, 2019, 16(9): 141-154.

[10] DANGKHAM P. Mobile augmented reality on web-based for the tourism using HTML5[C]//2018 International Conference on Information Networking. New York: IEEE Press, 2018: 482-485.

[11] LAM K Y, LEE H L, BRAUD T, et al. M2a: a framework for visualizing information from mobile web to mobile augmented reality[C]//2019 IEEE International Conference on Pervasive Computing and Communications. New York: IEEE Press, 2019: 1-10.

[12] YASOJIMA E K K, MEIGUINS B S, MEIGUINS A S. Collaborative augmented reality application for information visualization support[C]//2011 15th International Conference on Information Visualisation. New York: IEEE Press, 2011: 170-175.

[13] VLADIMIR G. Artistic visualisation of practical in-formation using augmented reality[C]//2013 17th International Conference on Information Visualisation. New York: IEEE Press, 2013: 404-409.

[14] UMER M, NASIR B, KHAN J A, et al. Mapils: mobile augmented reality plant inquiry learning system[C]//2017 IEEE Global Engineering Education Conference. New York: IEEE Press, 2017: 1443-1449.

[15] 陶燎亮, 宋俊锋. 基于VR技术和AR技术的三维可视化实现——以丽水学院校园风光明信片应用开发为例[J]. 丽水学院学报, 2018, 40(2): 64-69. TAO L L, SONG J F. The realization of 3D visualization with VR and AR technologies: the development of postcard applications of Lishui University campus landscapes[J]. Journal of Lishui University, 2018, 40(2): 64-69 (in Chinese).

[16] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence, San Francisco: Morgan Kaufmann Publishers, 1981: 674-679.

[17] 杨靖帆, 何汉武, 吴悦明. 局部特征描述改进的LK跟踪注册方法[J]. 计算机工程与设计, 2020, 41(2): 458-464. YANG J F, HE H W, WU Y M. Improved Lucas Kanade tracking and registration method based on local descriptor[J]. Computer Engineering and Design, 2020, 41(2): 458-464 (in Chinese).

[18] 朱俊杰, 李胜, 侯保林, 等. 基于金字塔LK算法的运动目标的检测[J]. 工业控制计算机, 2015, 28(9): 13-15. ZHU J J, LI S, HOU B L, et al. Detection of moving objects based on pyramid LK algorithm[J]. Industrial Control Computer, 2015, 28(9): 13-15 (in Chinese).

[19] LI Q Y, LI Y X, TIAN J, et al. Augmented reality registration method based on natural feature points[C]//Proceedings of 2017 17th IEEE International Conference on Communication Technology, New York: IEEE Press, 2017: 1937-1941.

[20] 高翔, 安辉, 陈为, 等. 移动增强现实可视化综述[J]. 计算机辅助设计与图形学学报, 2018, 30(1): 1-8. GAO X, AN H, CHEN W, et al. A survey on mobile augmented reality visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 1-8 (in Chinese).

[21] 孙娟. 基于改进光流场目标检测跟踪系统的设计[D]. 淮南: 安徽理工大学, 2017. SUN J. Design of target detection and tracking system based on improved optical flow field[D]. Huainan: Anhui University of Science & Technology, 2017 (in Chinese).

[22] SHI J B, TOMASI C. Good features to track[C]//1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 1994: 593-600.

[23] QIAO X Q, REN P, DUSTDAR S, et al. A new era for web AR with mobile edge computing[J]. IEEE Internet Computing, 2018, 22(4): 46-55.

IV LKWA: an information visual analysis tool with advanced L-K optical flow based WebAR

PEI Yun-qiang1, WU Ya-dong2, WANG Fu-pan1, ZHANG Xiao-rong1, JIANG Hong-yu3, XU Shi-jian1, TANG Wen-sheng1

(1. School of Computer Science & Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China; 2. School of Computer Science & Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643002, China; 3. Graduate School of Computer Information Science, Hosei University, Tokyo 184-8584, Japan)

For themobile augmented reality (MAR) technology combined with information visualization, there remains excessive computing pressure on devices in target tracking. If the MAR application adopts the feature tracking solution for 2D images to track 3D objects, the multi-angle feature points in 3D objects obtained from extensive calculations will undoubtedly increase computing pressure in tracking process. As a consequence, excessive computing pressure will be incurred on devices, leading to unstable phenomena in the scene, such as jitter, latency, and movement of 3D AR model lagging behind the target during the target tracking. To resolve these problems, a WebAR (web-based AR) solution was proposed based on the advanced L-K method (Lucas Kanade method, an optical flow algorithm), which transformed the feature point tracking problem into an optical flow estimation problem and an optimized 3D interaction strategy for information visualization. The experimental results could verify that the proposed method can effectively enhance the computing efficiency and stability of target tracking in MAR and enrich the presentation and interaction in information visualization with WebAR.

mobile augmented reality; WebAR; information visualization; Lucas-Kanade method; optical flow

TP 391

10.11996/JG.j.2095-302X.2020060962

A

2095-302X(2020)06-0962-08

2020-07-15；

2020-07-28

15 July，2020；

28 July，2020

四川省重点研发计划项目(2020YFS0360)；国家自然科学基金项目(61872304，61802320，61872066，61502083)；四川省教育厅科技创新团队支持计划(18zd1102)

Key Research and Development Project of Sichuan Province (2020YFS0360); National Natural Science Foundation of China (61872304, 61802320, 61872066, 61502083); Program for Innovation Team of Sichuan Province Committee of China (18zd1102)

裴云强(1995-)，男，四川成都人，硕士研究生。主要研究方向为人机交互。E-mail：simon1059770342@foxmail.com

PEI Yun-qiang (1995-), male, master student. His main research interests cover human-computer interaction. E-mail：simon1059770342@fox-mail.com

吴亚东(1979–)，男，河南舞阳人，教授，博士。主要研究方向为可视化与可视分析、人机交互。E-mail：wyd028@163.com

WU Ya-dong (1979-), male, professor, Ph.D. His main research interests cover visualization and visual analysis and human-computer interaction. E-mail：wyd028@163.com