涉水视觉：从关键技术到智能装备

机器之心专栏

机器之心编辑部

为什么大海是蓝色的？这个古老而又神秘的问题一直以来都让人好奇不已。在《涉水视觉》（Water-related Vision）一文中，作者从光与水的物质相互作用及跨介质传播机理出发，介绍了涉水成像和图像解析等领域最新的研究进展，展示了一系列在涉水视觉观测和系统研制方面取得的科研成果，为海洋科学、海洋牧场以及海洋安全等领域的科研与技术升级注入全新的活力。站在涉水视觉发展的浪尖，透过云雨雾雪，穿过江河湖海，一个全新的涉水探索时代展现在我们面前。在这篇文章中，我们来揭开河水碧绿、大海蔚蓝之谜的面纱。

智能领域的数据主体依然是视觉、听觉、文字等模态。其中，视觉是核心赛道，也是目前智能应用的主战场。当前，视觉研究主要关注于空气和真空中，而占地表面积、天气现象甚至生命组织很大比例的各类水体中的视觉却未成体系。

水是生命之源，江河湖海之中、云雾雨雪之时也都是智能领域的重要蓝海，有着极多的应用场景。视觉的基础是光学，光在水体及跨介质中的传播机理是涉水成像的本质，也是涉水视觉研究的根基。坚持践行 “涉水光学” 和 “涉水视觉”，李学龙教授在《电子学报》撰写了 42 页五万字的长文 “涉水视觉”，展示了人工智能赋能的水下视觉。在未来，我们能否通过机器视觉和光学成像结合的技术手段，透过雨雾、穿越湖海，走进这片智能 “蓝海”？

李学龙. 涉水视觉. 电子学报, 2023 https://doi.org/10.12263/DZXB

涉水视觉是基于光与水的物质相互作用及跨介质传播机理，通过构建专用光学硬件与视觉算法的技术体系，解决涉水环境下视觉影像信号智能处理与分析，及先进智能涉水视觉装备研制相关的工程问题，探索机器视觉在涉水环境中应用的科学。作为临地安防（Vicinagearth Security，vicinagearth = vicinage earth）体系中水下安防的重要支撑，涉水视觉对于我国领水的防卫、保护、生产、安全、救援具有重要的意义。

海洋中含有十三亿五千多万立方千米的水，约占地球上总水量的 97%，其中蕴含了大量的重要资源未被探索与开发，是地球上最重要的涉水环境。除了常见的江河湖海等典型的水体，陆地上的云雪雨雾等天气条件也会创造复杂的涉水环境，甚至于其它星球上也可能会存在如地外海洋一类的涉水环境。

海水颜色认知的主要历程（图片来自于网络）

因此，对涉水环境进行探索与研究是一项十分重要的课题。光作为探测涉水环境的重要手段，解析光探测结果的涉水视觉对于海洋生态、碳平衡、气候变化、海洋热力学、恶劣环境探测等问题具有重要研究意义。

涉水视觉技术的发展影响了我们对涉水环境的认识与涉水资源的开发。而常见的涉水环境中包含诸如悬浮颗粒物、可溶有机物、浮游动植物等各种复杂的元素，且其中的光线传播路径常常涉及多种介质。因此，光在涉水环境中传播机理要比在空气中更为复杂，研究光与水及其所含物质相互作用及光的跨介质传播机理是涉水视觉的基础。

光与水的物质相互作用及跨介质传播机理

本文从「为什么大海是蓝色的？」这一具有普适意义的问题出发，系统介绍了水对光的吸收、散射、衰减作用机理，对涉水视觉任务造成的影响，以及现有的涉水图像处理与解析方法。基于水体光学特性及成像退化机理，本文介绍了团队在探索涉水成像和图像解析等涉水视觉关键技术及装备方面的成果，先后研制了全海深超高清相机海瞳、全海深 3D 相机、全海深高清摄像机等，形成了从色彩、强度、偏振、光谱等全方位、体系化的水下观测解析装备研制能力，填补了全海深光学视觉技术的空白。

涉水视觉研究面临的困难

视觉影像信号智能处理与分析领域面临多重挑战，包括复杂环境、物体检测和识别困难、数据获取与标注复杂、大数据和高分辨率、水下视觉问题、实时性需求、数据隐私与安全、跨域泛化。

首先，涉水环境通常受到多种复杂因素的影响，包括波浪、潮汐、光照变化和水质变化等。这些因素导致涉水影像的质量在时空上变化巨大，进一步使得物体检测、跟踪和识别任务更加复杂。物体的形状、颜色和纹理可能会因水域介质的光学特性而受到干扰，增加了物体检测和识别的难度。为了进行监督学习，必须对这些数据进行准确的标注，包括物体和环境属性的精确标记，但是要求标注者具备高度专业知识和经验。

其次，现代高分辨率摄像技术生成了大量的涉水影像数据，其数据频率较高，这增加了数据处理和管理的挑战。处理这些大数据集需要高性能计算资源和有效的数据管理策略，以确保及时的数据分析和存储。水下环境中的影像和视频通常受到光线在水中的散射和吸收的影响，导致图像模糊和颜色失真。这增加了水下图像和视频分析的复杂性，需要开发专门的算法来克服这些问题，以提高图像质量和物体识别性能。

再次，在某些关键应用场景中，如洪水预测和海上救援，系统必须能够实时处理涉水影像数据。这需要高效的算法和硬件加速，以确保系统具备即时响应和实时决策制定的能力。此外，考虑到一些影像可能包含敏感信息，如个人身份或敏感地理位置，数据的隐私和安全性成为不可忽视的问题。因此，必须采取措施来保护数据的隐私和安全性，同时遵守法规和伦理要求，这也增加了数据处理和存储的复杂性。

最后，不同涉水环境中收集的数据可能存在差异，例如，海洋环境与内陆水域的差异。因此，模型需要具备跨域泛化的能力，以在不同场景中表现出良好的泛化性能。这需要大规模、多样化的数据集和强大的迁移学习技术的支持。

因此，为了应对上述挑战，需要开展跨学科研究和技术创新，将机器视觉与机器学习、光学、海洋学等多个领域的知识结合起来，推动涉水视觉相关应用的发展。

涉水视觉研究进展

机器视觉是智能时代的 “眼睛”，其基于传感器捕获的图像为智能设备执行其功能提供操作指导，涉及到光学照明、光学成像、信号处理、图像处理、图像增强、多模态认知计算及图像智能解析算法等多种技术。

随着计算机视觉技术的不断发展，越来越多新的视觉算法及技术被提出，在目标侦查、智慧城市、资源勘探等多个领域都已经有很成熟的工程化应用。但是当前常见的机器视觉和智能系统研究主要围绕空气和真空介质中的视觉任务展开，对涉水前端成像机理和过程研究不够深入，对涉水图像和视频的智能化处理与分析研究未成体系。

涉水视觉技术仍然停留在利用传统处理方法进行识别，仅通过对颜色、外形等特征对目标进行辨识。

当前端采集设备应用于涉水环境时，由于水对光的反射、折射、吸收、散射等作用，对成像结果的能见度、分辨率、对比度等影响很大，尤其是在复杂的水环境下，造成目标图像出现偏色、褪色、畸变、对比度低、亮度分布不均匀等情况，很难对目标图像进行准确辨识，无法直接用于处理及分析。

随着近些年智能信号处理技术的跨越式进步，现今的视觉技术，利用光电成像系统采集图像信息，经过智能技术的处理，对目标特性进行识别、分析及判断，与深度学习、计算成像、3D 视觉、嵌入式视觉系统等技术紧密结合，然而前端成像设备和后端分析算法间的关系常常被忽略，在涉水视觉领域因前端光线传播机理复杂而影响更甚。

（a）单介质涉水图像色彩偏移及（b）色彩矫正后的图像

（a）单介质涉水图像模糊及（b）去模糊后的图像

理想的完备涉水视觉系统是通过光学的装置和非接触的传感器，在光传播路径的局部或整体的一切水体中，自动地接收并处理一个真实物体的图像，通过前后端的感算结合高效准确地获得所需信息。

涉水视觉是基于光与水的物质相互作用及跨介质传播机理，通过构建专用光学硬件与视觉算法的技术体系，解决涉水环境下视觉影像信号智能处理与分析，及先进智能涉水视觉装备研制相关的工程问题，探索机器视觉技术在涉水环境中应用的科学。其作为临地安防体系中水下安防的重要支撑，对于我国领水的防卫、保护、生产、安全、救援具有重要的意义。

（1）全海深超高清相机 ——“奋斗者” 号万米载人潜器电视直播核心装备。2020 年 10 月，所研制的全海深超高清相机作为万米深潜直播的核心装备，实现了国际上首次万米直播。

全海深超高清相机

（2）“海瞳” 相机 —— 我国首套自主研制的全海深高清相机。2017 年 3 月，研制的 “海瞳” 相机随天涯号着陆器多次下潜到万米深度，最大潜深 10909 米，记录的相关视频影像资料为马里亚纳海沟深渊的海洋生物，物理海洋等多学科研究提供了重要的原始数据。获得了诸多珍贵海洋观测资料，填补了多项海洋科研领域空白。首次记录下了位于 8152 米深处的狮子鱼，是当时国际上观测到鱼类生存的最大深度。

（3）小型全海深高清摄像机。2020 年 4 月至 6 月期间，研制的小型全海深高清摄像机，搭载 “海斗一号” 无人潜水器上，作为唯一搭载的光学成像设备，进行了我国首次作业型无人潜水器的万米海试，最大下潜深度 10907 米，刷新了我国潜水器最大下潜深度纪录。

“海瞳” 相机

临地安防（Vicinagearth Security）

临地安防技术体系属于前沿交叉学科与技术领域，面对低空立体交通、灾害救援、港口水下监控、海洋牧场等一系列应用场景，涵盖低空安防、水下安防及跨域安防，是临地空间中防卫、防护、生产、安全、救援等需求的多元化、跨域化、立体化、协同化、智能化技术体系。该技术体系不独立于现有的众多其他学科领域 / 技术体系，包含相干光探测、稳定探测、多模态认知计算、群体智能决策、涉水光学以及跨域遥感等六大研究 / 技术方向的同时，更广泛地面向空天地海井网，涉及航空航天、深空深海、机械电子、信息 / 量子通讯、新材料、能源动力等众多学科与技术领域的交叉融合，对国防安全、社会稳定、经济发展具有重要意义。

与传统临近空间或近地空间不同，临地（Vicinage earth, Vicinagearth）空间是指从海平面以下 1000 米（阳光穿透水深极限，南海平均水深）到海平面以上 10000 米（民航航线高度）的水域、地面及空域。其中，海平面以下 100 米（大陆架平均水深）到地面以上 1000 米（低空空域开放高度）是其核心区），基本覆盖人类主要生产生活，以及现代战争低空超低空及水下作战空间。其中，Vicinage 源于古法语 / 拉丁语的 visnage/vicinus，同 neighbor。

作者介绍

李学龙，西北工业大学校学术委员会副主任、光电与智能研究院（iOPEN）教授，关注临地安防、图像处理、成像。E-mail: li@nwpu.edu.cn

参考阅读：

1. 李学龙. 涉水光学. 中国科学: 信息科学, 2022, doi: 10.1360/SSI-2022-0398.

http://engine.scichina.com/doi/10.1360/SSI-2022-0398

2. 李学龙. 临地安防（Vicinagearth Security）, 2022, 18(11), 44-52.

https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

原标题：《涉水视觉：从关键技术到智能装备》

阅读原文