您所在的位置: 首页 新闻中心 基层动态 正文
二院207所:揭秘航天牌全景拼接成像器
发布时间2022-03-24     信息来源: 凯发平台网 二院

多年前、无死角记录你的世界”,当全景相机刚刚面世时,打出的广告是:“全景相机。于是,然而现实却给了我们重重一击,“只见森林不见树木”的成像效果令人略感失望,有了全景相机,大家都欣喜的以为,眼前的美丽景色将无一遗漏。直到如今,在拍摄时到底是把握图像细节还是全景全貌?“鱼与熊掌“让摄影师们抉择的相当艰难。不过有了航天牌全景拼接成像器,一切将变得简单起来。拥有基于大视差的扫描式可变焦全景拼接成像器,在全景图像拍摄中达到“纤毫毕现”的效果将不再是梦。

那么这个基于大视差的扫描式可变焦全景拼接成像器(以下简称全景拼接成像器)到底是怎么做到“纤毫毕现”的呢?它有着怎样的原理?采用了怎样的先进技术呢?本文将为大家详细解开这一谜题。

传统的全景相机往往采用鱼眼镜头一体化设计或多相机模式、存在“只见森林不见树木的情况”,多相机模式在体积和成本控制、散热、产品化等方面存在难以解决的问题,然而鱼眼镜头在像素无法大量提升的情况下不能把握图像的细节,同时。全景拼接成像器则采用可变焦的长焦相机结合高精度转台在大视差下对目标细节进行全方位动态扫描式成像,结合深度学习拼接和渲染算法,在全景图像中达到“纤毫毕现”的效果。

全景拼接成像器替代鱼眼镜头成就了图像的完美画质,然而这看似简单的替代却蕴含着两项复杂技术。

大视差全景拼接技术

系统由4k成像机芯,高精度云台,前端图像处理单元,后端图像处理单元组成,如图1所示:

图1 成像系统组成框图

传统的图像拼接技术往往对视差较小的图像效果比较理想,例如利用手机等在原地水平缓慢转动所获得的全景图像等。但对于长焦图像往往由于大视差等原因难以实现拼接或拼接效果不佳。其原因在于长焦图像视场较小,特征点提取与匹配难度大,多张图像之间视差更大,目标细节内容更多。

全景拼接成像器,针对较大视差图像的拼接难点,采用软硬件协同配合的方式解决这一问题。其中硬件采用4K长焦可见光相机与高精度转台相结合,配合稳像算法实现高分辨率图像采集。同时,直接可输出全景图像,前端嵌入式图像处理单元进行实时全景图像拼接。

其关键在于采用基于大视差的全景拼接技术,实现大视差下扫描式全景拼接成像器的设计。在扫描或者是行进间采集大视差长焦近景图像,对其进行扫描式全景拼接。

图2 大视差全景拼接技术

上图为在大视差全景拼接技术下的实际演示图、最后再用图3+图6生成最终想要的图7,图1+图2=图3、图4+图5=图6。

基于自然语义分割的图像提取技术

图3 典型场景下的自然语义分割效果

在获取实际全景图像中、由于近景远景的问题,往往存在较多的干扰,比如对街景图像的采集,且容易造成错误匹配,同时不利于观察目标背景,造成相邻两幅图像存在较大的视差,比如行人、车辆、路灯等。在这种情况下。将干扰前景从图像中剔除出去,直接对目标背景进行图像拼接,并由其周围图像对其缺少的前景部分进行渲染和补全,可采用基于自然语义分割的图像处理技术。

基于以上两项核心技术。并已达到实用化水平,全景拼接成像器的关键技术和核心算法已初步达成。在使用中该产品分为前端采集模块和后端计算机处理模块。前端采集模块设计了定点扫描式拍摄和车载移动拍摄两种拍摄模式,后端计算机算法处理目前已实现图像的自动化拼接。全景拼接成像器后续可应用于边海防与城市公共安全防控以及手机、相机等日常必需的智能电子产品和全景电子地图的绘制等多个方面、提高国民生活质量作出巨大贡献,为国家边防稳定,社会治安稳定。(文/杨晨、方格子)