《電子技術應用》
您所在的位置:首頁 > 人工智能 > 設計應用 > 融合對象和多尺度視覺特征的遙感圖像描述模型
融合對象和多尺度視覺特征的遙感圖像描述模型
網絡安全與數據治理 6期
賈亞敏,陳 姣,彭玉青
(河北工業大學 人工智能與數據科學學院,天津300401)
摘要: 基于遙感圖像多尺度、無法準確提取微小物體、物體類別易混淆的問題,提出了一種融合對象和多尺度視覺特征的遙感圖像描述模型(Fusion of Object and Multiscale Visual Feature,FO-MSV),通過構建的對象提取器分析文本信息,提取其中的對象信息;設計了一種多尺度交互模塊,獲取遙感圖像的多尺度視覺特征,以適應多尺度的特點;為了充分利用對象信息并融合視覺信息,提出了一種新的對象-視覺特征融合機制,調整視覺上下文和對象上下文之間的平衡。基于該領域內三個數據集的實驗結果表明,該模型能明顯提升描述的性能,與其他先進模型相比具有競爭力。
中國分類號: TP391
文獻標識碼: A
DOI: 10.19358/j.issn.2097-1788.2022.06.011
引用格式: 賈亞敏,陳姣,彭玉青. 融合對象和多尺度視覺特征的遙感圖像描述模型[J].網絡安全與數據治理,2022,41(6):78-83,89.
Remote sensing image caption model with fusion of object and multiscale visual feature
Jia Yamin,Chen Jiao,Peng Yuqing
(School of Artificial Intelligence,Hebei University of Technology,Tianjin 300401,China)
Abstract: Aiming at the problems that remote sensing image has multiscale features and the object categories are easy to be confused, cannot accurately extract the tiny objects from images, a new remote sensing image caption model(FO-MSV) is proposed, which analyzes the text information through the constructed object extractor, to extract the object information. A multiscale interaction module is designed to obtain the multiscale visual features of remote sensing images to adapt to the characteristics of multiscale. In order to make full use of object information and fuse visual information, a new object-visual feature fusion mechanism is proposed to adjust the balance between visual context and object context. Experimental results on three datasets show that the proposed model can significantly improve the performance of captions and is competitive compared with other advanced models.
Key words : image caption;remote sensing image;multiscale feature;object information;visual information;feature fusion

0 引言

圖像描述是旨在從語義層面上對圖像進行總結。遙感圖像是利用遙感技術從高空獲取的圖像,遙感圖像描述(Remote Sensing Image Caption,RSIC)是上述兩個領域的結合,旨在為指定的遙感圖像生成綜合性的文本描述,在交通指揮、地理研究等領域[1]具有廣泛的應用前景,已成為新興的研究熱點。遙感圖像描述的實現最初沿用了圖像描述的編碼器-解碼器模型[2],隨后提出了許多模型來解決不同的問題,多數研究使用卷積神經網絡(Convolutional Neural Networks,CNN)作為編碼器提取圖像特征,但CNN卷積層的輸出特征所對應的感受野都是大小和形狀相同的均勻網格,因此僅利用CNN提取的圖像特征容量有限,難以識別圖像中的微小物體,且由于拍攝角度問題,遙感圖像中存在一些多義和易混淆物體,不易區分。

為解決上述問題且適應遙感圖像場景多尺度的特點,本文提出了融合對象和多尺度視覺特征的遙感圖像描述模型(Fusion of Object and Multiscale Visual Feature,FO-MSV)。該模型構建對象提取器(Object Extractor,OE)利用指針生成網絡[3]得到的整合描述提取對象信息以避免遺漏微小物體。同時提出了一種新的多尺度交互模塊(Multiscale Interaction Module,MSCM)來獲取圖像的多尺度視覺特征適應多尺度的特點。此外,設計一種新的對象-視覺融合機制(Object-Visual Fusion Mechanism,ovFM)來利用對象信息并融合多尺度視覺信息避免出現識別對象錯誤的問題,且改善了長短時記憶網絡(Long Short Term Networks,LSTM)的結構,稱為多輸入LSTM(Multi-Input LSTM,I_LSTM)。



本文詳細內容請下載:http://www.viuna.cn/resource/share/2000005064




作者信息:

賈亞敏,陳  姣,彭玉青

(河北工業大學 人工智能與數據科學學院,天津300401)


微信圖片_20210517164139.jpg

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 国产在线精品一区二区三区 | 999视频精品全部免费观看 | xxxx成人| 欧美爽爽爽爽爽爽视频 | 在线观看国产wwwa级羞羞视频 | 色综合天天综一个色天天综合网 | 第一福利网址导航 | 亚洲另类第一页 | 国产精品一区二区不卡的视频 | 午夜成人在线视频 | 久久精品欧美一区二区 | 国产中文字幕乱人伦在线观看 | www.黄色网.com| 日韩高清在线观看 | 国产成人精彩在线视频50 | 亚洲午夜在线视频 | 天堂网色 | 久久精品国产2020观看福利色 | 日韩a无v码在线播放免费 | 日韩a在线看免费观看视频 日韩h片 | 一级黄色毛片 | 国内精品视频在线播放一区 | 一级aaaaaa片毛片在线播放 | 日韩中文字幕精品视频在线 | 久久亚洲人成国产精品 | 最近中文字幕完整视频高清1 | 亚洲国产成人久久精品影视 | 日韩在线观看高清 | 又黄又爽又猛大片录像 | 性色在线观看 | 天天搞夜夜 | 一区二区精品视频 | 亚洲欧美日韩综合久久久久 | 免费一级特黄欧美大片勹久久网 | 欧美日韩一区二区三区在线播放 | 在线www 天堂网在线 | 日韩毛片在线看 | 91成人精品| 欧美一级成人一区二区三区 | 99精品国产兔费观看久久99 | www国产永久免费视频看看 |