基於具有座標注意力和邊緣檢測輔助之雙邊分割網路的實時語義分割任務

摘要:

語義分割任務在計算機視覺領域中一直是一個重要議題。近年來， 卷積神經網路(Convolutional Neural Network)的作法也從比較早期的編碼器-解碼器(Encoder-Decoder)架構， 演變至今各種架構都有人使用，對於語義分割任務來說，空間訊息和感受場(receptive field)是不可缺少的， 為了使語義分割數方法幾乎都選擇在圖片解析度和低層次的細節訊息上做出妥協，這導致了準確性的大幅下降。 在本文中，我們提出了一個基於雙邊分割網路(BiSeNet)的新架構，稱為BiSeNet V3。 我們引入了一個新的特徵細化模組來優化特徵圖，以及一個特徵融合模組來有效結合特徵， 引入了一個注意力機制來幫助模型提取上下文訊息，為了能更好的獲取特徵，我們還使用邊緣檢測來增強邊界的特徵。

 

 

 

架構設計:

我們提出了一個改進的雙邊分割網路(BiSeNet V3)，這是一個用於語義分割任務的高效和新穎的架構， 在我們的研究基礎上，我們高度認可BiSeNet的雙向架構和STDC Net為語意分割任務設計的編碼器，我們重新設計了網路內部的模組， BiSeNet中的原來的注意力細化模組(Attention Refinement Module, ARM)和特徵融合模組(Feature Fusion Module, FFM)錯過了空間訊息。 基於座標注意力的概念，我們設計了座標特徵細化模組(Coordinate Attention Refinement Module, CFRM) 和座標特徵融合模組(Coordinate Feature Fusion Module, CFFM)來加強整體架構在特徵圖上的表示， 在CFRM細化特徵圖的作用下，我們使用邊緣檢測方法來輔助這個模組， CFFM有效地利用座標注意力來融合不同層次的特徵圖， 這些技術都使語義分割的結果更加準確，考慮到推理的速度，所提出的架構在速度和準確性之間實現了良好的權衡。

 

圖一：(a)坐標特徵細化模組(Coordinate Feature Refinement Module,CFRM)的架構圖

(b)坐標特徵融合模組(Coordinate Feature Fusion Module,CFFM)的架構圖

圖二: 雙邊分割網路V3的概述。 Edge/Seg-Head表示分割頭，它包括一個3×3的Conv-batchnorm-ReLU層和一個1×1的Conv-batchnorm-ReLU層。

分割頭的輸出維度是類的數量。藍色虛線框內的操作是我們的BiSeNet V3，而橙色虛線框內的操作是只在訓練階段使用的部分。

 

 

 

 

Made by  曾昱瑋