近日，計算機學院（軟件學院）、人工智能學院馬穎東課題組在基于Transformer結(jié)構(gòu)的圖像分割方面取得了新的進展，研究成果以 “TFRNet: Semantic Segmentation Network with Token Filtration and Refinement Method”為題，發(fā)表于國際跨媒體智能領域頂級期刊IEEE Transactions on Multimedia上，內(nèi)蒙古大學為唯一完成單位。該刊是中國人工智能學會認定的A類期刊，中科院1區(qū)TOP期刊。
圖像分割類應用（包括語義分割、實例分割、顯著物體檢測等）既要提取圖像細節(jié)信息計算高質(zhì)量分割掩碼圖，又依賴于圖像的全局信息以實現(xiàn)場景識別。最近提出的基于視覺Transformer結(jié)構(gòu)方法依靠自注意力機制的全局建模能力，顯著提高了圖像分割的準確率。但是視覺Transformer結(jié)構(gòu)存在計算復雜度高、缺少細節(jié)信息等局限性，難以獲得像素級分割結(jié)果。
文章針對基于Transformer結(jié)構(gòu)圖像分割領域存在的上述問題，利用特征篩選方法，篩選出重要特征并增強重要特征在網(wǎng)絡中的權(quán)重，解決了現(xiàn)有Transformer分割方法計算復雜，結(jié)果不夠準確的問題。同時將Transformer特征與卷積神經(jīng)網(wǎng)絡特征融合，進一步精煉分割結(jié)果。實驗結(jié)果表明，此方法在不同的圖像分割數(shù)據(jù)集上都取得了顯著的性能提升。
該研究得到了國家自然科學基金的資助，論文鏈接：https://ieeexplore.ieee.org/document/10474206
素材來源：計算機學院（軟件學院）、人工智能學院 編輯：李文娟 審核：劉雪峰
蒙ICP16002391號-1
