FDA: Fourier Domain Adaptation for Semantic Segmentation

Post author:darwin
Post published:2025 年 9 月 14 日
Post category:未分類
Post comments:0 Comments

技術背景與理論基礎
- 在電腦視覺領域，語義分割（Semantic Segmentation）的目標是為影像中的每個像素分配一個類別標籤。然而，訓練一個高精度的分割模型，往往需要大量精細標註的數據，這項工作既耗時又昂貴。為了解決此問題，研究人員轉向使用合成數據（如來自電玩遊戲的圖像）進行訓練，因為它們可以輕鬆生成完美的像素級標註。但這也引發了一個核心挑戰：無監督領域自適應（Unsupervised Domain Adaptation, UDA）。模型在合成數據（來源域）上訓練後，直接應用於真實世界圖像（目標域）時，性能會急劇下降。這種現象源於兩個數據分佈之間的「共變數偏移」（covariate shift），即數據的低階統計特徵（如光照、紋理、色彩風格）存在顯著差異。解決此問題對於降低數據標註成本、擴展模型在真實世界中的應用範圍具有重大的戰略意義。
- 能解決什麼問題
  - 傳統模型在直接跨域應用時面臨的性能瓶頸，主要源於對低階統計數據的敏感性。FDA 技術旨在解決以下核心問題：
    - 性能衰退：當一個在來源域（如GTA5）上訓練的模型被用於目標域（如CityScapes）時，由於光照、色彩、紋理等風格差異，其分割準確率會顯著下降。
    - 高昂的標註成本：FDA 的目標是在完全不需目標域標註數據的前提下，提升模型在目標域的性能，從而繞開為真實圖像進行手動標註的繁重工作。
    - 低階統計數據干擾：模型被迫在學習語義特徵的同時，還要「學會」忽略那些與任務無關的低階統計變異性，FDA 則試圖在數據進入模型前就消除這類干擾。
- 技術發展簡史
  - 在 FDA 技術問世之前，UDA 領域的主流方法多集中於複雜的深度學習模型，特別是對抗式學習（Adversarial Learning）。這類方法通常需要訓練一個額外的判別器網絡，用以區分來源域和目標域的特徵，從而迫使主幹網絡學習到領域不變的特徵表示。然而，這些方法不僅計算成本高昂，其對抗式訓練過程也 notoriously 難以穩定。
  - FDA 的出現可謂是反其道而行。它放棄了複雜的網絡設計和對抗式訓練，提出了一種極致簡潔的解決方案。它不需任何額外的訓練過程來進行領域對齊，僅僅依靠一次傅立葉變換及其逆變換。令人驚訝的是，這種看似簡單的預處理方法，其效果不僅遠超基準模型，甚至超越了當時被視為典範（paragon）的複雜對抗式學習方法，如Cycada。
- 相關理論和技術基礎
  - FDA 技術的核心理論基石是信號處理中的經典工具——傅立葉變換（Fourier Transform）。傅立葉變換能將圖像從空間域轉換到頻率域，分解為代表不同頻率成分的振幅譜（Amplitude Spectrum）與相位譜（Phase Spectrum）。
  - 本技術的核心假設是，影像的低頻振幅譜主要編碼其風格、光照、色彩、紋理等低階統計資訊；而高階語義內容（如物體類別、輪廓結構）則主要由相位譜保留。基於此假設，我們可以推斷：如果我們將來源域影像的低頻振幅譜替換為目標域影像的低頻振幅譜，同時保持來源域影像的相位譜不變，那麼重構出的影像將在保留原始語義內容（例如，車輛、行人）的同時，呈現出目標域的視覺風格（例如，真實世界的光照與色彩）。這便是在不改變標註有效性的前提下，轉換影像「風格」的關鍵所在。
核心算法或模型解釋
- 本章節將深入剖析 FDA 的核心機制，解釋其如何僅通過簡單的頻譜交換，便能有效地對齊不同領域的數據分佈。理解此演算法的簡潔性與其強大效果之間的內在聯繫，是掌握該技術精髓的關鍵。
- 此過程的本質是將來源影像的內容（content）與目標影像的風格（style）相結合。如論文圖1所示，經過頻譜轉換後，一張來自合成世界的圖像（xs）被賦予了真實世界圖像（xt）的外觀特徵，生成了一張「具有目標域風格的來源域影像」。從視覺上看，這張新影像與目標域的數據更加接近，從而為後續的分割模型訓練提供了更有效的輸入。
實驗效果
- 表一
  - 作者把FDA嘗試在自監督式的分割任務中(segmentation), 將GTA訓練好的模型直接運用在Cityspace 這個資料集上，透過自監督的方式，將模型所預測在Cityspace資料上的答案直接當成GroundTruth，直接丟入模型訓練，訓練的結果就是前三列所列出的，mIOU達到44~45，相比於Cycada(mIOU=42.7)這種以對抗式網路訓練的方式來說有大幅的成長
  - 另外作者還發明了MBT方式，即把beta=0.01,0.05,0.09 的網路預測資料取平均，採用這種方式的相比於原本的單網路預測來說，準確度又提升許多，達到46.77
  - 此外，作者還採用疊帶的方式來進行預測，T=0代表從頭到尾訓練模型，T=1代表拿T=0的預測答案後再丟入網路再次訓練模型，可以看到疊越多次準確度越高，最終達到50.45 mIOU
  - 但是在上面這張表格比較可惜的是，作者並沒有列出沒有使用FDA的數據，經查詢後可以在cycada 這篇文獻中找到，沒有使用的FDA演算法僅僅只有21.7 左右而已，相當的慘烈，可見經過domain adapation 後提升劇烈
優缺點分析
- 優點:
  - 極致簡潔，無需訓練 FDA 的核心領域對齊過程僅涉及傅立葉變換及其逆變換，這是一種確定性的數學運算，不包含任何需要訓練的神經網絡或可學習的參數。這極大地降低了實現的複雜度和計算成本，使其易於部署。
  - 卓越的性能儘管方法極其簡單，但實驗結果表明，其性能超越了當時許多依賴複雜對抗式訓練的 SOTA 方法。這證明了「大道至簡」的有效性，即簡單的解決方案有時能比複雜的模型更有效地解決問題。
  - 有效處理低階變異性 FDA 的成功根源在於它直接且精準地處理了已知的干擾變量——圖像的低階統計數據。它沒有讓神經網絡費力地去「學會」忽略光照、色彩等風格差異，而是在數據輸入模型之前就將其對齊。
  - 易於整合此方法可以作為一個輕量級的預處理步驟，無縫地整合進任何現有的語義分割訓練流程中，而無需對模型架構或訓練策略進行大的改動。
- 缺點:
  - 假影風險當超參數 β 設置過大時，即交換的低頻範圍過廣，轉換後的圖像會出現明顯的視覺假影（artifacts）。這些非自然的紋理可能會對模型的訓練產生負面影響，因此需要對 β 值進行適當的選擇或採用如 MBT 這樣的集成策略來緩解。
  - 任務通用性存疑作者在論文中非常坦誠地闡明了該方法的局限性，明確指出：「我們不認為本方法是執行UDA的通用之道，尤其對於語義分割以外的一般性任務。」（”We do not take this to mean that our method is the way to perform UDA, in particular for general tasks beyond semantic segmentation.”）其有效性高度依賴於任務本身對低階統計資訊的敏感度。對於那些領域差異主要體現在高階語義層面的任務，FDA 的效果可能有限。
鑑往古今
- 對抗式學習 (Adversarial Learning)
  - 這是 UDA 領域中最主流的技術流派之一。其核心思想是引入一個判別器（Discriminator），該判別器負責區分特徵是來自來源域還是目標域。同時，分割網絡（作為生成器）則需要努力生成讓判別器無法區分的特徵。通過這種對抗博弈，分割網絡被「欺騙」去學習領域不變的（domain-invariant）特徵表示。代表性工作包括 Cycada [19] 和 AdvEnt [45]。這類方法雖然理論上優雅，但訓練過程往往不穩定且對超參數敏感。
- 圖像到圖像翻譯 (Image-to-Image Translation)
  - 這類方法試圖在像素層面直接縮小領域差距。它們通常使用生成對抗網絡（GANs）等模型，將來源域圖像的風格直接轉換為目標域的風格，生成「偽」目標域圖像用於訓練。例如，將一張GTA5的遊戲截圖轉換成具有CityScapes真實街景風格的圖像。代表性工作有 Cycada [19] 和 DCAN [47]。這類方法需要訓練複雜的生成網絡，計算開銷巨大。
- 特徵空間對齊 (Feature Space Alignment)
  - 與在像素層面對齊不同，這類方法試圖在分割網絡抽取的深層、高維特徵空間中，對齊來源域和目標域的特徵分佈。它們通常通過最小化兩個領域特徵分佈之間的某些統計距離來實現。然而，論文指出，這種全局對齊策略與圖像級分類任務不同，對於語義分割這類密集的像素級預測任務可能適得其反，因為它可能會破壞對精確分割至關重要的細粒度空間結構信息。
參考資料