【DA】 DHA-Open compound domain adaptation

  • Paper: Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation
  • Type: Domain adaptation & Domain generalization
  • Opinion: 선배님 논문 & NIPS paper
    • Target domain들을 Domain latent로 분리한 것은 매우 흥미로웠다.
    • 하지만 결과를 살펴뵤면 K=3 일 때, 가장 성능이 좋다. 음.. K가 10이상으로 아주 클 줄 알았는데.. 의외다. Target Latent를 정확하게 찾아서 clusttering 한 것은 아닌듯 하다. Style imformation을 다른 곳에서 정확히 추출할 필요가 있다.(물론 여기서 Target dataset은 매우 제한적으로 사용한다. DG task가 아니다.)
    • 생각보다 Original. Open compound domain adaptation (for classification) 논문과 연관이 전혀 없었다.

【DG】 RobustNet- Improving Domain Generalization

  • Paper: RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening
  • Type: Domain Generalization
  • Opinion:
    • 여기 있는게 다 새로워보이지만, 사실은 다 어디있던 개념이라는 것을 잊지말자.
    • 이미 normalization 에 대한 연구나, Style Transform에 대한 연구에 있던 내용들이다.
  • Key words
    1. Whitening Transformation이란, 초기 Layer의 Feature map에 대해 채널 방향 공분산 행렬이 단위행렬이 되도록 만든 변환이다. (==Feature map (CxHxW)를 [HW 백터 C개] 로 변환한 후, C개의 백터들에 대한 Covariance Matrix를 Identity Matirx 형태가 되도록 하는 것이다.), 이렇게 하면 이미지의 Style 정보가 제거 된다는 가설이 있기 때문에, 이 논문에서는 WT를 적절히 적용하기 위한 노력들을 하고 있다.
    2. Whitening Transformation을 정확하게 하려면 Eigen-decomposion이 필요하다. 하지만 이것은 computation-cost가 크다.
    3. 이것을 대체하기 위해서, deep whitening transformation Loss를 적용하면, Whitening Transformation이 이미 적용된 Feature가 나오도록 유도된다.
    4. deep whitening transformation Loss(Equ(5)) 함수를 그대로 적용해 학습시키면, 사실 수렴이 잘 되지 않는다.
    5. Feature map에 Instance normalization 을 적용하고, Equ(5) 를 적용하면 수렴가능하다!
    6. 하지만, Equ(5)이 covariance metric 내부 원소들에 모두 적용되면(-> Equ(10)와 같이) 그건 domain-specific info, domain-invariant info를 모두 지워버리는 행동이다.
    7. Covariance metrix에서 domain-specific element position만! 딱 그 부분에만 deep whitening transformation Loss(-> Equ(17)과 같이) 를 적용한다.
    8. 이렇게 하면 domain-specific info에 대한 covariance는 죽이고, domain-invariant info는 살릴 수 있어서, 옮바른 segmentation(recognition)이 가능하다!
  • Reference Site
  • Quastion
    • domain-invariant info를 굳이 Covariance metric에서 찾을 필요가 있나?
      1. Feature map에서 찾으면 안되나.
      2. 지금까지는 Channel-wise domain-specific/invariant info만을 찾았고, Spatial-wise specific/invariant info도 같이 찾으면 좋지 않을까?
    • K-mean cluster를 이용해서 기존의 n차원 원소들을 k개로 나누는 방법은, 심박하다. 언젠간 쓸모가 있으려나.
    • Figure7을 어떻게 생성한거지? whitening이 된 feature map을 어떻게 다시 이미지로 mapping 시켰을까? 코드 레벨로
    • 나머지 의문은 성능을 직접 테스트 해보고 알아보자.

【Attention】 Dual-attention & Scale-aware for segmentation

Pagination


© All rights reserved By Junha Song.