Survey DG papers 정확히 과제를 해결하기 위해, **논문들을 읽으면서 고려해야할 사항**은 다음과 같다. **연구 세미나에서, 진짜 필요한 것은 큰그림을 잡고 토론하는 것! 논문 하나하나, 수식 하나하나, 메소드 하나하나가 아니다. 따라서 큰그림을 잡으려고 노력해보자. 큰 그림은 구체적으로 아래와 같은 것들이 있다.** 1. Top down 방식으로, DG에 정확하게 알아가자. 2. 기존 문제점에서, DG 논문들이 **해결하려고 하는 것**이 무엇인지? 3. DG의 **많은 방법론**들. 4. 그들의 **공통점과 차이점** 5. 최근 DG 논문들의 **최근 경향, 발전 방향** 6. 해당 DG논문의 **문제점과 약점**이 무엇인지? 7. **내가 그 문제점을 어떻게 해결하면 좋을지?** **논문을 정리하면서 고려해야할 사항**은 다음과 같다. 1. 요약은 1논문당 15줄 이상을 넘어가지말자. 2. 핵심만 파악한다. 디테일한 요소는 중요하지 않다. 3. 꼭 이해할 필요는 없다. 어차피 그 내용으로 논문쓸것도 아닌데... **논문 읽기 스킬 기록** (앞으로 또 새로운 분야를 갑자기 도전해야할 때가 생길 수도 있다. 그럴때를 위해 어떻게 일주일에 34개의 논문을 읽을 수 있었는지 기록해본다. **스키밍의 핵심은 "대충 이해. 복잡하고 디테일한 것은 무시. 핵심만 파악하고 빠르게 다음으로"**) 1. 모든 것을 다 이해한다는 마음을 조금 내려 놓는다. 읽어야할게 너무 많다. 정말 나에게 필요한것에 집중해서 읽는다. 2. 영어 읽는 것을 두려워하거나 싫어하지 말아라. 솔직히 말해서 이제 너의 논문영어 읽기 실력은 매우매우 높다. 그냥 읽어라 Just Do It. (논문 보는데 시간이 많이 허비되는 이유는.. 논문이 어렵거나 방법이 어려워서가 아니고, 너가 영어 읽기를 두려워하고 싫어해서 이다. 딱 참고 읽기 시작하면 누구보다 술술술 잘 읽으니, 그냥 읽어라.) 3. Abstract 를 읽는다. / Introduction이 궁금하면 조금 보지만, 이해안된다고 집중력 낮아지지 말고 당연하다 생각하고 넘어가라. 이해안되는 것을 기록하려 하지말아라. 어차피 이해하고 나면 다 말같지도 않은 말이라는 것을 깨닫고, 무시하게 된다. 4. 그림들을 다 본다. 5. Method로 바로 들어간다. 핵심만 빠르게 캐치한다. 사소한 것인데, 이해가 안되면 넘어간다. 6. 최신 논문이면, Instruction과 Relative work에서 저자가 하이레벨에서는 어떻게 생각했는지 알아본다. 7. 그 분야에 대한 큰 그림을 잡아간다. 8. 이 논문을 한 문장으로 딱 정리해서 기록한다. ~~ 기법을 사용한 ~~Task. 이런식으로 9. 최신 논문 3개의 Introduction, relative work를 따라가면서 빠르게 핵심만 파악해 나간다면, 그 분야는 충분히 큰그림 그릴 수 있다. 자신감 가져라. **주의할 점** - **아이슈타인 "문제를 해결할 시간이 1시간 있고, 그 해결책에 내 인생이 달려있다면, 나는 우선 어떤 질문을 제기하는 게 적합한지 판단하는 데 55분을 쓸 것이다. 일단 적절한 질문을 알기만 한다면 문제 해결엔 5분도 걸리지 않을 것이기 때문이다."** - 썩지 말고, 문제점을 찾고 해결하자. "이렇게" 해보면 좋지 않을까? NO 기본에는 이것이 문제다. 이것을 "이렇게" 해결해보자! YES! # 2.0. Existing 기법정리 **Adaptive로 사용할 만한 Existing 기법들** / 핵심 문제점을 해결할 나만의 방법도 생각해보기 1. Dynamic convolution / Conditional convolution 2. [Sparse-RCNN: proposal features convolution](https://junha1125.github.io/blog/artificial-intelligence/2021-04-27-Sparse-R-CNN/) 3. [BlendMask](https://junha1125.github.io/blog/artificial-intelligence/2021-03-10-BlendMask/) -FCOS 기반 4. [YOLACT](https://junha1125.github.io/blog/artificial-intelligence/2021-03-05-YOLACT/) -RetinaNet 기반 5. Memory and Centroid 6. Attention (domain and shape) 7. Critic (regularizer(self-sup 방법이면 충분?)) 8. Domain prototype (Embeding code) 9. Generator (Manifold projector) # 3.0. Paper list & Relative work **2020 이전 추천 논문** 🌗 1. (pass) Domain Randomization and Pyramid Consistency: Simulation-to-Real Generalization without Accessing Target Domain Data -ICCV18 2. (pass) DLOW: Domain Flow for Adaptation and Generalization -CVPR19 3. (pass) Learning from Extrinsic and Intrinsic Supervisions for Domain Generalization -ECCV20 4. Domain Agnostic Learning with Disentangled Representations -ICML19 5. (pass) ACE: Adapting to Changing Environments for Semantic Segmentation -ICCV19 (인규형 추천 스타일 메모리) 6. Contrastive Syn-to-Real Generalization -ICLR21(인규형 추천) 7. Unsupervised Domain Adaptation through Self-Supervision -ICLR20 (인규형 추천) 8. Confidence Regularized Self-Training -ICCV19 (CRST) 9. Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training -ECCV18 (CBST) **CVPR 21 paper list** ⭐️ 1. (pass) FSDR: Frequency Space Domain Randomization for Domain Generalization 2. (pass) Open Domain Generalization with Domain-Augmented Meta-Learning 3. (pass) MOS- Towards Scaling Out-of-distribution Detection for Large Semantic Space 4. (pass) MOOD- Multi-level Out-of-distribution Detection 5. (pass) Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation 6. (pass) Domain-Irrelevant Representation Learning for Unsupervised Domain Generalization # 4.0. Paper list & Relative work [**꼭 읽어야 하는 추천 Paper**] ⭐️⭐️ 1. ~~Source-Free Open Compound Domain Adaptation in Semantic Segmentation -CVPR21 (Source-free 공부)~~ 2. ~~Adaptive Risk Minimization: A Meta-Learning Approach for Tackling Group Distribution Shift -ICLR21 (인규형 추천, 리뷰도 보기)~~ 3. ~~Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation -(Tent 후속 관용추천)~~ 4. Source-free domain adaptation for semantic segmentation via self-supervised selective self-training -(Tent 디스 영택 추천) 5. Domain Adaptation for Semantic Segmentation with Maximum Squares Loss -ICCV19 [**Adaptive/Dynamic Network DG papers**] ⭐️ **(Adaptive / Sementic Segmentation 을 키워드로 내가 사용할 수 있는 아이디어가 뭘까? 고민해보기!)** 1. Coarse-to-Fine Domain Adaptive Semantic Segmentation with Photometric Alignment and Category-Center Regularization -CVPR21 2. Iterative Filter Adaptive Network for Single Image Defocus Deblurring -CVPR21 3. Cross-View Regularization for Domain Adaptive Panoptic Segmentation -CVPR21 4. Adaptive Aggregation Networks for Class-Incremental Learning -CVPR21 5. Dynamic Transfer for Multi-Source Domain Adaptation -CVPR21 6. Progressive Domain Expansion Network for Single Domain Generalization -CVPR21 7. Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation -CVPR21 **하지만 Test time / adaptive modules가 아닌 논문들** / 혹은 일단 패스.. 5. (pass) Adaptive Convolutions for Structure-Aware Style Transfer -CVPR21 6. (pass) Dynamic Weighted Learning for Unsupervised Domain Adaptation -CVPR21 [**공부할 Code/New DG paper**] 1. [facebookresearch/DomainBed](https://github.com/facebookresearch/DomainBed) 2. CBST / CRST 논문 및 코드 공부하기 ([CRST 논문](https://github.com/yzou2/CRST), [CBST 논문](https://github.com/yzou2/CBST)) **[BaseLine 코드 찾기를 위한 사이트 모음]** 1. https://github.com/amusi/CVPR2021-Papers-with-Code 2. https://github.com/52CV/CVPR-2021-Papers 3. https://github.com/zhaoxin94/awesome-domain-adaptation 4. https://github.com/amber0309/Domain-generalization # 5.0. TENT 관련 논문 List **논문 검색방법** 1. arxiv, 구글스칼라, 구글 검색 등에 키워드 검색 2. 그렇게 몇 논문이 나타나면 그 논문의 related work을 살펴보거나 그 논문을 인용한 논문을 재조사 3. ICCV, CVPR에서 Source free 중심으로 논문 찾아보기 **관련 논문 List** 1. ~~Tent: Fully Test-time Adaptation by Entropy Minimization 20.6 ~ 21.5.18~~ 2. ~~Adapting ImageNet-scale models to complex distribution shifts with self-learning 21.4.27~~ 3. ~~Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation - 21.6.28~~ 4. ~~S4T: Source-free domain adaptation for semantic segmentation via self-supervised selective self-training - 21.7.21~~ 5. ~~Generalized Source-free Domain Adaptation -21.8.3 (ICCV21)~~ 6. ~~Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks -20.12~21.7.23 (ICLR 2021)~~ 7. ~~SENTRY: Selective Entropy Optimization via Committee Consistency for Unsupervised Domain Adaptation -20.12.21~~ Notion 참고
