【Federated】 Federated learning Brief Survey

08 Jan 2022 in Artificial Intelligence

• Federated learning

(made by junha)

Federated learning Brief Survey

1. (Labeled Client & Server data, Single domain) clients의 privacy를 보호하면서, Center model의 성능 향상을 목표로 한다. Data 암호화를 어떻게 할 것인가? 어떻게 모델을 통합할 것인가?
2. (Labeled/Semi clients, Unbalanced and non-iid across the participants) 다양한 Clients domain을 고려하기 시작한다. Center model 성능 향상에 목표를 둔다.
3. [1] (Clients 의 성능향상에 대한 고려) most prior work does not measure their individual accuracy.
   1. PS. 위에서는 Local weight Averaging 통합 기법 연구가 주를 이룬다
      1. inter-client domain discrepancies 에 의해 아래 문제 발생.
      2. averaging the client models tends to cancel out or negatively affect the adaption efforts made on the client devices.
      3. aggregation is also vulnerable to attacks on model integrity
4. [2] (FL와 DA를 함께 고려한 첫번째 논문) 하지만 세팅이 이상하다. Multi source-Single target / Labeled Clients/ Server와 Client의 전체 동시 학습이 이뤄진다. Heavy communication, Computational demands
5. [3] (Unlabeled/Semi clients) Labeld data가 client에 있다는 것은 말이 안된다고 주장되기 시작함. the consistency between the predictions made across multiple models를 활용함. 하지만 server-client and inter-client domain gaps 에 대한 고려 하지 않음.
6. [4] (Unlabeled Clients, Multi target domain) 모든 a large domain gaps을 고려.
   1. 통합에 어려움을 격을 것이다.
      1. One Client Specific Classifier → A large number of Classifier 컨트롤이 힘들어 질 것이다.
   2. 또한 그렇게 만들어진 Center Model의 성능 향상 능력을 고려하고 측정하지 않았다.
      1. Server에서 Generalization 효과를 파악하려면, Open domain에 대한 고려가 필요하다.
   3. Self-Learning과 Adversarial Loss. Self training 특성상 어쩔 수 없는 Bias는 불가피하다. 그로 인해 오랜 학습하면 성능이 하락된다. (Noisy에 약하다. Safe&Unstable signal 아니다.)

Reference

• [1] Salvaging Federated Learning by Local Adaptation. arXiv, 2020
• [2] Federated Adversarial Domain Adaptation. ICLR, 2020
• [3] Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning. ICLR workshop, 2020
• [4] Federated Multi-Target Domain Adaptation. arXiv, 2021