An Approach to One-Shot Semi-Supervised Federated Learning for Text Classification with Pretrained Sentence Bottleneck Autoencoders

모바일 기기 사용이 증가함에 따라, 사용자가 작성한 문장을 기반으로 한 성향 분석, 상품 추천, 소셜 미디어 감성 분석 등 텍스트 분류의 비즈니스 가치가 증가하고 있다. 그러나 이러한 모바일 텍스트 분석은 개인정보 노출과 대규모 데이터를 중앙 서버에 전송해야 하는 문제로 인해 학습 과정에서 어려움에 직면하고 있다. 이 문제를 해결하기 위해 연합 학습(Federated Learning, FL) 접근법이 주목받고 있다. 그러나 기존 연합 학습 방법은 레이블이 있는 데이터를 활용한 지도학습 방식에 의존하고 있어, 실제 모바일 환경에서는 레이블이 없는 데이터가 더 많으며, 비독립적-비동일한 데이터 분포(Non-Independent and Identically Distributed, Non-IID)의 텍스트 데이터 환경으로 기존 방식은 성능이 저하되는 한계가 있다.<br/> 본 연구는 이러한 한계를 극복하기 위해 사전 학습된 문장 병목 자동인코더(Sentence Bottleneck Autoencoder, SB-AE)를 활용한 새로운 원-샷 반지도 연합 학습 방법을 제안한다. 이 방법은 서버의 프로토타입을 활용해 레이블이 없는 클라이언트 데이터의 가상 레이블을 반지도 학습으로 예측하고, 클라이언트의 대표 특징만을 서버에 전달해 고품질의 증강 텍스트 데이터를 생성한다. 이를 통해 클라이언트 학습 없이 단일 통신 라운드만으로 서버의 글로벌 모델을 미세 조정하여 모바일 기기에서의 텍스트 분류 성능을 향상시킴을 확인하였다. 이 접근법은 연합 학습에서의 네트워크 부담, 해킹 위험, 및 비용 증가 문제를 해결하는 데 기여한다.