Meta-Learning Based Beamforming 논문 리뷰

 인공지능 카테고리에 Meta-Learning에 대한 글 [1]을 정리하면서, 환경이 급변하는 여러 Domain에 Meta-Learning이 적용될 수 있다는 가능성으로 글을 시작하고 맺었다. 이번 글에서는 여러 Use cases 중에 '5G/6G'에 어떻게 적용될 수 있을지를 살펴보려고 한다. 여러 논문 중에 고민을 하다가, 5G의 대표 기술 중 하나인 Beamforming을 다루면서, 저자들도 IEEE Fellow 다수로 이루어진 논문 [2]이 있어서 이를 소개해보려 한다. mmW에서 주로 사용되는 Beamforming은 대표적으로 Channel이 급변하는 환경으로 취급되기 때문에 Meta-Learning이 적용될 여지가 충분해 보인다는 점 또한 이 글에서 다루는 요인 중 하나다.

 

---

제목: Transfer Learning and Meta Learning Based Fast Downlink Beamforming Adaptation

저널명 : IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS

출판년도 : March, 2021

저자 : Yi Yuan, Gan Zheng, Senior Member, IEEE, Kai-Kit Wong, Fellow, IEEE, Bjorn Ottersten, ¨ Fellow, IEEE, Zhi-Quan Luo, Fellow, IEEE

---

Introduction

 이 논문은 대부분의 AI-based Channel Estimation 관련 논문들에서 가정하는 'Training에 이용되는 Channel과 Test에 이용되는 Channel에 대한 Distribution이 같다는 Assumption이 Practical 하지 않다'는 지적으로 글을 시작한다. 이런 지적은 Channel이 많이 흔들리는 상황에서 더욱 설득력을 갖는 주장이다. 이 글에서는 이를 해결하기 위해 Fast-Adaptation을 위한 offline Transfer Learning, Meta Learning 두 가지 방식을 제안한다. 더 나아가, Non-stationary 한 상황에서의 학습을 위해 online Meta Learning 또한 비교군에 넣는다. 결론을 먼저 말하자면, Online Meta Learning이 Channel이 급변하는 상황에서 잘 맞아 들어간다는 내용이 들어있다.

 전통적인 방식의 Beamforming은 Power Minimization, SINR Balancing 등의 문제에 대한 Optimization Problem을 Heuristic 방식으로 Iteration을 해서 푸는데 (e.g., Zero-Forcing (ZF) Beamforming), Computational Complexity가 높아, 이를 Deep Learning으로 해결하려는 논문은 5G 초기부터 쏟아져 나오고 있다. 대부분의 논문들은 offline으로 Training을 하고, 학습된 Model을 기반으로 Inference을 함으로써, Beamforming Solution을 찾아냈다. 초기에는 Performance와 Training overhead도 reasonable하다고 생각되는 논문들도 있었지만, 하지만 5G, 6G로 넘어가면서 Antenna의 수가 증가하고, User 수도 증가함에 따라, 문제가 점점 복잡해지고 있다. 무엇보다, Stationary 환경에서 Training Channel Distribution과 Test Channel Distribution이 같다는 Assumption이 기본적으로 깔려있다. 이런 Assumption은 기껏 학습시킨 모델을 Real-world에서 활용하지 못하게 되는 가장 큰 원인으로 작용한다. 따라서, 빠르게 변하는 Network를 Adpatation해서 학습할 수 있는 AI 모델이 필요하다는 주장이 나오게 되지만, Re-Training을 하기에는 Training overhead가 너무 큰 문제가 생긴다. 이는 이전 글에서 Meta-Learning의 Motivation과 일맥상통하는 부분이 있다. 이 논문에서는 Meta-Learning 중에 Model-Agnostic Meta Learning (MAML)을 다루고 있으며, 이를 사용한 CSI-Prediction, insufficient Pilot에서의 Estimation 등에 대한 다른 논문들도 소개한다.

 

System Modeling

 이 논문에서는 Multi-user의 Downlink (DL)의 Beamforming을 다루고 있고, User들의 SINR의 min값을 Maximize하기 위한 Transmit beamforming을 control 하고, Power budget이 있는 optimize 식으로 이루어져 있다.

DL의 Optimization Formula

 현재의 Outdated Beamforming 문제가 Dynamic Channel을 잘 못 따라 가기 때문에, Prediction 문제로 바꾸는 Approach도 있지만, Complexity도 올라가고, Accuracy도 떨어진다. 대신 UL과 DL의 Duality [3]을 이용하여, Low-Dimension의 UL power allocation vector를 Prediction 하고, 이를 DL Beamforming에 이용한다는 Approach로 접근한다.

UL로 Convert한 Optimization Approach

 DL과 UL간의 Convert를 위한 식들이 추가적으로 있지만, 결론적으로는 UL의 Power Allocation $q$를 잘 찾으면, Performance가 올라간다고 생각하면 된다. 따라서, 아래와 같은 Mean Square Error (MSE) 값이 Loss function으로 지정된다.

Training Loss Function

 여기까지가 통신적인 내용이었고, 기존의 Offline 방법으로는 이렇게 Optimization 문제를 풀어도, Dynamic Channel에서는 Test Channel에서의 성능이 하락한다. 따라서, 이 논문에서는 Transfer Learning과 Meta Learning을 통해 Dynamic Channel에서 빠르게 Adaptation 하는 방식을 제안한다.

 

Offline Learning

 1) 가장 먼저, 성능의 Benchmark를 잡기 위해, Trainset과 Adaptation-set을 합친 Joint Training을 실시한다. 가장 단순하게, 전체 Dataset을 Trainset으로 놓고 Training을 하는 방식이다. 

 2) 다음 Scheme은 Transfer Learning으로, Trainset으로 한번 학습을 하고, Channel이 다른 상황에 대한 dataset으로 Fine-Tuning을 하는 방식이다. 즉, 이 때는 초기 Trainset에 Adaptation을 위한 Dataset이 섞이지 않는다. DNN에서 대략적인 Feature를 뽑아내는 앞쪽 Layer는 Pre-Trained 상태 그대로 내버려 두고, 뒤쪽 Layer를 다시 학습시키는 Fine-Tuning 과정이 추가된다.

Meta Learning의 Diagram

 3) 다음 Scheme이 Meta-Learning으로, MAML을 적용해서 전체 Dataset을 관통하는 (Meta-Parameter) Inductive bias를 찾아, Fast Adaptation을 가능하게 만드는 방식이다. 여기서의 Meta-Learning의 Task는 주어진 Channel에서의 UL의 Power Allocation을 의미한다. 이전 글에서 소개했던 MAML의 알고리즘 방식대로, 다양한 Task를 Training set으로 잡고, Global NN (Generalized version)에 대한 $\theta$를 구하고, $\theta$를 Initialization으로 현재 Task에 맞는 $\phi$를 찾는 방식으로 이루어진다. 이 논문에서 Global NN의 parameter를 찾는 과정을 cross-task, 하나의 Task에 대한 $\phi$를 찾는 과정을 Inner-task라고 한다. Inner Task를 위해 여러 번의 Gradient Descent Iteration이 돌 수 있는데, 이 경우 다음과 같은 update 과정이 있다. $\beta$는 update의 step size다.

Inner-Task의 parameter update

 Cross-Task를 위한 $\theta$ update는 다음 수식과 같이 진행된다. Inner-Task의 $D_{mts}$는 Traingset, 아래 수식의$D_{mtq}$는 Validation set이라고 생각하면 되고, $\alpha$는 update의 step size다.

Cross-Task의 Parameter Update

 위 수식에서, $\theta$를 update하기 위해, $\theta$에 대해 미분을 진행하면, 위의 Diagram을 기준으로, 다음과 같은 $\phi$에 대한 Chain Rule이 성립한다.

Chain-Rule of Cross-Task update

 시스템을 운용하면서 들어오는 Channel에 맞는 Model이 필요할 때, 즉, Fast-Adaptation을 할 때, Cross-Task update를 통해 얻은 $\theta$값을 Initialization으로 진행하고, 현재 Channel에 맞는 $\phi$를 한 두 번의 udpate로 찾아내면 Meta-Learning Framework가 완성된다.

 

Online Learning

 Offline Learning 방식의 Meta-Learning에 대해 열심히 알아봤지만, 논문의 다음 Section은 위에서 소개한 Offline Learning 방식이 Stationary면서 Dataset의 Distribution을 어느 정도 알고 있을 때, 적용할 수 있다는 얘기를 한다. 하지만, 이 가정은 Realistic 한 환경에서 적용되지 않기 때문에, Online Learning 방식을 제안한다. Concept은 Cross-Task Update에서 활용되는 $\theta$가 고정되지 않고, 시간에 따라 바뀔 수 있는 $\theta_t$가 된다는 점이다. Inner-Task update에서도 Task가 시간에 따라 계속 바뀌기 때문에, 바뀌고 있는 $\theta_t$를 끌어와서 $\phi$의 update에 활용하게 된다. Online Learning을 정리하면, Time slot t마다 계속 update를 진행해서 현재의 마지막 Task를 update할때 Initialization을 위해 사용할 $\theta$를 항상 최신으로 update 하고 있자는 뜻이다. 원문 [2] 에는 Algorithm도 pseudo code 형태로 정리되어 있지만, 위에서 말한 내용을 그대로 옮겨놨기 때문에, 생략한다.

 Performance Evaluation을 위해 Joint Training, Offline Transfer Learning, Offline Meta Learning, Online Meta Learning을 비교한 그래프를 보여준다. Offline Meta Learning의 경우에도, Fast-Adaptation을 충분히 잘 하고, Generalization이 잘 되는 그래프가 보인다. 논문의 흐름상 당연하겠지만, Non-stationary 특성을 가지는 Channel의 경우에는 Online Meta Learning의 성능이 좋다.  

 

Conclusion

 이번 글에서는 Meta-Learning을 적용할 수 있는 Use case 중 하나로 5G의 주요 기술로 꼽히는 Beamforming 논문을 소개했다. 환경이 바뀌는 경우에는, Meta-Learning이 Fast Adaptation을 다른 Scheme보다 잘 해주고, Non-Stationary 환경에서는 Meta Parameter $\theta_t$를 계속 update 하는 Online Meta-Learning이 적합하다는 결론이 담겨있다. 5G 환경에서 가장 빠르게 변하는 환경이 Channel이기 때문에 이를 활용한 Meta-Learning 논문들이 많이 나오고 있다. 단순히 AI를 통신에 적용했다 정도가 아닌, 정말 Realistic 한 AI 모델 활용을 고민하고 있다면, Meta-Learning은 반드시 고려해야 할 Option이라고 생각한다.

 

Reference

[1] https://engineering-ladder.tistory.com/95

Meta-Learning과 MAML의 개념 정리

[2] Y. Yuan, G. Zheng, K. -K. Wong, B. Ottersten and Z. -Q. Luo, "Transfer Learning and Meta Learning-Based Fast Downlink Beamforming Adaptation," in IEEE Transactions on Wireless Communications, vol. 20, no. 3, pp. 1742-1755, March 2021, doi: 10.1109/TWC.2020.3035843.

[3] M. Schubert and H. Boche, “Solution of the multiuser downlink beamforming problem with individual SINR constraints,” IEEE Trans. Veh. Technol., vol. 53, no. 1, pp. 18-28, Jan. 2004.