5G Vehicular Network RL 논문 리뷰 (Slot Format)

이 논문은 5G Vehicular Network 상황에서 V2I의 Throughput을 최대화하기 위해 Reinforcement Learning을 사용한다. 이전 LTE Vehicular Reinforcement Leraning 논문에서 언급했듯이, Vehicular Network 환경만 제대로 설계되어 있으면, 그 안에 들어갈 다양한 강화학습 알고리즘들을 워낙 사용하기 쉬운 API들이 많기 때문에 어렵지 않게 적용할 수 있다.

---

 

제목: Reinforcement Learning-based Radio Resource Control in 5G Vehicular Network

 

저널명 : IEEE Wireless Communications Letters

 

출판년도 : MAY, 2020

 

저자 : Yibo Zhou, Fengxiao Tang, Yuichi Kawamoto, Nei Kato

---

 

Abstarct & Introduction

 이 논문은 14 symbol(=1 slot)로 이루어지는 5G Uplink/Downlink symbol Slot Configuration에 대한 조정을 다루는 논문이다. 밀집 지역이나 Traffic이 급격하게 바뀌는 상황에서는 UL과 DL의 비중을 Adaptive하게 조정하는 것이 중요한 이슈다. 따라서, 이 논문에서는 Agent인 Base Station이 TDD system과 주변 환경을 고려하여 UL/DL의 비중을 정하는 Policy를 설계하였다.

 

System Modeling

여기서는 M_1의 V2I Uplink Vehicle, M_2의 V2I Downlink Vehicle과 N pairs의 V2V link가 있다는 가정을 한다. 또한, UL/DL을 주파수 측면에서 따로 할당하는 FDD가 아닌, 시간적으로 UL/DL을 나누는 TDD를 가정하였다. 이 때 V2V link는 UL과 DL에 Interference로 여겨지기 때문에 UL과 DL의 SINR을 고려할 때 사용된다. 추가적인 도로환경, Channel 환경은 선행논문들의 Vehicular Network 모델들을 가져왔다. 이 논문의 Objective는 Base station과 Vehicle 사이의 UL과 DL을 포함한 High Data Rate을 유지하는 것이다. 이를 위해 UL/DL의 Proportion을 조절하면서, UL/DL에게 적절하게 Slot이 할당될 수 있도록 한다.

State: Channel의 Capacity 대비 UL와 DL의 Data rate의 percentage가 State로 들어가는데, 이 percentage가 100%을 넘으면, packet loss가 많이 발생하고, 100%보다 작으면 적으면 Channel이 낭비되고 있을 가능성이 높다. 

Action: 1 slot내의 UL과 DL의 비중을 고르는 것이 Action이 된다. 원래는 UL과 DL의 조합이 3GPP TS 38.213에 나와있는 61개의 Predefined format중에 골라야하지만, 여기서는 알기 쉽게 비중을 Action으로 넣었다.

Reward: State에서 사용했던 Capacity 대비 UL과 DL의 Data Rate Percentage를 이용해서 100%를 넘었는지 안 넘었는지를 기준으로 Reward function을 positive reward와 negative reward를 설계했다.

이렇게 3가지 요소를 반영하여, Q-Learning를 통해 Throughput을 증가시키는 것이 이 논문이 제안하는 바다.

 

Conclusion

5G의 주요 이슈인 BeamForming이나 Massive MIMO에 맞는 TDD의 Slot configuration에서 UL/DL의 비중을 Action으로 정하는 것은 흥미로운 이슈였다. 하지만, V2V이 같은 Channel을 사용하는데, V2V의 Resource Allocation은 함께 조절하지 않고, Interference로만 계산한 것이 약간 아쉬운 느낌이 든다. V2I만이 아닌, V2V의 Throughput도 함께 Maximize하기 위한 TDD Scheme을 고려하는 것도 좋은 논문주제가 될 것 같다. 실제로, Slot configuration을 Control하지는 않았지만, V2V만을 위한 Dedicate Mode, V2I와 V2V가 같은 Channel을 쓰는 Reuse Mode, V2I만 사용하는 Cellular Mode의 case에서 최적화를 시키는 논문들이 많이 나왔다. 더 나아가, Vehicular 상황인 만큼 URLLC를 고려하여 Throughput이 아니라, Reliability나 Latency를 Evaluate Metrics로 최적화시키는 것도 고려해볼만 하다고 생각한다.