최신 기술동향/인공지능 (AI)
-
Hyper-Parameter Tuning 및 AutoML 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 2. 6. 08:27
AI에 대한 어느 정도의 지식이 있다면, 충분히 많은 AI 논문 알고리즘에 대한 논문과 관련된 코드들을 찾아 볼 수 있다. 기존 Machine Learning 알고리즘, Neural Network 기반의 알고리즘 등 다양한 알고리즘을 자신의 Application에 맞게 활용할 수 있는 Tool들이 있다. 하지만 새로운 Application이나 논문 주제를 위해 시뮬레이터를 설계하려고 하면, 기존의 알고리즘을 그대로 가져다 사용하는 것이 아니라 자신에게 맞는 ML 모델을 적용해야한다. 참고 자료에서 Node 갯수는 몇 개가 좋으며, Dropout은 얼마나 하는 것이 좋을지에 대한 Hyper-parameter에 대한 고민, CNN을 쓰는 것이 맞는지, 얼마나 깊게 쌓아야할지 등 Architecutre에 대한..
-
Attention & Transformer의 개념최신 기술동향/인공지능 (AI) 2020. 12. 13. 08:23
이번 글에서는 시계열 분석에서 State-of-Art라고 할 수 있는, Transforemer에 대해 정리해보고자 한다. 일반적으로 시계열 분석이라 하면, Recurrent Neural Network (RNN)이나 Long-Short Term Memory (LSTM)알고리즘을 배운다. 그것보다 조금 더 최신이면서, 간단한 알고리즘으로 GRU가 소개되었다. RNN의 장기간 학습 과정으로 인해 소실되는 정보들 중에 필요한 부분 (Remember, forget)들을 뒤의 State로 넘겨주면서 장기간 학습이 가능해지게 되었다. 이처럼 기존 RNN의 약점을 보완하는 LSTM과 이를 잇는 GRU는 Motivation도 직관적으로 이해하기도 편하고, 사용하기도 편한다. Tensorflow나 Keras에서는 해당 L..
-
Deep Q Network (DQN)최신 기술동향/인공지능 (AI) 2020. 10. 4. 10:05
이번 글에서 리뷰할 강화학습 알고리즘은 Deep Q-Network (DQN)이다. DQN은 AI의 최강자인 Google Deepmind에서 개발한 알고리즘으로, 강화학습에 Deep Learning을 적용하는 방식의 뼈대가되는 논문 [1] [2]이다. 많은 시나리오에서 자주 사용되고, 강화학습 알고리즘의 큰 축 중에 하나기 때문에, 이미 많은 리뷰들이 있다. 이 글에서도, 간단하게 리뷰를 하고, 이를 이용한 여러 논문들도 함께 소개해보고자 한다. DQN 알고리즘 Deep Q-Network (DQN)은 이름에서 알 수 있듯이, state-action value Q값을 Deep Learning을 통해서 Approximate하는 방식이다. DQN이 나오기 전에는, state-action에 따른 값들을 모두 Ta..
-
Federated Learning (연합학습)최신 기술동향/인공지능 (AI) 2020. 9. 20. 08:09
AI와 5G/6G Communication Section에서 여러 인공지능 알고리즘을 소개했다. 인공지능은 전통적인 Machine Learning 알고리즘 이든, Deep Learning 알고리즘이든, 강화학습이든, 결국은 데이터를 기반으로 주어진 모델을 학습시키는 과정이다. AI는 Computer Vision이나 자연어처리 같은 다양한 분야에 쓰이고 있다. 통신 분야의 최신 논문에도 AI를 적용한 많은 연구결과가 실리고 있다. 최근, 통신 분야에 AI를 적용함에 있어서 Federated Learning (FL)이 주요 키워드로 자주 등장한다. 이번 글에서는 FL이 무엇이고, 왜 중요한 이슈이며, 어떤 연구가 이루어지고 있는지를 알아보고자 한다. Federated Learnign (FL)이란? Feder..
-
OpenAI Gym을 이용한 Environment 설계최신 기술동향/인공지능 (AI) 2020. 8. 30. 10:30
블로그를 보고 강화학습을 자신이 공부하는 분야에 적용해보고 싶은데, 어떻게 사용해야할 지 처음에 감이 안 오는 사람들도 있을 것이다. 많은 강화학습 알고리즘이나 코드를 찾아보면, 이미 있는 환경을 이용해서, main함수에 있는 20~30줄 정도만 돌려보면서 '이 알고리즘이 이렇게 좋은 성능을 보이는구나'정도만 알 수 있다. 하지만, 우리는 5G 환경이나 자신이 공부하는 분야에 맞게 환경을 만드는 것부터 시작하고 싶기 때문에, OpenAI Gym의 정해진 Template을 이용하는 것이 좋다. OpenAI Gym OpenAI Gym은 고전 게임을 기반으로 강화학습을 사용할 수 있는 기본적인 Environment (환경)과 기본적인 강화학습 알고리즘들이 패키지로 준비되어 있는 Toolkit이다. Open S..
-
Distributive Dynamic Spectrum Access with DRL 논문 리뷰최신 기술동향/인공지능 (AI) 2020. 8. 17. 10:40
이번 글에서는 AI-based 5G, 6G 논문 리뷰에서 언급했던 Distributive DSA에 DRL을 적용하는 논문을 리뷰한다. 이 논문은 5G에 초점을 맞췄다기 보다는 DSA에 DRL을 적용했다는 내용에 의의가 있는 논문이라고 생각되어서 강화학습 Section에서 다루는 것이 맞다고 생각했다. 제목: Distributive Dynamic Spectrum Access through Deep Reinforcement Learning : A Reservoir Computing Based Approach [1] 저널명 : IEEE Internet of Things Journal 출판년도 : September, 2018 저자 : Hao-Hsuan Chang, Hao Song, Yang Yi, Jianzho..
-
Policy Gradient Algorithm최신 기술동향/인공지능 (AI) 2020. 8. 13. 10:51
대부분의 강화학습 알고리즘 구조는시행을 반복하며, Agent가 받을 Expected Reward를 최대화하는 방식으로 Training이 이루어진다. 대부분의 Model-Free 알고리즘들은 확실한 Model과 Reward를 알지 못하는 상태에서 Environment (환경)과의 상호작용을 하며 Episode를 여러 번 진행하면서, Reward를 받고, 이를 통해 자신의 Policy를 update시켜 나간다. 강화학습에는 크게 Value-Based RL과 Policy-Based RL이 있다. Value-Based RL은 가치함수인 Q-value를 계산하고, 이를 이용해 action을 선택하는 과정을 반복함으로써 Expected Reward를 최대화하는 방향으로 구현하는데, 대표적으로 Q 함수에 Neural..
-
Deep Reinforcement Learning for Multi-Agent systems 논문 리뷰최신 기술동향/인공지능 (AI) 2020. 8. 6. 11:02
이번에 리뷰할 논문 [1]에서는 최근에 핫한 Deep Reinforcement Learning (DRL) 시스템 중에서도 내가 최근 가장 관심있게 보고 있는 Multi-Agent system에 대해 다룬다. 최근 5G, 6G 논문 읽고 연구를 할 때, Multi-user나 V2V system을 고려한다. 이 때 많은 논문들이 BS는 모든 Channel state을 알고 있고, 이를 토대로 User들을 Control할 수 있다는 가정을 한거나 DRL을 사용하는데, 각 User들이 같은 Environment를 보고 있다는 가정을 한다. 하지만, User 및 Vehicle들은 각자가 Monitoring하는 Channel도 다르고, V2V pair마다 Channel은 매우 Dynamic하게 변한다. 이를 고려했..