lstm
-
Attention & Transformer의 개념최신 기술동향/인공지능 (AI) 2020. 12. 13. 08:23
이번 글에서는 시계열 분석에서 State-of-Art라고 할 수 있는, Transforemer에 대해 정리해보고자 한다. 일반적으로 시계열 분석이라 하면, Recurrent Neural Network (RNN)이나 Long-Short Term Memory (LSTM)알고리즘을 배운다. 그것보다 조금 더 최신이면서, 간단한 알고리즘으로 GRU가 소개되었다. RNN의 장기간 학습 과정으로 인해 소실되는 정보들 중에 필요한 부분 (Remember, forget)들을 뒤의 State로 넘겨주면서 장기간 학습이 가능해지게 되었다. 이처럼 기존 RNN의 약점을 보완하는 LSTM과 이를 잇는 GRU는 Motivation도 직관적으로 이해하기도 편하고, 사용하기도 편한다. Tensorflow나 Keras에서는 해당 L..
-
Distributive Dynamic Spectrum Access with DRL 논문 리뷰최신 기술동향/인공지능 (AI) 2020. 8. 17. 10:40
이번 글에서는 AI-based 5G, 6G 논문 리뷰에서 언급했던 Distributive DSA에 DRL을 적용하는 논문을 리뷰한다. 이 논문은 5G에 초점을 맞췄다기 보다는 DSA에 DRL을 적용했다는 내용에 의의가 있는 논문이라고 생각되어서 강화학습 Section에서 다루는 것이 맞다고 생각했다. 제목: Distributive Dynamic Spectrum Access through Deep Reinforcement Learning : A Reservoir Computing Based Approach [1] 저널명 : IEEE Internet of Things Journal 출판년도 : September, 2018 저자 : Hao-Hsuan Chang, Hao Song, Yang Yi, Jianzho..
-
RNN vs LSTM vs GRU최신 기술동향/인공지능 (AI) 2020. 8. 1. 10:43
이번 글에서는 시계열분석에 필요한 RNN 계열 모델들을 정리한다. 대표적으로, Recurrent Neural Network (RNN)과 이를 보완하기 위한 Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU) 모델이 있다. RNN RNN은 이름에 '순환'이라는 Recurrent가 들어감에서 알 수 있듯이, 한 쪽 방향으로 정보가 흘러가는 것이 아니라, Layer에서 순환하는 구조를 갖고 있다. 이는 그림을 통해서 조금 더 알기 쉽게 설명할 수 있다. 이를 위해 다른 Blog [1]에 잘 설명되어 있는 그림을 가져왔다. RNN 모델에서는 여러 개의 input x_t (보통 시계열) 값을 input으로 받아서 h_t라는 output 값을 계산해서 내보냄과 동..