반응형
query
-
Attention & Transformer의 개념최신 기술동향/인공지능 (AI) 2020. 12. 13. 08:23
이번 글에서는 시계열 분석에서 State-of-Art라고 할 수 있는, Transforemer에 대해 정리해보고자 한다. 일반적으로 시계열 분석이라 하면, Recurrent Neural Network (RNN)이나 Long-Short Term Memory (LSTM)알고리즘을 배운다. 그것보다 조금 더 최신이면서, 간단한 알고리즘으로 GRU가 소개되었다. RNN의 장기간 학습 과정으로 인해 소실되는 정보들 중에 필요한 부분 (Remember, forget)들을 뒤의 State로 넘겨주면서 장기간 학습이 가능해지게 되었다. 이처럼 기존 RNN의 약점을 보완하는 LSTM과 이를 잇는 GRU는 Motivation도 직관적으로 이해하기도 편하고, 사용하기도 편한다. Tensorflow나 Keras에서는 해당 L..