최신 기술동향/인공지능 (AI)
-
RLHF (ChatGPT 학습 방법) 분석최신 기술동향/인공지능 (AI) 2023. 4. 29. 10:15
ChatGPT가 세상을 강타한 이후, AI로 Contents를 생성하는 Generative AI (생성형 AI)가 산업계와 투자 시장에 큰 영향을 미치고 있다. 이와 관련된 수많은 Startup이 생겨나고 있으며, AI 관련 투자는 Generative AI가 독식하고 있다시피 한다. AI가 B2C 비즈니스로 이어지기 쉽지 않았던 과거와는 달리 User들에게 Direct로 노출할 콘텐츠 (e.g., 이미지, 비디오, 글)를 만들 수 있다 점에서 API 형태로 비즈니스와 쉽게 연동할 수 있기 때문으로 보인다. 하지만, 좋은 성능의 Generative AI를 작은 규모의 스타트업에서 개발할 수 있는지, 앞으로 어떤 비즈니스 모델이 나올지를 예측하기 위해서는 Midjourney, ChatGPT, Dall-E 같..
-
Object Detection Algorithm (Efficientdet)최신 기술동향/인공지능 (AI) 2022. 5. 1. 13:56
이번 리뷰에서 Object Detection Algorithm에서 사용되는 Efficientdet [1]에 대해 정리하려고 한다. Object Detection은 주어진 이미지에서 특정 위치에 어떤 물체가 있는지를 찾아내는 Task를 뜻하는데, Vision 관련 use case에 AI를 적용하는 연구의 대부분을 차지한다고 해도 과언이 아니다. 이미지의 feature를 뽑아내는데 자주 사용되는 CNN 모델을 기반으로 수많은 알고리즘이 나오고 있으며, 계속해서 state of the art (SOTA)를 갱신하고 있다. 기본적으로는 연산량이 늘어날수록 AI의 성능이 올라가는 것을 볼 수 있는데, 연산량이 늘어날수록, 비싼 GPU를 써서, 속도를 올려줘야 한다는 단점이 있다. 따라서, 같은 연산량으로 어떻게 ..
-
Nimble: Parallel GPU Task Scheduling for DL - NIPS 논문 리뷰최신 기술동향/인공지능 (AI) 2021. 11. 13. 19:46
최근 AI 연구의 대부분을 차지하고 있는 Deep Learning (DL)은 기본적으로 정확도와 연산량이 Trade-off를 갖기 때문에, GPU 등 병렬처리가 가능한 Hardware를 사용할 때, 진가를 발휘한다. 요즘은 CUDA 같은 GPU 병렬처리 라이브러리와 이를 이용한 Tensorflow-GPU 버전이 사용하기 쉽게 되어 있어서, GPU를 직접 Contorl하지 않아도, GPU를 이용해서 Deep Learning 알고리즘을 돌릴 수 있다. 하지만, DL이 이용되는 시스템을 설계함에 있어서, 알고리즘이 돌아가는 GPU에서 어떤 스케쥴링과 동작이 이루어지는지를 알아보는 것도 중요하다는 생각을 했다. GPU 스케쥴링에 대한 논문은 많지만, 그 중 첫 번째로, 작년 NIPS에서 발표된 DL을 위한 Pa..
-
Meta-Learning과 MAML의 개념 정리최신 기술동향/인공지능 (AI) 2021. 9. 19. 19:42
이번 글에서는 최근, 그 중요성이 점점 부각되고 있는 Meta-Learning에 대해 정리해보려고 한다. Meta-Learning은 다른 Task를 위해 학습된 AI 모델을 이용해서, 적은 Dataset을 가지는 다른 Task도 잘 수행할 수 있도록 학습시키는 방식이다. Meta Learning이 각광받는 가장 큰 이유는 모을 수 있는 Data의 양이 적다는 점과 HW의 Limitation이다. Deep Learning의 대부분 Application은 많은 Data를 High Computational HW에서 Training해서 좋은 성능을 보인다. 하지만, 대부분의 Application은 고품질의 Data를 모으기도 힘들고, 이를 Training할 Computational Power도 부족한 상황에서 ..
-
Continual Learning의 원리와 연구 Trend최신 기술동향/인공지능 (AI) 2021. 9. 17. 19:19
Machine Learning을 5G/6G 통신이나 Image Processing 등 여러 Domain에 적용하는 사례가 늘어나고 있다. 하지만, 단순히 AI를 적용했다의 의미를 넘어서, 실용성이 있기 위해서 넘어야 하는 허들이 몇 가지 있다. 그 중 한 가지가, 바뀌는 환경에 잘 적응을 해야한다는 점이다. 바뀌는 환경에 빠르게 적응하지 못하는 AI 모델은 사용자 입장에서 불안해서 사용할 수 없을 것이다. 이런 문제점을 극복하기 위해, Inference 이후에도, 계속 주어진 Dataset으로 Train을 하는 Online-Learning, 주어진 환경에 맞게 Fine Tuning하는 Transfer Learning 등 다양한 Approach 등이 있다. 이번 글에서는 그 중에, Transfer Lear..
-
TRPO와 PPO 알고리즘의 개념최신 기술동향/인공지능 (AI) 2021. 9. 6. 21:31
앞선 글들에서 소개했듯이, 강화학습은 주어진 Environment에서 State을 기준으로, 최고의 Action을 학습해나가는 과정이다. State에서의 Action을 통한 결과를 반영하여 (State, Action) = (s,a)의 관계 Q function을 점수화하는 Value-Based 학습, Action을 결정하는 Policy 자체를 학습시켜 나가는 Policy-Based 학습이 있다. 각각의 장단점을 갖고 있으며, 그 카테고리 안에도 State와 Action이 Discrete or Continuous 여부 등에 따라 여러 모델들이 파생된다. 그 중, 이번 글에서 소개할 Proximal Policy Optimization Algorithm (PPO) [1]은 이름에서 알 수 있듯이 Policy-B..
-
Google AI Blog(논문) 리뷰: SoundStream (An End-to-End Neural Audio Codec)최신 기술동향/인공지능 (AI) 2021. 8. 14. 11:24
AI에 대해 독보적인 기술력을 갖고있는 Google은 AI을 이용한 다양한 자사의 연구내용을 소개하는 Google AI Blog [1]를 운영한다. 이번 글에서는 Google AI Blog에 올라온 기술 중에 가장 최신인 Neural Network (NN)를 이용한 Audio Codec에 대해 분석하고 소개하고자 한다. 기술에 대한 원문은 논문 [2]으로도 공개가 되어 arxiv에 올라와 있다. Codec은 보통 Encoding / Decoding을 합친 표현으로 송신단에서 데이터를 압축하여 전송하고, 수신단에서 압축된 데이터를 통해 원래 데이터로 복구하는 프로토콜이다. 즉, 무선이든 유선이든 특정 네트워크를 통과해서 전달이 되어야하기 때문에 Multi-user가 해당 네트워크를 공유하는 상황에서는 적은..
-
AI 알고리즘 경량화최신 기술동향/인공지능 (AI) 2021. 5. 1. 08:25
AI를 활용한 다양한 Application이 등장하며, 각 Application의 성능을 향상시키기 위한 최적의 알고리즘도 등장하고 있다. Natural Language Processing (NLP)를 향상하기 위해, '어느 context에 집중해서 봐야하는지'를 알려주는 Attention 알고리즘, 이를 CNN로 확장시키기 위한 Convoulution Bottleneck Attention Module (CBAM) 등 다양한 알고리즘이 파생되어 제시되고 있다. 하지만 대부분의 평가지표는 Accuracy 및 NMSE값에 초점이 맞춰져 있기 때문에 점점 복잡한 모델들이 등장하고 있다. 많은 GPU를 사용해서 Dataset을 병렬로 처리한다면, Train도 빠르게 될 것이고, Train된 모델을 기반으로 In..