Edge Impulse - Embedded ML platform startup

 이번에 정리할 해외 스타트업은 Edge Impulse [1]다. EETimes에 소개된 내용 [2]을 보고, 관심이 생겨서 추가적으로 조사를 해보고 정리를 했다. Edge Impulse는 7개월 전에, Series A로 \$15M를 Funding 받고, 12월 9일, Series B로 \$34M를 투자받아, 약 \$234M의 가치를 인정받았다. Edge Impulse는 Edge Device (단말)에서 Machine Learning 알고리즘을 사용할 수 있도록 개발자를 위한 Platform을 제공한다. Mobile device (e.g., 스마트폰)에 GPU, NPU 등이 탑재되고 있고, 모듈의 Compute capa.도 점점 좋아지고 있기 때문에, Edge device에서 ML 알고리즘을 돌릴 여지는 점점 커지고 있다. Cloud computing이 유리하냐, Edge device의 computing이 유리하냐는 상황과 가정에 따라 다르다. 대표적인 예시로, Cloud에 연결할 통신 모듈이 탑재되지 않은 Micro-controller일 수도 있다. 여러 상황을 고려해보면, Edge device에 ML 알고리즘을 Deploy하는 platform을 원하는 개발자들의 needs도 알 수 있다.

 하지만, Desktop에서 Tensorflow, Pytorch같은 Deep Learning Framework를 돌려본 사람들은 약간 의아한 생각을 가질 수 있다. CPU, GPU 용의 Tensorflow 버전도 있고, 심지어 Tensorflow-Lite같이 Mobile Device에서 돌릴 수 있는 Framework도 지원이 된다. '그러면 Edge Impulse는 무엇이 다르길래 Series B 투자까지 받게 된 걸까?' 라는 생각을 가지고 조사를 하는데, Tensorflow blog [3]을 참고했다. (읽다보니, Tensorflow 짱짱맨 이라는 내용이긴 했지만, 전체적인 내용을 조사하는 방향에서는 좋다.) 추가적으로 Edge Impulse [4]의 API와 solution에 대해 정리된 글도 참고했다.

 Edge Device와 이에 내장되어 있는 Micro-controller는 기본적으로 Power, Compute resource 등 가용한 자원이 빡빡하기 때문에, 이런 자원을 효율적으로 관리하도록 implement하기 위한 concept인 TinyML [5]이 나왔다. 위에서 말한 Tensorflow, Pytorch 등은 파이썬의 무거운 라이브러리를 불러와서 사용하는데, Micro-controller에는 그런 여유가 없기 때문에, 정말 필요한 기능들만 가볍게 구현되어야 한다. 그렇다고 Sensor 개발자들, Image processing 연구를 하는 사람들에게, 따로 공부해서, 이를 최적화를 직접 구현하라고 하는 것은 너무 가혹하다. 따라서, Tensorflow처럼 간단하게 구현할 수 있으면서, 해당 Micro-controller에서 효율적으로 돌아갈 수 있도록 최적화해주는 Platform이 필요했고, Edge Impulse가 이런 역할을 해준다.

 Edge Impulse는 이미 Tensorflow에 익숙한 개발자, 학습된 Tensorflow model들을 위해, Tensorflow와 호환되는 시스템을 구축했다. Trained Neural Network 모델을 해당 Micro-controller에 최적화하기 위해 Quantization을 포함한 Model Optimization를 지원한다. 모델에 대한 학습과 최적화가 끝났으면, 해당 모델을 Deploy하기 위해, Micro-controller에 주로 사용되는 C++ 등으로 바꿔주는 SDK도 지원한다.

 기본적으로는 Tensorflow-Lite와 기술적으로 큰 차이라고 보일만한 부분은 없던 것으로 보인다. Embedded system이 올라가는 보드가 다양하게 지원되고, 조금 더 해당 보드에 간편하게 최적화가 이루어진다는 차이가 있을 것 같다. Edge Impulse의 솔루션은 기본적으로 무료지만, Enterprise 버전으로 해당 industry에 최적화하기 위한 support는 유료 버전으로 지원한다. ML에 대한 전문적인 지식은 부족하지만, wearable device 등의 Application에 직접 적용해보고 싶은 사업자들은, 협업을 통해 이를 구현할 수 있다. Edge Impulse는 이런 협업을 통해 Embedded system에 ML을 적용하는 노하우를 쌓게 되면 다양한 분야에 접목이 가능할 것으로 보인다.

 더 나아가, 5G의 massive Machine Type Communcation (mMTC)나 6G의 영역에서 바라본다면, 다양한 spec.의 Device들의 각각의 AI 최적화 및 Federated Learning 등 다양한 부분에 해당 노하우가 적용될 수 있지 않을까라는 생각도 해본다. 이런 상황에서는 가볍고 서로 호환가능한 Embedded ML 모델을 만들어주는 플랫폼이 더욱 중요해질 것으로 보인다.

 

Reference

[1] https://www.edgeimpulse.com/blog

Edge Impulse Blog

[2] https://www.eetimes.com/edge-impulse-raises-34-million-triples-valuation/

[3] https://blog.tensorflow.org/2021/06/how-tensorflow-helps-edge-impulse-make-ml-accessible.html

How TensorFlow helps Edge Impulse make ML accessible to embedded engineers

[4] https://docs.edgeimpulse.com/docs

Getting Started

[5] https://www.tinyml.org/

Home | tinyML Foundation