유재윤 에너자이 CTO “엣지 AI는 양자화 넘어 풀스택 최적화 향할 것”

엣지 AI란 데이터를 스마트폰, 사물인터넷 센서, 자율주행차 등 현장의 장치에서 직접 AI로 처리하는 기술이다. 몇년 전만 해도 엣지AI는 성능의 한계가 분명해 카메라 객체 인식, 음성 인식, 노이즈 제거 등 가벼운 수준의 모델을 운용하는 수준이었지만 최근에는 모델 양자화 기법이 기본으로 자리잡으면서 엣지 AI 기기에서도 소형언어모델(sLLM)을 운용하는 방식이 주목받고 있다. LLM을 탑재하면서 정해진 기능을 수행하는 기기에서 상황을 이해하고 판단해 여러 기능을 응용하는 기기로 발전한 것이다.이에 엣지AI용 모델양자화 기법을 개발하는 기업들도 움직임도 분주하다. 이들 기업은 AI 모델 개발사나 반도체 개발 기업과 달리 이미 만들어진 모델과 제품을 기반으로 모델을 재구성하고 축약하는 작업을 하므로 일반인들이 접할 일은 많지않다. 하지만 AI 모델 기업들은 자사 AI를 더 많은 곳에 확산시킬 목적으로, AI 반도체 기업은 제품에서 더 많은 연산과 성능을 집약하기 위해 모델양자화 기술