카이스트 유회준 교수 연구팀, 삼성전자 28나노 공정 통해 고안
전력 소모를 최소화하면서 초고속으로 거대언어모델(LLM)을 처리할 수 있는 인공지능(AI) 반도체 핵심 기술인 '상보형 트랜스포머'(Complementary-Transformer)를 국내 연구진이 개발했다.
과학기술정보통신부는 한국과학기술원(KAIST) PIM반도체 연구센터와 인공지능반도체대학원 유회준 교수 연구팀이 상보형 트랜스포머를 삼성전자 28나노 공정을 통해 세계 최초로 개발했다고 6일 밝혔다.
상보형 트랜스포머란 인간 뇌의 구조와 기능을 모방해 설계한 뉴로모픽 컴퓨팅 시스템의 일종인 '스파이킹 뉴럴 네트워크'(SNN·뇌의 뉴런이 스파이크라는 시간에 따른 신호를 사용해 정보를 처리하는 방식)와 '심층 인공신경망'(DNN·시각적 데이터 처리에 사용되는 딥러닝 모델)을 선택적으로 사용해 트랜스포머 기능을 구현하는 기술이다. 트랜스포머는 문장 속 단어와 같은 데이터 내부의 관계를 추적해 맥락과 의미를 학습하는 신경망으로 챗GPT의 원천 기술이다.
GPT와 같은 거대언어모델은 그동안 다량의 그래픽 처리장치(GPU)와 250와트 전력 소모를 통해 구동해야 했다. 연구팀은 4.5㎜×4.5㎜의 작은 AI 반도체 한 개에서 400밀리와트의 초저전력을 소모하면서 초고속 구현에 성공했다.
김상엽 박사가 제1 저자로 참여한 이번 연구결과는 지난달 19∼23일 미국 샌프란시스코에서 열린 '반도체 설계 올림픽' 국제고체회로설계학회(ISSCC)에서 발표·시연됐다.
기존 뉴로모픽 컴퓨팅 기술은 합성곱신경망(CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능했다. 연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 같은 수준으로 끌어올리고, 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN)을 제안했다.
이번 연구는 지난해 상보형-심층신경망 기술을 거대 언어 모델에 적용함으로써 초저전력·고성능의 온디바이스 AI가 가능하다는 것을 실제로 입증했다. 그동안 이론적 연구에만 머물렀던 연구 내용을 세계 최초로 인공지능 반도체 형태로 구현했다는 점에 의의가 있다.
연구팀은 "이번 연구 성과는 모바일 장치 등 에너지 제약이 높은 환경에서도 정확하게 거대언어모델을 구동할 수 있어 온디바이스 AI 구현을 위한 최적의 기술"이라고 밝혔다.
