%ea%b5%ad%ec%a0%9c%eb%b0%98%eb%8f%84%ec%b2%b4%ec%84%a4%ea%b3%84%ec%9e%90%eb%8f%99%ed%99%94%ed%95%99%ed%9a%8c
-
김이섭 교수 연구실 박준영 석사졸업생, 국제 반도체 설계 자동화 학회 최우수논문상 수상
우리 대학 전기및전자공학부 김이섭 교수 연구실의 박준영 석사졸업생이 6월 23일 ~ 6월 27일, 미국 샌프란시스코에서 개최된 국제 반도체 설계 자동화 학회 (Design Automation Conference, 이하 DAC) 에서 최우수 논문상(Best Paper Award)을 수상하는 성과를 거두었다. DAC은 1964년에 설립돼 올해 61회째를 맞은, 반도체설계자동화, 인공지능 알고리즘과 칩 설계 등을 포함하는 국제학술대회로서, 제출된 논문 중 상위 20퍼센트 정도만 선정하는, 관련 분야 최고 권위의 학회이다.
수상한 연구는 우리 대학 전기및전자공학부 졸업생 박준영 씨의 석사과정 졸업 논문에 기반한 것으로서, Large Language Model 모델 추론의 문제점이 되는 KV 캐싱의 메모리 전송을 줄이는 알고리즘 근사 기법과 하드웨어 아키텍처를 제안하였으며, 학회 best paper award 선정 위원회로부터 그 우수성을 인정받아 발표논문 337편 중 (제출논문 1,545편) 선정된 4편의 후보 논문중에서 최종 best paper award 수상논문으로 선정되었다.
자세한 내용은 다음과 같다.
– 학 회 명 : 2024 61st IEEE/ACM Design Automation Conference (DAC)
– 개최기간 : 2024년 6월 23일 ~ 27일
– 수 상 명 : Best Paper Award
– 저 자 : 박준영, 강명구, 한윤기, 김양곤, 신재강, 김이섭(지도교수)
– 논 문 명 : Token-Picker : Accelerating Attention in Text Generation with Minimized Memory Transfer via Probability Estimation
2024.07.02 조회수 8730 -
2.4배 가격 효율적인 챗GPT 핵심 AI반도체 개발
오픈AI가 출시한 챗GPT는 전 세계적으로 화두이며 이 기술이 가져올 변화에 모두 주목하고 있다. 이 기술은 거대 언어 모델을 기반으로 하고 있다. 거대 언어 모델은 기존 인공지능과는 달리 전례 없는 큰 규모의 인공지능 모델이다. 이를 운영하기 위해서는 수많은 고성능 GPU가 필요해, 천문학적인 컴퓨팅 비용이 든다는 문제점이 있다.
우리 대학 전기및전자공학부 김주영 교수 연구팀이 챗GPT에 핵심으로 사용되는 거대 언어 모델의 추론 연산을 효율적으로 가속하는 AI 반도체를 개발했다고 4일 밝혔다.
연구팀이 개발한 AI 반도체 ‘LPU(Latency Processing Unit)’는 거대 언어 모델의 추론 연산을 효율적으로 가속한다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체이며, 자체 네트워킹을 내장하여 다수개 가속기로 확장이 용이하다. 이 LPU 기반의 가속 어플라이언스 서버는 업계 최고의 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높였다. 이는 최근 급격하게 생성형 AI 서비스 수요가 증가하고 있는 데이터센터의에서 고성능 GPU를 대체할 수 있을 것으로 기대한다.
이번 연구는 김주영 교수의 창업기업인 ㈜하이퍼엑셀에서 수행했으며 미국시간 7월 12일 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(Design Automation Conference, 이하 DAC)에서 공학 부문 최고 발표상(Engineering Best Presentation Award)을 수상하는 쾌거를 이뤘다.
DAC은 국제 반도체 설계 분야의 대표 학회이며, 특히 전자 설계 자동화(Electronic Design Automation, EDA)와 반도체 설계자산(Semiconductor Intellectual Property, IP) 기술 관련하여 세계적인 반도체 설계 기술을 선보이는 학회다. DAC에는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC 등 세계적인 반도체 설계 기업이 참가하며, 하버드대학교, MIT, 스탠퍼드대학교 등 세계 최고의 대학도 많이 참가한다.
세계적인 반도체 기술들 사이에서 김 교수팀이 거대 언어 모델을 위한 AI 반도체 기술로 유일하게 수상한 것은 매우 의미가 크다. 이번 수상으로 거대 언어 모델의 추론에 필요한 막대한 비용을 획기적으로 절감할 수 있는 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이다.
우리 대학 김주영 교수는 “미래 거대 인공지능 연산을 위한 새로운 프로세서 ‘LPU’로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”라며 큰 포부를 밝혔다.
2023.08.04 조회수 12927