본문 바로가기
대메뉴 바로가기
KAIST
뉴스
유틸열기
홈페이지 통합검색
-
검색
ENGLISH
메뉴 열기
AI%EC%8B%9C%EC%8A%A4%ED%85%9C
최신순
조회순
60% 이상 챗GPT 추론 성능 향상할 NPU 핵심기술 개발
오픈AI 챗GPT4, 구글 Gemnini 2.5 등 최신 생성형AI 모델들은 높은 메모리 대역폭(Bandwidth) 뿐만 아니라 많은 메모리 용량(Capacity)를 필요로 한다. 마이크로소프트, 구글 등 생성형AI 클라우드 운영 기업들이 엔비디아 GPU를 수십만 장씩 구매하는 이유다. 이런 고성능 AI 인프라 구축의 핵심 난제를 해소할 방안으로, 한국 연구진이 최신 GPU 대비 약 44% 낮은 전력 소모에도 평균 60% 이상 생성형 AI 모델의 추론 성능을 향상할 NPU(신경망처리장치)* 핵심 기술을 개발하는데 성공했다. *NPU(Neural Processing Unit): 인공신경망(Neural Network)을 빠르게 처리하기 위해 만든 AI 전용 반도체 칩 우리 대학 전산학부 박종세 교수 연구팀과 (주)하이퍼엑셀(전기및전자공학부 김주영 교수 창업기업)이 연구 협력을 통해, 챗GPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력의 NPU(신경망처리장치) 핵심기술을 개발했다고 4일 밝혔다. 연구팀이 제안한 기술은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회인 ‘2025 국제 컴퓨터구조 심포지엄(International Symposium on Computer Architecture, ISCA 2025)’에 채택됐다. 이번 연구의 핵심은 추론 과정에서 경량화를 통해 정확도 손실을 최소화하면서도 메모리 병목 문제를 해결해 대규모 생성형AI 서비스의 성능을 개선하는 것이다. 이번 연구는 AI인프라의 핵심 구성요소인 AI반도체와 AI시스템SW를 통합 설계했다는 점에서 그 가치를 높게 인정받았다. 기존 GPU 기반 AI 인프라는 높은 메모리 대역폭과 메모리 용량 요구를 충족하기 위해 다수의 GPU 디바이스가 필요한 반면, 이번 기술은 메모리 사용의 대부분을 차지하는 KV 캐시의 양자화*를 통해 적은 수의 NPU 디바이스만으로 동일 수준의 AI 인프라를 구성할 수 있어, 생성형 AI 클라우드 구축 비용을 크게 절감할 수 있다. *KV 캐시(Key-Value Cache)의 양자화: 생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 일종의 임시 저장 공간에 데이터 크기를 줄이는 것을 의미(32비트로 저장된 수를 4비트로 바꾸면, 데이터 크기는 1/8로 줄어듬) 연구팀은 기존 NPU 아키텍처의 연산 로직을 변경하지 않으면서 메모리 인터페이스와 통합될 수 있도록 설계했다. 이번 하드웨어 아키텍처 기술은 제안된 양자화 알고리즘을 구현할 뿐만 아니라, 제한된 메모리 대역폭 및 용량을 효율적으로 활용하기 위한 페이지 단위 메모리 관리 기법*과 양자화된 KV 캐시에 최적화된 새로운 인코딩 기법 등을 개발했다. *페이지 단위 메모리 관리 기법: CPU처럼 메모리 주소를 가상화하여 NPU 내부에서 일관된 방식으로 접근할 수 있게 함 또한, 최신 GPU 대비 비용·전력 효율성이 우수한 NPU 기반 AI 클라우드를 구성할 경우, NPU의 고성능, 저전력 특성을 활용해 운영 비용 역시 크게 절감할 수 있을 것으로 기대된다. 박종세 교수는 “이 연구는 (주)하이퍼엑셀과의 공동연구를 통해 생성형AI 추론 경량화 알고리즘에서 그 해법을 찾았고 ‘메모리 문제’를 해결할 수 있는 NPU 핵심기술 개발에 성공했다. 이 기술을 통해 추론의 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과, 이에 최적화된 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다” 고 말했다. 이어 “이 기술은 생성형AI에 특화된 고성능·저전력 인프라 구현 가능성을 입증했으며, AI클라우드 데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AI 대전환(AX) 환경에서도 핵심 역할이 기대된다”고 강조했다. 이 연구는 김민수 박사과정 학생과 ㈜하이퍼엑셀 홍성민 박사가 공동 제1 저자로 지난 6월 21일부터 6월 25일까지 일본 도쿄에서 열린 ‘2025 국제 컴퓨터구조 심포지엄(ISCA)’에 발표됐다. 국제적 저명학회인 ISCA는 올해는 570편의 논문이 제출됐으며 그중 127편 만이 채택됐다. (채택률 22.7%). ※논문 제목: Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization ※DOI: https://doi.org/10.1145/3695053.3731019 한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
2025.07.04
조회수 1048
제1회 한국인공지능시스템포럼(이하 KAISF) 조찬 강연회 개최
우리 대학이 12일(화) 오전 대전 인터시티호텔에서 ‘제1회 한국인공지능시스템포럼(이하 KAISF) 조찬 강연회’를 개최했다. 이는 우리 대학 인공지능반도체대학원이 AI 기술에 관련 미래와 혁신 등에 대해 다양한 분야의 전문가들이 함께 논의하는 장을 열고자 추진됐다. 총 77명의 전문가가 참석한 이번 행사에는 이광형 총장, 홍진배 정보통신기획평가원장, 방승찬 한국전자통신연구원장 등이 축사를 전했다. 이어서 ▲칩렛 이종 집적 첨단 패키지 기반 페타플롭스급 고성능 PIM 설계(한진호 한국전자통신연구원 PIM인공지능반도체연구실장) ▲자율주행·자율 행동체 연구개발사업 소개(최정단 한국전자통신연구원 모빌리티로봇연구본부장)에 대해 발표했다. 이후 인공지능 반도체 설계 전문 기업인 리벨리온(Rebellions)의 박성현 대표가 ‘인공지능 반도체와 리벨리온의 여정’을 주제로 강연을 진행했다. 박성현 리벨리온 대표는 강연에서 “AI 반도체의 발전은 단순히 기술적인 변화가 아닌 세계를 기반으로 한 기술 경쟁을 새롭게 구축하는 패러다임의 변화”임을 강조했다.d 유회준 인공지능반도체대학원장 및 KAISF 의장은 “본 행사는 거대언어 모델을 비롯한 생성형 AI 기술이 우리의 삶과 사회를 변화시키는 핵심 동력임을 확인하는 장이다. AI는 반도체, 알고리즘·소프트웨어, 응용 시스템 총 3가지 기술을 동시에 최적화해야 하는 복잡하고 중요한 기술”이라고 말했다. 이어 “KAISF는 종합 AI 연구를 바탕으로 사회, 산업, 국방을 첨단화하고, 우리나라의 국가경쟁력을 강화해 글로벌 AI 선도국으로 자리매김하도록 최선을 다할 것”이라고 포부를 밝혔다. 한편, KAISF는 제1회 조찬 강연회를 시작으로 AI 혁신을 이끄는 플랫폼으로서 최신 동향을 공유하는 포럼과 산학연 협력 강화 프로그램 등 다양한 활동을 본격적으로 펼칠 예정이다.
2024.11.12
조회수 4254
산업디자인학과 강이연 교수, '서울디자인 2024에서 ‘미래 AI를 경험해 보세요'
‘인류와 인공지능(AI)이 함께 진화할 수 있을까? 그것은 어떤 모습일까?’라는 KAIST 연구진의 질문에서 시작된 미래 인공지능(AI)시스템을 상상해보고 체험해 보는 기회가 마련되었다. 우리 대학 산업디자인학과 강이연 교수가 서울 동대문디지털플라자(이하, DDP)에서 열리는 ‘서울디자인 2024’ 주제전에서 ‘라이트 아키텍처(LIGHT ARCHITECTURE)’ 제목으로 대규모 단독 전시를 진행한다. 서울시가 주최하고 서울디자인재단이 주관하는 ‘서울디자인 2024’는 미래 디자인 유행과 새로운 디자인을 시민들에게 선보이고 향유하고자 2014년부터 개최된 행사이다. 올해는 ‘/내일을 상상하다(/Imagine Tomorrow)’를 주제로 인공지능(AI)이 앞으로의 인류의 삶에 미치는 영향력과 변화를 제시한다. 강이연 교수의 신작 ‘LIGHT ARCHITECTURE’는 전시장 전체를 활용한 대형 설치 작품이다. 가상의 인공신경망 모습을 공학적 설계를 통해 구현하여 빛과 어둠, 복잡성과 가능성, 두려움과 계몽 등 AI 시대 상충하는 가치를 다차원적으로 그려낸다. 또한, 프로젝션 영상과 입체 다채널 공간 음향, 키네틱 조각품들을 함께 설치하여 관객 스스로가 인공신경망 속 데이터의 일부이자 책임자·주체자가 되는 경험과 몰입을 제공한다. 최근 대중의 관심이 AI 결과물에만 집중되는 가운데, 딥러닝 모델과 구조는 점점 복잡해지고 있다. 이에, 미래 AI 시스템은 인간이 설계했음에도 정확한 작동 기제나 답을 내릴 수 없어 ‘블랙박스’라고도 불린다. 강 교수는 전시를 통해 관람객이 이 블랙박스를 이해하고 미래 AI 시스템을 상상해보는 기회를 제공한다. 동시에 기술 발전의 고도화에 따른 인간의 기술 소외를 우려하는 메시지를 함께 전할 예정이다. 강이연 산업디자인학과 교수는 이번 주제 전시에 대해 “AI를 해석하고 설명하는 도구·기법이 AI 자체의 발전 속도를 따라가지 못하고 있다. 이 양상을 이해하는 동시에 미래 AI 아키텍처를 상상해보는 시도가 꼭 필요하다”라고 전했다. 이어, “많은 분들이 관람을 통해 미래 AI 시대의 주체가 되어보는 경험을 해보길 바라는 마음”이라고 소감을 밝혔다. 강이연 교수의 ‘LIGHT ARCHITECTURE’ 주제 전시는 이달 17일부터 27일까지 DDP 아트홀 2관에서 관람할 수 있다. 티켓 구매 및 자세한 내용은 ‘서울디자인 2024’ 홈페이지(https://seoul-design.or.kr/)에서 확인할 수 있다.
2024.10.18
조회수 4421
<<
첫번째페이지
<
이전 페이지
1
>
다음 페이지
>>
마지막 페이지 1