%EA%B1%B0%EB%8C%80%EC%96%B8%EC%96%B4%EB%AA%A8%EB%8D%B8
-
“AI 반도체 미래가 밝다” KAIST PIM반도체설계연구센터, AI반도체 전문인력 양성 교육
과학기술정보통신부·정보통신기획평가원이 주관하는 PIM인공지능반도체 핵심기술개발사업의 지원을 받고있는 우리 대학 PIM반도체설계연구센터가 AI 반도체 전문인력 양성을 위해 전국 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 SK하이닉스와 삼성전자의 PIM* 기반 이론 및 실습 교육을 진행했다. 강의는 6월 20일(목)부터 6월 21일(금)까지 SK하이닉스 교육, 7월 4일(목)부터 7월 5일(금)까지 삼성전자 교육을 각각 KAIST PIM반도체설계연구센터에서 진행했다.
*PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 추가하여 AI와 빅데이터 처리 분야에서 데이터 처리 속도를 높이면서도 사용 전력을 줄이는 반도체 설계 기술
이번 교육은 SK하이닉스의 AiM*과 삼성전자의 HBM-PIM*을 활용하여 수강생들이 직접 실습할 수 있는 기회를 제공했다. 전국 25개 대학교에서 300명이 넘는 학생들이 접수하여 높은 관심을 받았다.
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM 포함
** HBM-PIM(Processing-in-Memory): 삼성전자의 PIM 반도체 제품명, 세계 최초로 메모리 반도체와 인공지능 프로세서를 결합한 제품
인공지능(AI) 시대에는 거대언어모델 등 방대한 데이터 처리 수요가 급증하면서 PIM 기술 도입의 필요성이 더욱 커지고 있다. 한국 반도체의 먹거리인 메모리 기술의 미래를 열어줄 PIM 연구 활성화를 위해, AI용 메모리 반도체 설계 및 응용 역량을 갖춘 실무 중심의 교육 프로그램을 마련했다.
강의는 ▲SK하이닉스의 'PIM을 사용한 LLM(거대언어모델)* 가속 환경에서의 활용', ▲삼성전자의 ‘AI 가속 환경에서 HBM과 HBM-PIM의 활용’을 주제로 진행했다. 또한 GPT의 등장으로 인한 환경 변화, 인공지능과 LLM에 대한 기본 지식, 챗봇 서비스 작용 원리 등이 다뤄졌다. 수강생들은 SK하이닉스의 AiM과 삼성전자의 HBM-PIM이 장착된 서버 환경에서 하드웨어를 직접 구동하여 실습했다.
* 거대언어모델(LLM, Large Language Model): 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당
PIM 반도체설계연구센터는 PIM 반도체 전문인력 양성을 위한 ‘PIM’ 교육 프로그램을 운영하고 있다. 연구 중심의 PIM 반도체 전문인력을 양성하여 한국 PIM 반도체 산업에 핵심 인력을 제공하는 것을 목표로 하고 있다. 교육 프로그램에 대한 자세한 내용은 PIM반도체설계연구센터 홈페이지에서 확인할 수 있다.
* PIM 반도체설계연구센터 홈페이지: https://ai-pim.org/
PIM반도체설계연구센터 유회준 센터장은 “이번 교육을 통해 산업 현장에서 실제로 어떻게 활용되는지 아는 것이 중요합니다. 특히, AI-PIM 반도체에 대한 관심이 높아짐에 따라 관련 교육 과정을 지속적으로 확대할 계획입니다. 이를 통해 참가자들이 최신 기술 동향을 따라잡고, 실무에 바로 적용할 수 있는 능력을 키울 수 있도록 하겠습니다.”라고 전했다.
우리 대학 전기및전자공학부 박사과정 엄소연 수강생은 “논문으로는 이해하기 어려웠던 내용을 실습을 통해 배울 수 있어 의미가 있었다. 특히, 실습 과정에서 얻은 경험과 통찰력은 앞으로 연구와 개발에 큰 도움이 될 것 같다.”라고 소감을 전했다.
수강생들은 질의응답 시간뿐만 아니라 쉬는 시간에도 강사에게 질문을 이어갔다. 미리 관련 논문을 읽고 온 학생들도 있어 PIM 반도체에 대한 열정을 확인할 수 있었다.
2024.07.11 조회수 1705 -
기업 의사결정을 거대언어모델로 최초 해결
기업 내외의 상황에 따라 끊임없이 새롭게 결정해야 하는 기업 의사결정 문제는 지난 수십 년간 기업들이 전문적인 데이터 분석팀과 고가의 상용 데이터베이스 솔루션들을 통해 해결해 왔는데, 우리 연구진이 최초로 거대언어모델을 이용하여 풀어내어 화제다.
우리 대학 전산학부 김민수 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(일명 계획 RAG, PlanRAG)을 개발했다고 19일 밝혔다.
거대언어모델은 매우 방대한 데이터를 학습했기 때문에 학습에 사용된 바 없는 데이터를 바탕으로 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 문제점들이 지적되었다. 이런 문제들을 해결하기 위해 거대언어모델이 학습된 내용만으로 답변하는 것 대신, 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 최근 각광받고 있다.
그러나, 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색하여 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐으며, 이는 현재까지 개발된 가장 최신의 기술이다.
연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고, 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다.
계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후, 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.
이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하며, 다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다. 계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다. 그리고 해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다. 이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용하여 내리는데 적용되기를 기대한다”고 말했다.
이번 연구에는 김 교수의 제자인 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했으며, 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 6월 17일 발표됐다. (논문 제목: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
2024.06.19 조회수 1609 -
2.4배 가격 효율적인 챗GPT 핵심 AI반도체 개발
오픈AI가 출시한 챗GPT는 전 세계적으로 화두이며 이 기술이 가져올 변화에 모두 주목하고 있다. 이 기술은 거대 언어 모델을 기반으로 하고 있다. 거대 언어 모델은 기존 인공지능과는 달리 전례 없는 큰 규모의 인공지능 모델이다. 이를 운영하기 위해서는 수많은 고성능 GPU가 필요해, 천문학적인 컴퓨팅 비용이 든다는 문제점이 있다.
우리 대학 전기및전자공학부 김주영 교수 연구팀이 챗GPT에 핵심으로 사용되는 거대 언어 모델의 추론 연산을 효율적으로 가속하는 AI 반도체를 개발했다고 4일 밝혔다.
연구팀이 개발한 AI 반도체 ‘LPU(Latency Processing Unit)’는 거대 언어 모델의 추론 연산을 효율적으로 가속한다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체이며, 자체 네트워킹을 내장하여 다수개 가속기로 확장이 용이하다. 이 LPU 기반의 가속 어플라이언스 서버는 업계 최고의 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높였다. 이는 최근 급격하게 생성형 AI 서비스 수요가 증가하고 있는 데이터센터의에서 고성능 GPU를 대체할 수 있을 것으로 기대한다.
이번 연구는 김주영 교수의 창업기업인 ㈜하이퍼엑셀에서 수행했으며 미국시간 7월 12일 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(Design Automation Conference, 이하 DAC)에서 공학 부문 최고 발표상(Engineering Best Presentation Award)을 수상하는 쾌거를 이뤘다.
DAC은 국제 반도체 설계 분야의 대표 학회이며, 특히 전자 설계 자동화(Electronic Design Automation, EDA)와 반도체 설계자산(Semiconductor Intellectual Property, IP) 기술 관련하여 세계적인 반도체 설계 기술을 선보이는 학회다. DAC에는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC 등 세계적인 반도체 설계 기업이 참가하며, 하버드대학교, MIT, 스탠퍼드대학교 등 세계 최고의 대학도 많이 참가한다.
세계적인 반도체 기술들 사이에서 김 교수팀이 거대 언어 모델을 위한 AI 반도체 기술로 유일하게 수상한 것은 매우 의미가 크다. 이번 수상으로 거대 언어 모델의 추론에 필요한 막대한 비용을 획기적으로 절감할 수 있는 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이다.
우리 대학 김주영 교수는 “미래 거대 인공지능 연산을 위한 새로운 프로세서 ‘LPU’로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”라며 큰 포부를 밝혔다.
2023.08.04 조회수 4338