%ec%9c%a0%eb%af%bc%ec%88%98
-
챗GPT 등 대형 AI모델 학습 최적화 시뮬레이션 개발
최근 챗GPT, 딥시크(DeepSeek) 등 초거대 인공지능(AI) 모델이 다양한 분야에서 활용되며 주목받고 있다. 이러한 대형 언어 모델은 수만 개의 데이터센터용 GPU를 갖춘 대규모 분산 시스템에서 학습되는데, GPT-4의 경우 모델을 학습하는 데 소모되는 비용은 약 1,400억 원에 육박하는 것으로 추산된다. 한국 연구진이 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 최적의 병렬화 구성을 도출하도록 돕는 기술을 개발했다.
우리 대학 전기및전자공학부 유민수 교수 연구팀은 삼성전자 삼성종합기술원과 공동연구를 통해, 대규모 분산 시스템에서 대형 언어 모델(LLM)의 학습 시간을 예측하고 최적화할 수 있는 시뮬레이션 프레임워크(이하 vTrain)를 개발했다고 13일 밝혔다.
대형 언어 모델 학습 효율을 높이려면 최적의 분산 학습 전략을 찾는 것이 필수적이다. 그러나 가능한 전략의 경우의 수가 방대할 뿐 아니라 실제 환경에서 각 전략의 성능을 테스트하는 데는 막대한 비용과 시간이 들어간다.
이에 따라 현재 대형 언어 모델을 학습하는 기업들은 일부 경험적으로 검증된 소수의 전략만을 사용하고 있다. 이는 GPU 활용의 비효율성과 불필요한 비용 증가를 초래하지만, 대규모 시스템을 위한 시뮬레이션 기술이 부족해 기업들이 문제를 효과적으로 해결하지 못하고 있는 상황이다.
이에 유민수 교수 연구팀은 vTrain을 개발해 대형 언어 모델의 학습 시간을 정확히 예측하고, 다양한 분산 병렬화 전략을 빠르게 탐색할 수 있도록 했다.
연구팀은 실제 다중 GPU 환경에서 다양한 대형 언어 모델 학습 시간 실측값과 vTrain의 예측값을 비교한 결과, 단일 노드에서 평균 절대 오차(MAPE) 8.37%, 다중 노드에서 14.73%의 정확도로 학습 시간을 예측할 수 있음을 검증했다.
연구팀은 삼성전자 삼성종합기술원와 공동연구를 진행하여 vTrain 프레임워크와 1,500개 이상의 실제 학습 시간 측정 데이터를 오픈소스로 공개(https://github.com/VIA-Research/vTrain)하여 AI 연구자와 기업이 이를 자유롭게 활용할 수 있도록 했다.
유민수 교수는 “vTrain은 프로파일링 기반 시뮬레이션 기법으로 기존 경험적 방식 대비 GPU 사용률을 높이고 학습 비용을 절감할 수 있는 학습 전략을 탐색하였으며 오픈소스를 공개하였다. 이를 통해 기업들은 초거대 인공지능 모델 학습 비용을 효율적으로 절감할 것이다”라고 말했다.
이 연구 결과는 방제현 박사과정이 제1 저자로 참여하였고 컴퓨터 아키텍처 분야의 최우수 학술대회 중 하나인 미국 전기전자공학회(IEEE)·전산공학회(ACM) 공동 마이크로아키텍처 국제 학술대회(MICRO)에서 지난 11월 발표됐다. (논문제목: vTrain: A Simulation Framework for Evaluating Cost-Effective and Compute-Optimal Large Language Model Training, https://doi.org/10.1109/MICRO61859.2024.00021)
이번 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단, 정보통신기획평가원, 그리고 삼성전자의 지원을 받아 수행되었으며, 과학기술정보통신부 및 정보통신기획평가원의 SW컴퓨팅산업원천기술개발(SW스타랩) 사업으로 연구개발한 결과물이다.
2025.03.13 조회수 6106 -
유민수 교수, 아시아大 최초 MICRO 프로그램 위원장 선임
우리 대학 전기및전자공학부 유민수 교수가 2025년 개최 예정인 미국 전기전자공학회(IEEE)/전산공학회(ACM) 마이크로아키텍처 국제 학술대회(MICRO)의 프로그램 위원장(Program Co-Chair)에 선임됐다고 5일 밝혔다. 아시아 대학 교원이 MICRO의 프로그램 위원장으로 선임된 것은 본 학술대회의 57년 역사상 최초다.
올해로 57회째를 맞은 MICRO*는 컴퓨터 아키텍처 분야에서 가장 오랜 역사와 최고의 권위를 가지고 있는 국제 학술대회로, ISCA** , HPCA*** 학술대회와 함께 컴퓨터 아키텍처 분야 3대 국제 학회로 손꼽히고 있다.
* MICRO: IEEE/ACM International Symposium on Microarchitecture
** ISCA: IEEE/ACM International Symposium on Computer Architecture
*** HPCA: IEEE International Symposium on High-Performance Computer Architecture
전 세계의 관련 분야 학자와 기업인이 학술대회에 참가하며 제출된 논문 중 상위 20퍼센트 미만 가량만이 최종 발표 논문으로 선정되는 등 컴퓨터 시스템 분야 최고의 권위를 가진 학술대회로 자리잡았다.
유민수 교수는 2021년 HPCA 학술대회, 2022년 MICRO 학술대회, 2024년 ISCA 학술대회 명예의 전당에 각각 회원으로 추대되었을 정도로 AI를 위한 지능형 반도체, 컴퓨터 시스템 분야 차세대 리더로 주목받는 전문가다.
컴퓨터 아키텍처 분야에 기여한 공로를 인정받아 2025년 제58회 MICRO 학술대회의 프로그램 위원장을 오하이오 주립대학의 라듀 테오도레스큐(Radu Teodorescu) 교수와 함께 맡게 된 유민수 교수는 관련 분야 최고 전문가 300여 명의 프로그램 심사위원단(Program Committee)을 직접 선발하고 대회에 제출될 500여 편의 논문 선정 심사를 주관한다.
유민수 교수는 서강대학교에서 전자공학을 전공했고, KAIST에서 전기전자공학 석사, 미국 텍사스 오스틴 대학에서 컴퓨터공학 박사 학위를 받았다. 엔비디아 리서치(NVIDIA Research)에서 3년간(2014~2017) 근무한 후 2018년부터 KAIST 교수로 재직 중이며, 메타(Meta) AI 방문 연구원으로 근무하기도 했다(2022-2023).
HPCA 최우수논문상(Best Paper Award, 2024), 구글 학술상(Google Research Scholar Award, 2023), 페이스북 패컬티 리서치 어워드(Facebook Faculty Research Award, 2020), 그리고 한국과학기술한림원 Y-KAST(학문 성과가 뛰어난 43세 이하 젊은 과학자) 회원(2023)으로 선정됐다.
유 교수는 “학계와 산업계를 선도할 수 있는 최고 수준의 논문만을 선발하는 MICRO 학회의 전통을 유지해 나가면서도 신생 컴퓨터 하드웨어/소프트웨어 분야의 연구도 포괄적으로 반영할 수 있는 프로그램을 만들도록 노력하겠다”고 말했다.
한편, 제57회 IEEE/ACM MICRO는 올해 11월 미국 텍사스 오스틴에서 개최될 예정이다.
2024.09.05 조회수 7222 -
국내 최초 HPCA 최우수논문상 수상
우리 대학 연구진이 컴퓨터 구조 분야 국제 최우수 학술대회에서 최우수논문상을 국내 최초로 수상했다. 이는 제출된 논문 410편 중에서 상위 1편에만 주어진 영예다.
전기및전자공학부 유민수 교수 연구팀이 국제 최우수 컴퓨터 아키텍처 학술대회 중의 하나인 ‘IEEE 국제 고성능 컴퓨터 구조 학회(IEEE International Symposium on High-Performance Computer Architecture, HPCA)’에서 최우수논문상(Best Paper Award)을 수상했다고 21일 밝혔다.
전기및전자공학부 현봉준 박사과정(제1 저자), 김태훈 박사과정, 이동재 박사과정으로 구성된 유민수 교수 연구팀은 프랑스 기업 UPMEM 社의 상용화된 프로세싱-인-메모리(Processing-In-Memory, PIM) 기술을 기반으로 한 ‘유피뮬레이터(uPIMulator)’라는 시뮬레이션 프레임워크를 제안하여 최우수논문상을 수상했다.
최근 주목받고 있는 챗GPT와 같은 대형 언어 모델(Large Language Model) 및 추천시스템은 많은 양의 메모리 대역폭(메모리에서 한 번에 빼낼 수 있는 데이터의 양)을 요구하는 특성을 지닌다. 기존의 CPU 및 GPU 기반 시스템은 물리적 한계로 인해 이러한 증가하는 메모리 대역폭의 수요를 충족시키는 데 있어 제약이 따른다.
제한된 메모리 대역폭 문제를 해결하기 위해, 메모리 내부에 연산 장치를 통합하는 PIM 기술이 주목받기 시작했다. PIM 기술은 학계뿐만 아니라 산업계에서 각광을 받으며, 메모리 반도체와 인공지능 프로세서가 하나로 결합한 삼성전자의 HBM-PIM, SK 하이닉스의 생성형 AI 특화 가속기인 AiMX와 같은 PIM 프로토타입 제품의 공개뿐만 아니라, UPMEM 社의 UPMEM-PIM 제품을 통한 상용화 사례로 그 가능성을 입증하고 있다.
그러나 현재 PIM 기술은 CPU나 GPU와 같은 하드웨어 구조의 발전 수준에 비해 상대적으로 초기 단계에 머물러 있으며, 폭넓은 하드웨어 구조에 관한 연구가 요구된다. 다양한 하드웨어 설계 영역 탐색을 위해 하드웨어를 모사하는 시뮬레이터가 학계 및 산업계에서 자주 활용되지만, PIM을 위한 시뮬레이터 연구는 상대적으로 미비한 현실이다.
유민수 교수 연구팀은 상용 PIM 기술, UPMEM-PIM 제품을 기반으로 한 설계 및 검증을 거친 시뮬레이터 개발을 통해 PIM의 성능, 견고성, 보안성을 개선할 수 있는 다양한 하드웨어 구조를 탐색했다. 이 연구는 실제 PIM 제품에 근거한 시뮬레이터를 통해 PIM 하드웨어 구조에 대한 상세한 분석 및 다양한 설계 방향성을 탐색하는 데 의의가 있으며, 개발된 시뮬레이터는 현재 오픈소스로 공개돼(https://github.com/VIA-Research/uPIMulator) 연구 및 개발 커뮤니티에 기여하고 있다.
상을 수상한 전기및전자공학부 유민수 교수는 “이번 성과를 바탕으로 앞으로의 연구 발전에 더욱 기여할 수 있도록 노력하겠다. 함께한 모든 학생들에게도 감사의 마음을 전한다” 라고 수상 소감을 전했다.
한편 이번 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단, 정보통신기획평가원, 그리고 삼성전자의 지원을 받아 수행됐다.
2024.03.21 조회수 10386 -
세계 최초 개인정보 보호 기술이 적용된 인공지능(AI) 반도체 개발
우리 대학 전기및전자공학부 유민수 교수 연구팀이 세계 최초로 `차등 프라이버시 기술이 적용된 인공지능(AI) 어플리케이션(Differentially private machine learning)'의 성능을 비약적으로 높이는 인공지능 반도체를 개발했다고 19일 밝혔다.
빅데이터 및 인공지능 기술의 발전과 함께 구글, 애플, 마이크로소프트 등 클라우드 서비스를 제공하는 기업들은 전 세계 수십억 명의 사용자들에게 인공지능 기술을 기반으로 여러 가지 서비스(머신러닝 애즈 어 서비스, ML-as-a-Service, MLaaS)를 제공하고 있다. 이러한 서비스 중에는, 대표적으로 유튜브나 페이스북 등에서 시청자의 개별 취향에 맞춰 동영상 콘텐츠나 상품 등을 추천하는 `개인화 추천 시스템 기술(예- 딥러닝 추천 모델, Deep Learning Recommendation Model)' 이나, 구글 포토(Photo) 와 애플 아이클라우드(iCloud) 등에서 사진을 인물 별로 분류해주는 `안면 인식 기술 (예- 합성곱 신경망 네트워크 안면 인식, Convolutional Neural Network based Face Recognition)' 등이 있다.
이와 같은 서비스는 사용자의 정보를 대량으로 수집해, 이를 기반으로 인공지능 알고리즘의 정확도와 성능을 개선한다. 이 과정에서 필연적으로 많은 양의 사용자 정보가 서비스 제공 기업의 데이터 센터로 전송되고, 민감한 개인정보나 파일들이 저장되고 사용되는 과정에서 정보가 유출되는 문제가 발생하기도 한다.
또한 이러한 문제는 최근 주목받는 대형 인공지능 모델의 경우에 더 쉽게 발생하는 경향이 있으며, 실제 구글에서 사용하는 대화형 인공지능 모델인 GPT-2의 경우, 특정 단어들을 이야기했을 때 사용자의 개인정보 등을 유출하는 문제를 보였다. [참고1] 유사사례로서 국내에서 2020년 화제가 되었던 스캐터랩의 인공지능 챗봇 이루다의 경우에도 비슷한 문제가 불거진 적이 있다. [참고2]
[참고1] https://ai.googleblog.com/2020/12/privacy-considerations-in-large.html
[참고2] https://n.news.naver.com/mnews/article/092/0002243051?sid=105
이에 애플, 구글, 마이크로소프트 등 빅 테크 기업에서는 `차등 프라이버시 (differential privacy)' 기술을 크게 주목하고 있다. 차등 프라이버시 기술은 학습에 사용되는 그라디언트(gradient, 학습 방향 기울기)에 잡음(노이즈)를 섞음으로써 인공지능 모델로부터 사용자의 개인정보를 유출하는 모든 종류의 공격을 방어할 수 있다.
하지만 이러한 장점에도 불구하고, 차등 프라이버시 기술 적용 시, 기존 대비 어플리케이션의 속도와 성능이 크게 하락하는 문제 때문에 아직까지 범용적으로 널리 적용되지는 못했다. 이는 차등 프라이버시 머신러닝 학습 과정이 일반적인 머신러닝 학습과 다른 특성을 보이고, 이로 인해 기존의 하드웨어에서 효과적으로 실행되지 않아 메모리 사용량, 학습 속도 및 하드웨어 활용도 (hardware utilization) 측면에서 비효율적이기 때문이다.
이에 유민수 교수 연구팀은 차등 프라이버시 기술의 성능 병목 구간을 분석해 해당 기술이 적용된 어플리케이션의 성능을 크게 시킬 수 있는 `차등 프라이버시 머신러닝을 위한 인공지능(AI) 반도체 칩'을 개발했다. 유민수 교수팀이 개발한 인공지능 반도체는 외적 기반 연산기와 덧셈기 트리 기반의 후처리 연산기 등으로 구성돼 있으며, 현재 가장 널리 사용되는 인공지능 프로세서인 구글 TPUv3 대비 차등 프라이버시 인공지능 학습 과정을 3.6 배 빠르게 실행시킬 수 있고, 엔비디아의 최신 GPU A100 대비 10배 적은 자원으로 대등한 성능을 보인다고 연구팀 관계자는 설명했다. 또한 이번 개발을 통해서 기존 하드웨어의 한계로 널리 쓰이지 못했던 차등 정보보호 기술의 대중화에 도움을 줄 수 있을 것으로 기대된다고 전했다.
우리 대학 전기및전자공학부 박범식, 황랑기 연구원이 공동 제1 저자로, 윤동호, 최윤혁 연구원이 공동 저자로 참여한 이번 연구는 미국 시카고에서 열리는 컴퓨터 구조 분야 최우수 국제 학술대회인 `55th IEEE/ACM International Symposium on Microarchitecture(MICRO 2022)'에서 오늘 10월 발표될 예정이다. (논문명 : DiVa: An Accelerator for Differentially Private Machine Learning)
또한 이번 연구는 지금까지는 없던 차등 프라이버시가 적용된 인공지능 반도체를 세계 최초로 개발했다는 점에서 의의가 있으며, 차등 프라이버시 인공지능 기술을 대중화해 인공지능 기반 서비스 사용자들의 개인정보를 보호하는 데에 큰 도움을 줄 수 있을 것으로 보인다. 또한, 가속기의 성능 향상은 인공지능 연구 효율을 높여 차등 프라이버시 인공지능 모델의 정확도 개선에도 기여할 것으로 보인다.
한편 이번 연구는 한국연구재단, 삼성전자, 그리고 반도체설계교육센터 (IDEC, IC Design Education Center)의 지원을 받아 수행됐다.
2022.08.19 조회수 15910 -
메모리-중심 인공지능 가속기 시스템 개발
삼성미래기술육성재단이 지원한 우리 대학 연구진이 세계 최초로 `프로세싱-인-메모리(Processing-In-Memory, 이하 PIM)' 기술을 기반으로 한 인공지능 추천시스템 학습 알고리즘 가속에 최적화된 지능형 반도체 시스템 개발에 성공했다.
전기및전자공학부 유민수 교수 연구팀은 PIM 기술 기반의 메모리-중심 인공지능 가속기 반도체 시스템을 개발했다고 16일 밝혔다. 유 교수는 관련 분야에서 그동안의 탁월한 연구 성과를 인정받아 올해 아시아에서 유일하게 페이스북 패컬티 리서치 어워드(Facebook Faculty Research Award)를 수상했다.
인공지능 기술을 기반으로 고안된 추천시스템 알고리즘은 구글(Google), 페이스북(Facebook), 유튜브(YouTube), 아마존(Amazon) 등 빅테크 기업들이 콘텐츠 추천 및 개인 맞춤형 광고를 제작하는데 기반이 되는 핵심 인공지능 (AI) 기술이다. 온라인 광고를 통한 수입은 구글과 페이스북과 같은 실리콘밸리의 빅테크 기업의 주 수익 모델인 만큼 고도화된 추천 인공지능 기술에 대한 수요는 최근 들어 급상승하는 추세다.
페이스북이 최근 공개한 자료에 따르면 페이스북 데이터센터에서 처리되는 인공지능 연산의 70%가 추천 알고리즘을 처리하는 데에 사용되며, 인공지능 알고리즘 학습을 위한 컴퓨팅 자원의 50%를 추천 알고리즘을 학습하는 데 사용하고 있다.
유민수 교수 연구팀은 최근 메모리 반도체에 인공지능 연산 기능이 추가된 프로세싱-인-메모리(PIM) 기술 기반의 지능형 반도체 시스템을 개발하는 데 성공했다. 유 교수팀이 개발한 이 시스템은 인공지능 추천시스템 알고리즘의 학습 과정을 엔비디아(NVIDIA)의 그래픽카드(GPU)를 사용하는 기존 인공지능 가속 시스템 대비 최대 21배까지 빠르다고 연구팀 관계자는 설명했다.
지능형 메모리 반도체 기술은 우리나라의 AI 반도체 세계시장 공략을 위한 핵심기술로 주목받고 있다. 특히 정부에서도 `AI 종합 반도체 강국 실현'이라는 비전 아래 막대한 국가적 투자를 아끼지 않는 핵심 투자 분야다. 따라서 유 교수팀의 연구 성과는 향후 막대한 수요와 급성장이 예상되는 세계 AI 반도체 시장에서 메모리-중심으로 설계된 PIM 기술의 상용화 및 성공 가능성을 시사한다는 점에서 의미가 크다고 전문가들은 평가하고 있다.
유민수 교수는 서강대와 KAIST에서 각각 학사와 석사를 거쳐 미국 텍사스 오스틴 주립대에서 박사학위를 취득한 후 지난 2014년 인공지능 컴퓨팅 기술 기업인 미국 엔비디아(NVIDIA) 본사에 입사했다. 엔비디아에 입사한 이후 줄곧 인공지능 컴퓨팅 가속을 위한 다양한 하드웨어 및 소프트웨어 시스템 연구를 주도했으며 지난 2018년부터 우리 대학 전기및전자공학부 교수로 재직 중이다.
전기및전자공학부 권영은 박사과정이 제1 저자, 이윤재 석사과정이 제2 저자로 참여한 이번 연구 결과는 세계 최초의 추천시스템 학습용 가속기 시스템 개발 성과라는 학술 가치를 인정받아 컴퓨터 시스템 구조 분야 최우수 국제 학술대회인 IEEE International Symposium on High-Performance Computer Architecture(HPCA)에서 `Tensor Casting: Co-Designing Algorithm-Architecture for Personalized Recommendation Training' 이라는 논문 제목으로 내년 2월에 발표된다.
2020.11.16 조회수 38674 -
유민수교수, 페이스북 패컬티 리서치 어워드 수상
우리 대학 전기및전자공학부 유민수 교수가 페이스북에서 수여하는 페이스북 패컬티 리서치 어워드(Facebook Faculty Research Award) 수상자로 선정됐다.
페이스북 패컬티 리서치 어워드는 인공지능 기술을 가속화 할 차세대 컴퓨팅 시스템의 개발 및 상용화에 이바지할 연구주제를 발굴하기 위해 제정됐다. 전 세계 26개국, 100개 대학 167명의 교수가 연구 제안요청서를 제출했고, 그중 10명의 수상자가 선정됐다. 유민수 교수는 아시아권에서는 유일하게 수상자 명단에 포함됐다. 유민수 교수는 이번 수상을 통해 5만 달러의 연구비를 지원받게 되며, 시상식은 오는 2020년 가을 페이스북 멘로 파크 본사에서 열릴 ‘AI 시스템 패컬티 서밋(AI Systems Faculty Summit’에서 진행될 예정이다.
유민수 교수는 ‘A Near-Memory Processing Architecture for Training Recommendation Systems’이라는 연구주제로 머신러닝 시스템(Systems for Machine Learning) 분야에서 최종 수상자로 선정됐다. 이번 수상의 기초 연구가 된 ‘메모리 중심의 딥-러닝 시스템 구조’는 유민수 교수가 2017년 삼성 미래 기술 육성 재단으로부터 3년간의 지원 속에 진행한 연구의 성과물로, 지능형 시스템 반도체 시장 진출에 어려움을 겪고 있는 삼성전자 및 SK 하이닉스 등의 국내 기업과 긴밀히 협력해 세계 시장에서 메모리 중심의 지능형 반도체 개발을 주도할 수 있는 초석으로 평가받는다.
유민수 교수는 인공지능 컴퓨팅 기술 기업인 미국 엔비디아 본사에 2014년 입사 후 인공지능 컴퓨팅 가속을 위한 다양한 하드웨어 및 소프트웨어 시스템 연구를 주도해 왔다. 지난 2018년부터는 KAIST 전기 및 전자공학부에서 재직 중이다. 해당 수상에 관한 자세한 소식은 아래 웹사이트에서 확인할 수 있다.
https://research.fb.com/blog/2020/02/announcing-the-winners-of-the-systems-for-machine-learning-rfp/
2020.02.19 조회수 15437