%41%43%4d%20%53%49%47%4d%4f%44
-
초대규모 인공지능 모델 처리하기 위한 세계 최고 성능의 기계학습 시스템 기술 개발
우리 연구진이 오늘날 인공지능 딥러닝 모델들을 처리하기 위해 필수적으로 사용되는 기계학습 시스템을 세계 최고 수준의 성능으로 끌어올렸다.
우리 대학 전산학부 김민수 교수 연구팀이 딥러닝 모델을 비롯한 기계학습 모델을 학습하거나 추론하기 위해 필수적으로 사용되는 기계학습 시스템의 성능을 대폭 높일 수 있는 세계 최고 수준의 행렬 연산자 융합 기술(일명 FuseME)을 개발했다고 20일 밝혔다.
오늘날 광범위한 산업 분야들에서 사용되고 있는 딥러닝 모델들은 대부분 구글 텐서플로우(TensorFlow)나 IBM 시스템DS와 같은 기계학습 시스템을 이용해 처리되는데, 딥러닝 모델의 규모가 점점 더 커지고, 그 모델에 사용되는 데이터의 규모가 점점 더 커짐에 따라, 이들을 원활히 처리할 수 있는 고성능 기계학습 시스템에 대한 중요성도 점점 더 커지고 있다.
일반적으로 딥러닝 모델은 행렬 곱셈, 행렬 합, 행렬 집계 등의 많은 행렬 연산자들로 구성된 방향성 비순환 그래프(Directed Acyclic Graph; 이하 DAG) 형태의 질의 계획으로 표현돼 기계학습 시스템에 의해 처리된다. 모델과 데이터의 규모가 클 때는 일반적으로 DAG 질의 계획은 수많은 컴퓨터로 구성된 클러스터에서 처리된다. 클러스터의 사양에 비해 모델과 데이터의 규모가 커지면 처리에 실패하거나 시간이 오래 걸리는 근본적인 문제가 있었다.
지금까지는 더 큰 규모의 모델이나 데이터를 처리하기 위해 단순히 컴퓨터 클러스터의 규모를 증가시키는 방식을 주로 사용했다. 그러나, 김 교수팀은 DAG 질의 계획을 구성하는 각 행렬 연산자로부터 생성되는 일종의 `중간 데이터'를 메모리에 저장하거나 네트워크 통신을 통해 다른 컴퓨터로 전송하는 것이 문제의 원인임에 착안해, 중간 데이터를 저장하지 않거나 다른 컴퓨터로 전송하지 않도록 여러 행렬 연산자들을 하나의 연산자로 융합(fusion)하는 세계 최고 성능의 융합 기술인 FuseME(Fused Matrix Engine)을 개발해 문제를 해결했다.
현재까지의 기계학습 시스템들은 낮은 수준의 연산자 융합 기술만을 사용하고 있었다. 가장 복잡한 행렬 연산자인 행렬 곱을 제외한 나머지 연산자들만 융합해 성능이 별로 개선되지 않거나, 전체 DAG 질의 계획을 단순히 하나의 연산자처럼 실행해 메모리 부족으로 처리에 실패하는 한계를 지니고 있었다.
김 교수팀이 개발한 FuseME 기술은 수십 개 이상의 행렬 연산자들로 구성되는 DAG 질의 계획에서 어떤 연산자들끼리 서로 융합하는 것이 더 우수한 성능을 내는지 비용 기반으로 판별해 그룹으로 묶고, 클러스터의 사양, 네트워크 통신 속도, 입력 데이터 크기 등을 모두 고려해 각 융합 연산자 그룹을 메모리 부족으로 처리에 실패하지 않으면서 이론적으로 최적 성능을 낼 수 있는 CFO(Cuboid-based Fused Operator)라 불리는 연산자로 융합함으로써 한계를 극복했다. 이때, 행렬 곱 연산자까지 포함해 연산자들을 융합하는 것이 핵심이다.
김민수 교수 연구팀은 FuseME 기술을 종래 최고 기술로 알려진 구글의 텐서플로우나 IBM의 시스템DS와 비교 평가한 결과, 딥러닝 모델의 처리 속도를 최대 8.8배 향상하고, 텐서플로우나 시스템DS가 처리할 수 없는 훨씬 더 큰 규모의 모델 및 데이터를 처리하는 데 성공함을 보였다. 또한, FuseME의 CFO 융합 연산자는 종래의 최고 수준 융합 연산자와 비교해 처리 속도를 최대 238배 향상시키고, 네트워크 통신 비용을 최대 64배 감소시키는 사실을 확인했다.
김 교수팀은 이미 지난 2019년에 초대규모 행렬 곱 연산에 대해 종래 세계 최고 기술이었던 IBM 시스템ML과 슈퍼컴퓨팅 분야의 스칼라팩(ScaLAPACK) 대비 성능과 처리 규모를 훨씬 향상시킨 DistME라는 기술을 개발해 데이터베이스 분야 최고 국제학술대회 중 하나인 ACM SIGMOD에서 발표한 바 있다. 이번 FuseME 기술은 연산자 융합이 가능하도록 DistME를 한층 더 발전시킨 것으로, 해당 분야를 세계 최고 수준의 기술력을 바탕으로 지속적으로 선도하는 쾌거를 보여준 것이다.
교신저자로 참여한 김민수 교수는 "연구팀이 개발한 새로운 기술은 딥러닝 등 기계학습 모델의 처리 규모와 성능을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것으로 기대한다ˮ 라고 말했다.
이번 연구에는 김 교수의 제자이자 현재 GraphAI(그래파이) 스타트업의 공동 창업자인 한동형 박사가 제1 저자로, 김 교수가 교신저자로 참여했으며 지난 16일 미국 필라델피아에서 열린 데이터베이스 분야 최고 국제학술대회 중 하나인 ACM SIGMOD에서 발표됐다. (논문명 : FuseME: Distributed Matrix Computation Engine based on Cuboid-based Fused Operator and Plan Generation).
한편, 이번 연구는 한국연구재단 선도연구센터 사업 및 중견연구자 지원사업, 과기정통부 IITP SW스타랩 사업의 지원을 받아 수행됐다.
2022.06.20 조회수 11014 -
황의종 교수, AI with Google 2018 컨퍼런스 연설
우리 대학 전기및전자공학부 황의종 교수가 6월 26일 서울 대치동 구글캠퍼스서울에서 열린 ‘AI with Google 2018’ 컨퍼런스에서 산업계 전문가들과 발표 및 토론 패널로 참여했다.
'모두를 위한 AI’라는 주제 하에 AI 혁신에 대한 지식과 도전 과제에 대한 생각을 공유하는 이 날 행사에서는 구글 AI 총괄 제프 딘(Jeff Dean) 박사가 키노트 강연을 진행했고, 학계에서는 황의종 교수가 유일하게 참여해 ‘KAIST에서의 AI 연구 및 인재 양성’주제로 발표했다.
이어서 패널 토의에서는 AI 혁신에 대한 지식과 앞으로의 도전 과제를 나눴다.
황 교수는 구글 연구소에서 5년간 연구원으로 근무했고 TensorFlow Extended 머신러닝 플랫폼의 데이터 인프라를 공동개발하며 ACM SIGKDD 논문, ACM SIGMOD 튜토리얼 등의 연구실적이 있다.
우리 대학에서는 빅데이터-인공지능 융합 연구를 기반으로 머신러닝 과정에 들어가는 데이터 관리 연구를 수행 중이다.
2018.07.10 조회수 16225 -
황규영 특훈교수, ACM SIGMOD 공로상 수상
우리 대학 전산학과 황규영 특훈교수가 ACM SIGMOD 공로상을 수상했다.
황 교수는 전 세계 및 아시아-태평양 지역의 데이터베이스 분야의 발전을 위해 헌신적이고 지속적인 공헌과 리더십으로 이 상을 수상했다.
특히, 데이터베이스 분야의 세계 Top저널인 The VLDB Journal, 최고 권위학회인 VLDB Endowment 와 IEEE Technical Committee on Data Engineering, 아시아-태평양 지역의 권위 학술대회인 DASFAA의 발전에 대한 지대한 공헌을 인정받았다.
이 상은 데이터베이스 최고권위의 학회 중 하나인 ACM SIGMOD에서 세계 최고권위자들이 엄정한 심사를 거쳐 1년에 1명을 선정하는 권위 있는 상으로 1992년부터 현재까지 황교수를 포함하여 전세계에서 총 23명이 수상했다.아시아 태평양 지역에서는 4명, 국내에서는 최초로 수상하였다.
시상식은 6월 23-27일 미국 Utah주 Snowbird에서 열린 ACM SIGMOD 연례 학술대회에서 열린 바 있다.
역대 수상자 프로필 [ http://www.sigmod.org/sigmod-awards/sigmod-awards ]
2014.07.14 조회수 14311 -
황규영 교수, ACM SIGMOD학회의 Distinguished Database Profile에 선정
전산학과 황규영 교수가 데이터베이스 분야에서 세계적으로 권위있는 학회인 ACM SIGMOD(Association Computing For machinery Special Interest Group On Management Of Data)의 Distinguished Database Profile에 선정됐다.
이는 데이터베이스 분야에서 세계적으로 공헌이 많은 연구자를 발굴하여 ACM SIGMOD Record에 소개하는 프로그램이다.
현재 데이터베이스분야에서 새로운 이론 정립과 기술로 인정받고 있는 Jeff Ullman 교수, Jim Gray 박사를 포함하여 전 세계적으로 20여명의 석학들이 선정되어 있으며 아시아∙태평양 지역에서는 황교수가 처음이다.
인터뷰 비디오는 ACM SIGMOD 홈페이지 http://www.sigmod.org/interviews 에서 볼 수 있으며 (인터뷰 진행자: UIUC의 Marianne Winslett 교수 및 Netscape 공동 창업자 Eric Bina) 인터뷰 내용은 2008년 ACM SIGMOD Record에 소개될 예정이다.
2007.06.05 조회수 22232 -
전산학전공 황규영 교수, IEEE ICDE 최고논문상 심사위원장에 선임
전산학전공 황규영(黃奎永, 54) 교수가 올해 미국 조지아주 아틀란타에서 열리는 세계 최고 권위의 학술대회인 IEEE International Conference on Data Engineering (ICDE 2006)에서 Best Paper Award Committee 위원장에 선임됐다.
IEEE ICDE 학술대회는 올해로 22년의 역사를 갖는 학술대회로, International Conference on Very Large Data Bases(VLDB) 및 ACM SIGMOD International Confrence on Management of Data 학술대회와 함께 데이터베이스 분야의 3대 톱 학술대회이다.
Best Paper Award Committee는 ICDE 2006 학술대회에서 채택된 모든 연구 논문들 중에서 가장 우수한 논문을 선정하는 위원회로, 일반 최우수 논문과 학생 최우수 논문을 별도로 선정한다.
黃교수는 세계 정상급 석학 6인을 위원으로 선정하여 이 위원회를 이끌어가게 된다. 黃교수는 2005년에는 VLDB 2005 학술대회에서 10-Year Best Paper Award 선정 위원(5인 위원회) 및 Best Paper Award 선정 위원(6인 위원회)으로 동시에 위촉된 바 있다. 또한, VLDB 2003 학술대회에서 10-Year Best Paper Award 선정위원, 2004년부터 IEEE ICDE에서 Influential(10-Year Best)Paper Award 선정위원으로 활동해 오고 있다.
2006.02.27 조회수 22297