%ED%85%8C%EB%9D%BC%EB%B0%94%EC%9D%B4%ED%8A%B8
-
GPU에서 대규모 출력데이터 난제 해결
국내 연구진이 인공지능(AI) 등에 널리 사용되는 그래픽 연산 장치(이하 GPU)에서 메모리 크기의 한계로 인해 초병렬 연산*의 결과로 대규모 출력 데이터가 발생할 때 이를 잘 처리하지 못하던 난제를 해결했다. 이 기술을 통해 향후 가정에서 사용하는 메모리 크기가 작은 GPU로도 생성형 AI 등 고난이도 연산이 대규모 출력을 필요한 경우 이를 빠르게 수행할 수 있다.
*초병렬 연산: GPU를 이용하여 수 십 만에서 수 백 만 개의 작은 연산들을 동시에 수행하는 연산을 의미
우리 대학은 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 수십, 수백 만개 이상의 스레드들로 초병렬 연산을 하면서 수 테라바이트의 큰 출력 데이터*를 발생시킬 경우에도 메모리 에러를 발생시키지 않고 해당 출력 데이터를 메인 메모리로 고속으로 전송 및 저장할 수 있는 데이터 처리 기술(일명 INFINEL)을 개발했다고 7일 밝혔다.
*출력데이터: 데이터 분석 결과 또는 인공지능에 의한 생성 결과물에 해당하는 데이터
최근 AI의 활용이 급속히 증가하면서 지식 그래프와 같이 정점과 간선으로 이루어진 그래프 구조의 데이터의 구축과 사용도 점점 증가하고 있는데, 그래프 구조의 데이터에 대해 난이도가 높은 초병렬 연산을 수행할 경우 그 출력 결과가 매우 크고, 각 스레드의 출력 크기를 예측하기 어렵다는 문제점이 발생한다.
또한, GPU는 근본적으로 CPU와 달리 메모리 관리 기능이 매우 제한적이기 때문에 예측할 수 없는 대규모의 데이터를 유연하게 관리하기 어렵다는 문제가 있다. 이러한 이유로 지금까지는 GPU를 활용해 ‘삼각형 나열’과 같은 난이도가 높은 그래프 초병렬 연산을 수행할 수 없었다.
김 교수팀은 이를 근본적으로 해결하는 INFINEL 기술을 개발했다. 해당 기술은 GPU 메모리의 일부 공간을 수백 만개 이상의 청크(chunk)라 불리는 매우 작은 크기의 단위들로 나누고 관리하면서, 초병렬 연산 내용이 담긴 GPU 커널(kernel) 프로그램을 실행하면서 각 스레드가 메모리 충돌 없이 빠르게 자신이 필요한 청크 메모리들을 할당받아 자신의 출력 데이터를 저장할 수 있도록 한다.
또한, GPU 메모리가 가득 차도 무중단 방식으로 초병렬 연산과 결과 출력 및 저장을 지속할 수 있도록 한다. 따라서 이 기술을 사용하면 가정에서 사용하는 메모리 크기가 작은 GPU로도 수 테라 바이트 이상의 출력 데이터가 발생하는 고난이도 연산을 빠르게 수행할 수 있다.
김민수 교수 연구팀은 INFINEL 기술의 성능을 다양한 실험 환경과 데이터 셋을 통해 검증했으며, 종래의 최고 성능 동적 메모리 관리자 기술에 비해 약 55배, 커널을 2번 실행하는 2단계 기술에 비해 약 32배 연산 성능을 향상함을 보였다.
교신저자로 참여한 우리 대학 전산학부 김민수 교수는 “생성형 AI나 메타버스 시대에는 GPU 컴퓨팅의 대규모 출력 데이터를 빠르게 처리할 수 있는 기술이 중요해질 것으로 예상되며, INFINEL 기술이 그 일부 역할을 할 수 있을 것”이라고 말했다.
이번 연구에는 김 교수의 제자인 박성우 박사과정이 제1 저자로, 김 교수가 창업한 그래프 딥테크 기업인 (주)그래파이 소속의 오세연 연구원이 제 2 저자로, 김 교수가 교신 저자로 참여하였으며, 국제 학술지 ‘PPoPP’에 3월 4일자 발표됐다. (INFINEL: An efficient GPU-based processing method for unpredictable large output graph queries)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
2024.03.07 조회수 1612 -
정명수 교수, 테라바이트(TB) 메모리 시대 열어
*비휘발성 메모리(이하 NVDIMM)와 *초저지연 SSD(반도체 저장장치)가 하나의 메모리로 통합돼, 소수의 글로벌 기업만이 주도하고 있는 미래 *영구 메모리(Persistent Memory)보다 성능과 용량이 대폭 향상된 메모리 기술이 우리 연구진에 의해 개발됐다.
☞ 비휘발성 메모리(NVDIMM; Non-Volatile DIMM): 기존 D램(DRAM)에 플래시 메모리와 슈퍼 커패시터를 추가해 정전 때에도 데이터를 유지할 수 있는 메모리.
☞ 초저지연 SSD(Ultra Low Latency SSD): 기존 SSD를 개선해, 매우 낮은 지연시간을 갖는 SSD.
☞ 영구 메모리(Persistent Memory): 데이터의 보존성을 가지는 메모리.
우리 대학 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 운영체제 연구실)이 비휘발성 메모리와 초저지연 SSD를 하나의 메모리 공간으로 통합하는 메모리-오버-스토리지(Memory-over-Storage, 이하 MoS) 기술 개발에 성공했다고 16일 밝혔다.
정 교수팀이 새롭게 개발한 이 기술은 기존 스토리지 기술을 재사용하는 데 인텔 옵테인 대비, 메모리 슬롯당 4배 이상인 테라바이트(TB=1,024GB) 수준의 저장 용량을 제공하면서도 휘발성 메모리(D램)과 유사한 사용자 수준의 데이터 처리 속도를 낼 수 있다.
기존 NVDIMM은 운영체제의 도움 없이 CPU가 직접 비휘발성 메모리에 접근할 수 있다는 장점이 있다. 반면 NVDIMM은 D램을 그대로 활용하고 배터리 크기를 무한히 키울 수 없기 때문에 대용량 데이터를 처리할 수 없다는 게 문제다. 이를 해결하기 위한 대안으로는 인텔의 옵테인 메모리 (Intel Optane DC PMM)와 메모리 드라이브 기술(Intel Memory Drive Technology) 등이 있다. 그러나 이러한 기술들은 비휘발성 메모리에 접근할 때마다 운영체제의 도움이 필요해 NVDIMM에 비해 50% 수준으로 읽기/쓰기 속도가 떨어진다.
정 교수팀이 제안한 MoS 기술은 초저지연 SSD를 주 메모리로 활용하고, NVDIMM을 *캐시메모리로 활용한다. 이 결과, SSD 대용량의 저장 공간을 사용자에게 메모리로 사용하게 해줌과 동시에 NVDIMM 단독 사용 시와 유사한 성능을 얻게 함으로써 미래 영구 메모리 기술들이 가지는 한계점을 전면 개선했다.
☞ 캐시: 자주 사용되는 데이터에 빨리 접근할 수 있도록 느린 메모리에 저장된 데이터를 빠른 메모리에 복사해 두는 기법.
MoS 기술은 메인보드나 CPU 내부에 있는 *메모리 컨트롤러 허브(이하 MCH)에 적용돼 사용자의 모든 메모리 요청을 처리한다. 사용자 요청은 일반적으로 NVDIMM 캐시 메모리에서 처리되지만 NVDIMM에 저장되지 않은 데이터의 경우 초저지연 SSD에서 데이터를 읽어와야 한다. 기존 기술들은 운영체제가 이러한 SSD 읽기를 처리하는 반면, 개발된 MoS 기술은 MCH 내부에서 하드웨어가 SSD 입출력을 직접 처리함으로써 초저지연 SSD에 접근 시 발생하는 운영체제(OS)의 입출력 오버헤드(추가로 요구되는 시간)를 완화하는 한편 SSD의 큰 용량을 일반 메모리처럼 사용할 수 있게 해준다.
☞ 메모리 컨트롤러 허브: 일반적으로 노스 브릿지(North Bridge)로 알려져 있으며, CPU가 메모리(DRAM)나 그래픽 처리장치(GPU)와 같은 고대역폭 장치에 접근할 수 있도록 도와주는 하드웨어.
정 교수가 이번에 개발한 MoS 기술은 소프트웨어 기반 메모리 드라이브나 옵테인 영구 메모리 기술 대비 45% 절감된 에너지 소모량으로 110%의 데이터 읽기/쓰기 속도 향상을 달성했다. 결과적으로 대용량의 메모리가 필요하고 정전으로 인한 시스템 장애에 민감한 데이터 센터, 슈퍼컴퓨터 등에 사용되는 기존 메모리/미래 영구 메모리를 대체할 수 있을 것으로 기대된다.
정명수 교수는 "미래 영구 메모리 기술은 일부 해외 유수 기업이 주도하고 있지만, 이번 연구성과를 기반으로 국내 기술과 기존 스토리 및 메모리 기술을 통해 관련 시장에서 우위를 선점할 수 있는 가능성을 열었다는 점에서 의미가 있다"고 강조했다.
이번 연구는 올해 6월에 열릴 컴퓨터 구조 분야 최우수 학술대회인 '이스카(ISCA, International Symposium on Computer Architecture), 2021'에 관련 논문(논문명: Revamping Storage Class Memory With Hardware Automated Memory-Over-Storage Solution)으로 발표될 예정이다. 또 해당 연구에 대한 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다.
한편 이번 연구는 과학기술정보통신부와 한국연구재단이 추진하는 우수신진(중견연계) 사업, KAIST 정착연구사업 등의 지원을 받아 수행됐다.
2021.03.16 조회수 98616