%ec%8b%a0%ea%b2%bd%eb%a7%9d
-
뇌처럼 스스로 기억하고 반응하는 반도체 뉴런 개발
사람의 뇌는 단순히 신호를 주고받는 연결(시냅스)만 조절하는 게 아니라, 개별 신경세포가 ‘상황에 맞게 스스로 예민해지거나 둔해지는’ 적응 능력인 ‘내재적 가소성’을 통해 정보를 처리한다. 하지만 기존 인공지능 반도체는 이런 뇌의 유연함을 흉내 내기 어려웠다. KAIST 연구진이 이번에 이 능력까지 구현한 차세대 초저전력 반도체 기술을 개발해 관심을 모으고 있다.
KAIST(총장 이광형)는 신소재공학과 김경민 교수 연구팀이 뉴런이 과거 활동을 기억해 스스로 반응 특성을 조절하는 ‘내재적 가소성(intrinsic plasticity)’을 모방한 ‘주파수 스위칭(Frequency Switching) 뉴리스터(Neuristor)’를 개발했다고 28일 밝혔다.
‘내재적 가소성’은 같은 소리를 여러 번 들으면 점점 덜 놀라거나, 반복된 훈련을 통해 특정 자극에 더 빨리 반응하게 되는 것과 같은 뇌의 적응 능력을 뜻한다. ‘주파수 스위칭 뉴리스터’는 마치 사람이 자극에 점점 익숙해져 덜 놀라거나, 반대로 반복된 훈련으로 점점 더 민감해지는 것처럼, 신호의 빈도를 스스로 조절하는 인공 뉴런 소자다.
연구팀은 순간적으로 반응했다가 원래 상태로 돌아가는 ‘휘발성 모트 멤리스터’와, 입력 신호의 흔적을 오랫동안 기억하는 ‘비휘발성 멤리스터’를 결합해, 뉴런이 신호를 얼마나 자주 내보낼지(발화 주파수)를 자유롭게 조절할 수 있는 소자를 구현했다.
이 소자는 뉴런 스파이크 신호와 멤리스터 저항 변화가 서로 영향을 주고받으며 자동으로 반응을 조절한다. 쉽게 말해, 반복해서 들은 소리에 덜 놀라거나, 특정 자극에 점점 더 예민해지는 뇌의 반응을 반도체 소자 하나로 흉내 낸 것이다.
연구팀은 이 기술의 효과를 검증하기 위해 ‘희소 신경망(Sparse Neural Network)’ 시뮬레이션을 수행했다. 그 결과, 뉴런 자체의 기억 기능을 통해 기존 신경망보다 27.7% 낮은 에너지 소모로 동일한 성능을 구현했다.
또 일부 뉴런이 손상되더라도 내재적 가소성을 통해 네트워크가 스스로 재구성되어 성능을 회복하는 뛰어난 복원력도 입증했다. 쉽게 말하면, 이 기술을 적용한 인공지능은 전기를 덜 쓰면서도 성능은 그대로 유지하고, 일부 회로가 고장 나도 스스로 보완해 다시 정상적으로 작동하는 셈이다.
연구를 주도한 김경민 교수는 “이번 연구는 뇌의 핵심 기능인 내재적 가소성을 단일 반도체 소자로 구현해 인공지능 하드웨어의 에너지 효율과 안정성을 한 차원 높인 성과”라며, “스스로 상태를 기억하고 손상에도 적응·복구할 수 있는 이번 기술은 엣지 컴퓨팅, 자율주행 등 장시간 안정성이 요구되는 시스템의 핵심 소자로 활용될 수 있을 것”이라고 말했다.
이번 연구는 신소재공학과 박우준 박사(현 독일 율리히 연구소), 송한찬(현 ETRI) 박사가 공동 제1저자로 참여했으며, 연구 결과는 재료 분야 세계적 권위 학술지 어드밴스드 머터리얼즈(Advanced Materials, IF 26.8)에 8월 18일자 온라인 게재됐다.
※논문명: Frequency Switching Neuristor for Realizing Intrinsic Plasticity and Enabling Robust Neuromorphic Computing, DOI: 10.1002/adma.202502255
한편, 이번 연구는 한국연구재단과 삼성전자의 지원을 받아 수행됐다.
2025.09.29 조회수 835 -
60% 이상 챗GPT 추론 성능 향상할 NPU 핵심기술 개발
오픈AI 챗GPT4, 구글 Gemnini 2.5 등 최신 생성형AI 모델들은 높은 메모리 대역폭(Bandwidth) 뿐만 아니라 많은 메모리 용량(Capacity)를 필요로 한다. 마이크로소프트, 구글 등 생성형AI 클라우드 운영 기업들이 엔비디아 GPU를 수십만 장씩 구매하는 이유다. 이런 고성능 AI 인프라 구축의 핵심 난제를 해소할 방안으로, 한국 연구진이 최신 GPU 대비 약 44% 낮은 전력 소모에도 평균 60% 이상 생성형 AI 모델의 추론 성능을 향상할 NPU(신경망처리장치)* 핵심 기술을 개발하는데 성공했다.
*NPU(Neural Processing Unit): 인공신경망(Neural Network)을 빠르게 처리하기 위해 만든 AI 전용 반도체 칩
우리 대학 전산학부 박종세 교수 연구팀과 (주)하이퍼엑셀(전기및전자공학부 김주영 교수 창업기업)이 연구 협력을 통해, 챗GPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력의 NPU(신경망처리장치) 핵심기술을 개발했다고 4일 밝혔다.
연구팀이 제안한 기술은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회인 ‘2025 국제 컴퓨터구조 심포지엄(International Symposium on Computer Architecture, ISCA 2025)’에 채택됐다.
이번 연구의 핵심은 추론 과정에서 경량화를 통해 정확도 손실을 최소화하면서도 메모리 병목 문제를 해결해 대규모 생성형AI 서비스의 성능을 개선하는 것이다. 이번 연구는 AI인프라의 핵심 구성요소인 AI반도체와 AI시스템SW를 통합 설계했다는 점에서 그 가치를 높게 인정받았다.
기존 GPU 기반 AI 인프라는 높은 메모리 대역폭과 메모리 용량 요구를 충족하기 위해 다수의 GPU 디바이스가 필요한 반면, 이번 기술은 메모리 사용의 대부분을 차지하는 KV 캐시의 양자화*를 통해 적은 수의 NPU 디바이스만으로 동일 수준의 AI 인프라를 구성할 수 있어, 생성형 AI 클라우드 구축 비용을 크게 절감할 수 있다.
*KV 캐시(Key-Value Cache)의 양자화: 생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 일종의 임시 저장 공간에 데이터 크기를 줄이는 것을 의미(32비트로 저장된 수를 4비트로 바꾸면, 데이터 크기는 1/8로 줄어듬)
연구팀은 기존 NPU 아키텍처의 연산 로직을 변경하지 않으면서 메모리 인터페이스와 통합될 수 있도록 설계했다. 이번 하드웨어 아키텍처 기술은 제안된 양자화 알고리즘을 구현할 뿐만 아니라, 제한된 메모리 대역폭 및 용량을 효율적으로 활용하기 위한 페이지 단위 메모리 관리 기법*과 양자화된 KV 캐시에 최적화된 새로운 인코딩 기법 등을 개발했다.
*페이지 단위 메모리 관리 기법: CPU처럼 메모리 주소를 가상화하여 NPU 내부에서 일관된 방식으로 접근할 수 있게 함
또한, 최신 GPU 대비 비용·전력 효율성이 우수한 NPU 기반 AI 클라우드를 구성할 경우, NPU의 고성능, 저전력 특성을 활용해 운영 비용 역시 크게 절감할 수 있을 것으로 기대된다.
박종세 교수는 “이 연구는 (주)하이퍼엑셀과의 공동연구를 통해 생성형AI 추론 경량화 알고리즘에서 그 해법을 찾았고 ‘메모리 문제’를 해결할 수 있는 NPU 핵심기술 개발에 성공했다. 이 기술을 통해 추론의 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과, 이에 최적화된 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다” 고 말했다.
이어 “이 기술은 생성형AI에 특화된 고성능·저전력 인프라 구현 가능성을 입증했으며, AI클라우드 데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AI 대전환(AX) 환경에서도 핵심 역할이 기대된다”고 강조했다.
이 연구는 김민수 박사과정 학생과 ㈜하이퍼엑셀 홍성민 박사가 공동 제1 저자로 지난 6월 21일부터 6월 25일까지 일본 도쿄에서 열린 ‘2025 국제 컴퓨터구조 심포지엄(ISCA)’에 발표됐다. 국제적 저명학회인 ISCA는 올해는 570편의 논문이 제출됐으며 그중 127편 만이 채택됐다. (채택률 22.7%).
※논문 제목: Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization
※DOI: https://doi.org/10.1145/3695053.3731019
한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
2025.07.04 조회수 4067 -
인공지능으로 고성능 양자물성 계산시간 획기적 단축
인공지능과 고성능 과학계산 간의 밀접한 관련성은 최근 2024년도 노벨 물리학상과 화학상이 동시에 수상된 것을 보면 알 수 있다. 우리 연구진이 인공지능을 활용하여 3차원 공간에 분포하는 원자 수준의 화학결합 정보를 예측하여 양자역학적 고성능 컴퓨터 시뮬레이션의 계산 시간을 획기적으로 단축하는데 성공했다.
우리 대학 전기및전자공학부 김용훈 교수팀이 물질의 특성을 도출하기 위해 슈퍼컴퓨터를 활용해 수행되는 원자 수준 양자역학적 계산에 필요한 복잡한 알고리즘을 우회하는 3차원 컴퓨터 비전 인공신경망 기반 계산 방법론을 세계 최초로 개발했다고 30일 밝혔다.
슈퍼컴퓨터를 활용한 양자역학적 밀도범함수론(density functional theory, DFT)* 계산은 빠르면서도 정확하게 양자 물성을 예측할 수 있게 해 첨단 소재 및 약물 설계를 포함한 광범위한 연구·개발 분야에서 표준적인 도구로 자리 잡아 필수 불가결한 역할을 하고 있다.
*밀도범함수론(DFT): 원자 단위에서부터 양자역학적으로 물성을 계산하는 제1원리 계산의 대표적인 이론
그러나 실제 밀도범함수론 계산에서는 3차원적인 전자밀도를 생성한 후 양자역학 방정식을 푸는 복잡한 자기일관장 과정(self-consistent field, SCF)*을 수십에서 수백 번씩 반복해야 해서 그 적용 범위가 수백~수천 개의 원자로 제한되는 한계가 있었다.
*자기일관장(SCF): 상호 연결된 여러 개의 연립 미분 방정식으로 기술해야 하는 복잡한 다체 문제(many-body problem)를 해결하기 위해 널리 사용되는 과학계산법
김용훈 교수 연구팀은 자기일관장 과정을 최근 급속한 발전을 이룬 인공지능 기법으로 회피하는 것이 가능한지 질문했다. 그 결과 3차원 공간에 분포된 화학 결합 정보를 컴퓨터 비전 분야의 신경망 알고리즘을 통해 학습해 계산을 가속화하는 딥SCF(DeepSCF) 모델을 개발했다.
연구진은 밀도범함수론에 따라 전자밀도가 전자들의 양자역학적 정보를 모두 포함하고 있으며 이에 더해 전체 전자밀도와 구성 원자들의 전자밀도의 합 간의 차이인 잔여 전자밀도가 화학결합 정보를 담고 있는 점에 주목하고 기계학습의 목표물로 선정했다.
이후 다양한 화학결합 특성을 포함한 유기 분자들의 데이터 세트를 채택했고 그 안에 포함된 분자들의 원자구조들에 임의의 회전과 변형을 가해 모델의 정확도 및 일반화 성능을 더욱 높였다. 최종적으로 연구팀은 복잡하고 큰 시스템에 대해 딥SCF 방법론의 유효성 및 효율성을 입증했다.
이번 연구를 지도한 김용훈 교수는“3차원 공간에 분포된 양자역학적 화학결합 정보를 인공 신경망에 대응시키는 방법을 찾았다”며 “양자역학적 전자구조 계산이 모든 스케일의 물성 시뮬레이션의 근간이 되므로 인공지능을 통한 물질 계산 가속화의 전반적인 기반 원리를 확립한 것”이라고 연구의 의의를 부여했다.
전기및전자공학부 이룡규 박사과정이 제 1저자로 수행한 이번 연구는 소재 계산 분야의 권위 있는 학술지 '네이쳐 파트너 저널 컴퓨테이셔널 머터리얼즈(Npj Computational Materials)'에 10월 24일 字 온라인판에 게재됐다. (논문명 : Convolutional network learning of self-consistent electron density via grid-projected atomic fingerprints)
한편, 이번 연구는 KAIST 석박사 모험사업, 한국연구재단 중견연구자지원사업 등의 지원을 받아 수행되었다.
2024.10.30 조회수 8528 -
뇌 기반 인공지능의 난제 해결
인간의 두뇌는 외부 세상으로부터 감각 정보를 받아들이기 이전부터 자발적인 무작위 활동을 통해 학습을 시작한다. 우리 연구진이 개발한 기술은 뇌 모방 인공신경망에서 무작위 정보를 사전 학습시켜 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 가능하게 하며, 향후 뇌 기반 인공지능 및 뉴로모픽 컴퓨팅 기술 개발의 돌파구를 열어줄 것으로 기대된다.
우리 대학 뇌인지과학과 백세범 교수 연구팀이 뇌 모방 인공신경망 학습의 오래된 난제였던 가중치 수송 문제(weight transport problem)*를 해결하고, 이를 통해 생물학적 뇌 신경망에서 자원 효율적 학습이 가능한 원리를 설명했다고 23일 밝혔다.
*가중치 수송 문제: 생물학적 뇌를 모방한 인공지능 개발에 가장 큰 장애물이 되는 난제로, 현재 일반적인 인공신경망의 학습에서 생물학적 뇌와 달리 대규모의 메모리와 계산 작업이 필요한 근본적인 이유임.
지난 수십 년간 인공지능의 발전은 올해 노벨 물리학상을 받은 제프리 힌튼(Geoffery Hinton)이 제시한 오류 역전파(error backpropagation) 학습에 기반한다. 그러나 오류 역전파 학습은 생물학적 뇌에서는 가능하지 않다고 생각되어 왔는데, 이는 학습을 위한 오류 신호를 계산하기 위해 개별 뉴런들이 다음 계층의 모든 연결 정보를 알고 있어야 하는 비현실적인 가정이 필요하기 때문이다.
가중치 수송 문제라고 불리는 이 난제는 1986년 힌튼에 의해 오류 역전파 학습이 제안된 이후, DNA 구조의 발견으로 노벨 생리의학상을 받은 프랜시스 크릭(Francis Crick)에 의해 제기됐으며, 이후 자연신경망과 인공신경망 작동 원리가 근본적으로 다를 수밖에 없는 이유로 여겨진다.
인공지능과 신경과학의 경계선에서, 힌튼을 비롯한 연구자들은 가중치 수송 문제를 해결함으로써 뇌의 학습 원리를 구현할 수 있는, 생물학적으로 타당한 모델을 만들고자 하는 시도를 계속해 왔다.
지난 2016년, 영국 옥스퍼드(Oxford) 대학과 딥마인드(DeepMind) 공동 연구진은 가중치 수송을 사용하지 않고도 오류 역전파 학습이 가능하다는 개념을 최초로 제시해 학계의 주목을 받았다. 그러나, 가중치 수송을 사용하지 않는 생물학적으로 타당한 오류 역전파 학습은 학습 속도가 느리고 정확도가 낮은 등 효율성이 떨어져, 현실적인 적용에는 문제가 있었다.
연구팀은 생물학적 뇌가 외부적인 감각 경험을 하기 이전부터 내부의 자발적인 무작위 신경 활동을 통해 이미 학습을 시작한다는 점에 주목했다. 이를 모방해 연구팀은 가중치 수송이 없는 생물학적으로 타당한 신경망에 의미 없는 무작위 정보(random noise)를 사전 학습시켰다.
그 결과, 오류 역전파 학습을 위해 필수적 조건인 신경망의 순방향과 역방향 신경세포 연결 구조의 대칭성이 만들어질 수 있음을 보였다. 즉, 무작위적 사전 학습을 통해 가중치 수송 없이 학습이 가능해진 것이다.
연구팀은 실제 데이터 학습에 앞서 무작위 정보를 학습하는 것이 ‘배우는 방법을 배우는’메타 학습(meta learning)의 성질을 가진다는 것을 밝혔다. 무작위 정보를 사전 학습한 신경망은 실제 데이터를 접했을 때 훨씬 빠르고 정확한 학습을 수행하며, 가중치 수송 없이 높은 학습 효율성을 얻을 수 있음을 보였다.
백세범 교수는 “데이터 학습만이 중요하다는 기존 기계학습의 통념을 깨고, 학습 전부터 적절한 조건을 만드는 뇌신경과학적 원리에 주목하는 새로운 관점을 제공하는 것”이라며 “발달 신경과학으로부터의 단서를 통해 인공신경망 학습의 중요한 문제를 해결함과 동시에, 인공신경망 모델을 통해 뇌의 학습 원리에 대한 통찰을 제공한다는 점에서 중요한 의미를 가진다”고 언급했다.
뇌인지과학과 천정환 석사과정이 제1 저자로, 같은 학과 이상완 교수가 공동 저자로 참여한 이번 연구는 12월 10일부터 15일까지 캐나다 벤쿠버에서 열리는 세계 최고 수준의 인공지능 학회인 제38회 신경정보처리학회(NeurIPS)에서 발표될 예정이다. (논문명: Pretraining with random noise for fast and robust learning without weight transport (가중치 수송 없는 빠르고 안정적인 신경망 학습을 위한 무작위 사전 훈련))
한편 이번 연구는 한국연구재단의 이공분야기초연구사업, 정보통신기획평가원 인재양성사업 및 KAIST 특이점교수 사업의 지원을 받아 수행됐다.
2024.10.23 조회수 8545 -
산업디자인학과 강이연 교수, '서울디자인 2024에서 ‘미래 AI를 경험해 보세요'
‘인류와 인공지능(AI)이 함께 진화할 수 있을까? 그것은 어떤 모습일까?’라는 KAIST 연구진의 질문에서 시작된 미래 인공지능(AI)시스템을 상상해보고 체험해 보는 기회가 마련되었다.
우리 대학 산업디자인학과 강이연 교수가 서울 동대문디지털플라자(이하, DDP)에서 열리는 ‘서울디자인 2024’ 주제전에서 ‘라이트 아키텍처(LIGHT ARCHITECTURE)’ 제목으로 대규모 단독 전시를 진행한다.
서울시가 주최하고 서울디자인재단이 주관하는 ‘서울디자인 2024’는 미래 디자인 유행과 새로운 디자인을 시민들에게 선보이고 향유하고자 2014년부터 개최된 행사이다. 올해는 ‘/내일을 상상하다(/Imagine Tomorrow)’를 주제로 인공지능(AI)이 앞으로의 인류의 삶에 미치는 영향력과 변화를 제시한다.
강이연 교수의 신작 ‘LIGHT ARCHITECTURE’는 전시장 전체를 활용한 대형 설치 작품이다. 가상의 인공신경망 모습을 공학적 설계를 통해 구현하여 빛과 어둠, 복잡성과 가능성, 두려움과 계몽 등 AI 시대 상충하는 가치를 다차원적으로 그려낸다.
또한, 프로젝션 영상과 입체 다채널 공간 음향, 키네틱 조각품들을 함께 설치하여 관객 스스로가 인공신경망 속 데이터의 일부이자 책임자·주체자가 되는 경험과 몰입을 제공한다.
최근 대중의 관심이 AI 결과물에만 집중되는 가운데, 딥러닝 모델과 구조는 점점 복잡해지고 있다. 이에, 미래 AI 시스템은 인간이 설계했음에도 정확한 작동 기제나 답을 내릴 수 없어 ‘블랙박스’라고도 불린다.
강 교수는 전시를 통해 관람객이 이 블랙박스를 이해하고 미래 AI 시스템을 상상해보는 기회를 제공한다. 동시에 기술 발전의 고도화에 따른 인간의 기술 소외를 우려하는 메시지를 함께 전할 예정이다.
강이연 산업디자인학과 교수는 이번 주제 전시에 대해 “AI를 해석하고 설명하는 도구·기법이 AI 자체의 발전 속도를 따라가지 못하고 있다. 이 양상을 이해하는 동시에 미래 AI 아키텍처를 상상해보는 시도가 꼭 필요하다”라고 전했다.
이어, “많은 분들이 관람을 통해 미래 AI 시대의 주체가 되어보는 경험을 해보길 바라는 마음”이라고 소감을 밝혔다.
강이연 교수의 ‘LIGHT ARCHITECTURE’ 주제 전시는 이달 17일부터 27일까지 DDP 아트홀 2관에서 관람할 수 있다. 티켓 구매 및 자세한 내용은 ‘서울디자인 2024’ 홈페이지(https://seoul-design.or.kr/)에서 확인할 수 있다.
2024.10.18 조회수 5800 -
로봇 등 온디바이스 인공지능 실현 가능
자율주행차, 로봇 등 온디바이스 자율 시스템 환경에서 클라우드의 원격 컴퓨팅 자원 없이 기기 자체에 내장된 인공지능 칩을 활용한 온디바이스 자원만으로 적응형 AI를 실현하는 기술이 개발됐다.
우리 대학 전산학부 박종세 교수 연구팀이 지난 6월 29일부터 7월 3일까지 아르헨티나 부에노스아이레스에서 열린 ‘2024 국제 컴퓨터구조 심포지엄(International Symposium on Computer Architecture, ISCA 2024)’에서 최우수 연구 기록물상(Distinguished Artifact Award)을 수상했다고 1일 밝혔다.
* 논문명: 자율 시스템의 비디오 분석을 위한 연속학습 가속화 기법(DaCapo: Accelerating Continuous Learning in Autonomous Systems for Video Analytics)
국제 컴퓨터 구조 심포지움(ISCA)은 컴퓨터 아키텍처 분야에서 최고 권위를 자랑하는 국제 학회로 올해는 423편의 논문이 제출됐으며 그중 83편 만이 채택됐다. (채택률 19.6%). 최우수 연구 기록물 상은 학회에서 주어지는 특별한 상 중 하나로, 제출 논문 중 연구 기록물의 혁신성, 활용 가능성, 영향력을 고려해 선정된다.
이번 수상 연구는 적응형 AI의 기반 기술인 ‘연속 학습’ 가속을 위한 NPU(신경망처리장치) 구조 및 온디바이스 소프트웨어 시스템을 최초 개발한 점, 향후 온디바이스 AI 시스템 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드, 데이터 등의 완성도 측면에서 높은 평가를 받았다.
연구 결과는 소프트웨어 중심 자동차(SDV; Software-Defined Vehicles), 소프트웨어 중심 로봇(SDR; Software-Defined Robots)으로 대표되는 미래 모빌리티 환경에서 온디바이스 AI 시스템을 구축하는 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
상을 받은 전산학부 박종세 교수는 “이번 연구를 통해 온디바이스 자원만으로 적응형 AI를 실현할 수 있다는 것을 입증하게 되어 매우 기쁘고 이 성과는 학생들의 헌신적인 노력과 구글 및 메타 연구자들과의 긴밀한 협력 덕분이다”라며, “앞으로도 온디바이스 AI를 위한 하드웨어와 소프트웨어 연구를 지속해 나갈 것이다”라고 소감을 전했다.
이번 연구는 우리 대학 전산학부 김윤성, 오창훈, 황진우, 김원웅, 오성룡, 이유빈 학생들과 메타(Meta)의 하딕 샤르마(Hardik Sharma) 박사, 구글 딥마인드(Google Deepmind)의 아미르 야즈단바크시(Amir Yazdanbakhsh) 박사, 전산학부 박종세 교수가 참여했다.
한편 이번 연구는 한국연구재단 우수신진연구자지원사업, 정보통신기획평가원(IITP), 대학ICT연구센터(ITRC), 인공지능대학원지원사업, 인공지능반도체대학원지원사업의 지원을 받아 수행됐다.
2024.08.01 조회수 9366 -
대형언어모델로 42% 향상된 추천 기술 연구 개발
최근 소셜 미디어, 전자 상거래 플랫폼 등에서 소비자의 만족도를 높이는 다양한 추천서비스를 제공하고 있다. 그 중에서도 상품의 제목 및 설명과 같은 텍스트를 주입하여 상품 추천을 제공하는 대형언어모델(Large Language Model, LLM) 기반 기술이 각광을 받고 있다. 한국 연구진이 이런 대형언어모델 기반 추천 기술의 기존 한계를 극복하고 빠르고 최상의 추천을 해주는 시스템을 개발하여 화제다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 네이버와 공동연구를 통해 협업 필터링(Collaborative filtering) 기반 추천 모델이 학습한 사용자의 선호에 대한 정보를 추출하고 이를 상품의 텍스트와 함께 대형언어모델에 주입해 상품 추천의 높은 정확도를 달성할 수 있는 새로운 대형언어모델 기반 추천시스템 기술을 개발했다고 17일 밝혔다.
이번 연구는 기존 연구에 비해 학습 속도에서 253% 향상, 추론 속도에서 171% 향상, 상품 추천에서 평균 12%의 성능 향상을 이뤄냈다. 특히, 사용자의 소비 이력이 제한된 퓨샷(Few-shot) 상품* 추천에서 평균 20%의 성능 향상, 다중-도메인(Cross-domain) 상품 추천**에서 42%의 성능 향상을 이뤄냈다.
*퓨샷 상품: 사용자의 소비 이력이 풍부하지 않은 상품.
**다중-도메인 상품 추천: 타 도메인에서 학습된 모델을 활용하여 추가학습없이 현재 도메인에서 추천을 수행. 예를 들어, 의류 도메인에 추천 모델을 학습한 뒤, 도서 도메인에서 추천을 수행하는 상황을 일컫는다.
기존 대형언어모델을 활용한 추천 기술들은 사용자가 소비한 상품 이름들을 단순히 텍스트 형태로 나열해 대형언어모델에 주입하는 방식으로 추천을 진행했다. 예를 들어 ‘사용자가 영화 극한직업, 범죄도시1, 범죄도시2를 보았을 때 다음으로 시청할 영화는 무엇인가?’라고 대형언어모델에 질문하는 방식이었다.
이에 반해, 연구팀이 착안한 점은 상품 제목 및 설명과 같은 텍스트뿐 아니라 협업 필터링 지식, 즉, 사용자와 비슷한 상품을 소비한 다른 사용자들에 대한 정보가 정확한 상품 추천에 중요한 역할을 한다는 점이었다. 하지만, 이러한 정보를 단순히 텍스트화하기에는 한계가 존재한다. 이에 따라, 연구팀은 미리 학습된 협업 필터링 기반 추천 모델로부터 사용자의 선호에 대한 정보를 추출하고 이를 대형언어모델이 이해할 수 있도록 변환하는 경량화된 신경망을 도입했다.
연구팀이 개발한 기술의 특징으로는 대형언어모델의 추가적인 학습이 필요하지 않다는 점이다. 기존 연구들은 상품 추천을 목적으로 학습되지 않은 대형언어모델이 상품 추천이 가능하게 하도록 대형언어모델을 파인튜닝(Fine-tuning)* 하는 방법을 사용했다. 하지만, 이는 학습과 추론에 드는 시간을 급격히 증가시키므로 실제 서비스에서 대형언어모델을 추천에 활용하는 것에 큰 걸림돌이 된다. 이에 반해, 연구팀은 대형언어모델의 직접적인 학습 대신 경량화된 신경망의 학습을 통해 대형언어모델이 사용자의 선호를 이해할 수 있도록 했고, 이에 따라 기존 연구보다 빠른 학습 및 추론 속도를 달성했다.
*파인튜닝: 사전 학습된 대규모 언어모델을 특정 작업이나 데이터셋에 맞게 최적화하는 과정.
연구팀을 지도한 박찬영 교수는 “제안한 기술은 대형언어모델을 추천 문제에 해결하려는 기존 연구들이 간과한 사용자-상품 상호작용 정보를 전통적인 협업 필터링 모델에서 추출해 대형언어모델에 전달하는 새로운 방법으로 이는 대화형 추천 시스템이나 개인화 상품 정보 생성 등 다양한 고도화된 추천 서비스를 등장시킬 수 있을 것이며, 추천 도메인에 국한되지 않고 이미지, 텍스트, 사용자-상품 상호작용 정보를 모두 사용하는 진정한 멀티모달 추천 방법론으로 나아갈 수 있을 것”이라고 말했다.
우리 대학 산업및시스템공학과 김세인 박사과정 학생과 전산학부 강홍석 학사과정(졸) 학생이 공동 제1 저자, 네이버의 김동현 박사, 양민철 박사가 공동 저자, KAIST 산업및시스템공학과의 박찬영 교수가 교신저자로 참여한 이번 연구는 데이터마이닝 최고권위 국제학술대회인 ‘국제 데이터 마이닝 학회 ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)’에서 올 8월 발표할 예정이다. (논문명: Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System).
한편 이번 연구는 네이버 및 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다. (NRF-2022M3J6A1063021, RS-2024-00335098)
2024.07.17 조회수 7663 -
인공지능으로 배터리 원소, 충방전 상태 인식
국제공동연구진이 인공지능 학습을 통해 배터리의 표면 형상만 보고 각 원소의 함량 그리고 충·방전 횟수에 대한 정보를 높은 정확도로 알아내는 영상인식 기술을 개발하여 화제다.
우리 대학 신소재공학과 홍승범 교수가 한국전자통신연구원(ETRI), 미국 드렉셀대학과 공동연구를 통해 다양한 조성과 각기 다른 충·방전 사이클의 NCM 양극재 주사전자현미경 사진을 합성곱 신경망* 기반 인공지능에 학습시켜 주요 원소 함량과 충·방전 상태를 99.6%의 높은 정확도로 맞추는 방법론을 세계 최초로 개발했다고 2일 밝혔다.
*합성곱 신경망(콘볼루션 신경망, Convolutional Neural Network, CNN): 시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류이다.
연구팀은 반도체 공정에서는 웨이퍼의 불량 검수를 위해 주사전자현미경(SEM)을 사용하는 반면 배터리 공정에서는 그런 경우가 드물고 연구 현장에서만 입자의 크기 분석을 위해 SEM을 활용하고, 열화된 배터리 소재의 경우 입자가 깨지고 부서지는 형상으로부터 신뢰성을 예측하는 것에 착안했다. 연구팀은 반도체 공정에서와 같이 배터리 공정도 자동화된 SEM으로 양극재 표면을 검수해서 원하는 조성대로 합성이 되었는지 수명은 신뢰성 있게 나올 것인지를 확인해 불량률을 줄일 수 있다면 획기적일 것으로 판단했다.
연구진은 자율주행차에 적용가능한 합성곱 신경망 기반 인공지능에 배터리 소재의 표면 영상을 학습시켜서 양극재의 주 원소 함량과 충·방전 사이클 상태를 예측할 수 있게 했다. 이런 방법론이 첨가제가 들어간 양극재에도 적용가능한 지 확인한 결과 함량은 상당히 정확하게 예측하는 반면 충·방전 상태는 정확도가 낮다는 단점을 알게 됐다. 이에 연구팀은 향후 다양한 공정을 통해서 만든 배터리 소재의 형상을 학습시켜 차세대 배터리의 조성 균일성 검수 및 수명 예측에 활용할 계획이다.
연구를 이끈 홍승범 교수는 “이번 연구는 세계 최초로 마이크론 스케일의 주사전자현미경 사진의 소재 구조 데이터를 통해 주 원소 함량과 충·방전 상태를 빠르고 정확하게 예측할 수 있는 인공지능 기반 방법론을 개발한 데 의의가 있고 이번 연구에서 개발된 현미경 영상 기반 배터리 소재의 함량 및 상태 감별 방법론은 향후 배터리 소재의 성능과 품질을 향상하는 데 중요한 역할을 하게 될 것으로 기대된다”고 전망했다.
한편, 이번 연구는 공동 제1 저자인 신소재공학과 졸업생 오지민 박사와 염지원 박사와 공동저자인 ETRI 김광만 박사와 미국 드렉셀 대학교 아가르(Agar) 교수가 참여하였고, 한국연구재단(2020M3H4A3081880, RS-2023-00247245), KAIST 글로벌특이점 사업의 지원 및 미국 연구진과의 국제공동연구를 통해 수행됐으며, 국제 학술지 ‘엔피제이 컴퓨테이셔날 머티리얼즈(npj computational materials)’에 지난 5월 4일 자 출판됐다. (논문 제목: Composition and state prediction of lithium-ion cathode via convolutional neural network trained on scanning electron microscopy images)
2024.07.02 조회수 11092 -
뉴로모픽 신경망으로 컴퓨팅 난제 해결하다
우리 연구진이 현재 반도체 산업체에서 사용되는 실리콘 소재 및 공정만을 사용해 초소형 진동 신경망을 구축하여 경계선 인식 기능을 구현했으며 난제 중 하나인 그래프 색칠 문제*를 해결했다.
*그래프 색칠 문제: 그래프 이론에서 사용되는 용어로, 그래프의 각 정점에 서로 다른 색을 할당해야 하며, 이러한 색깔 구분 문제는 방송국 주파수가 겹쳐 난시청 지역이 발생하지 않도록 주파수를 할당하는 문제 등과도 유사해 다양하게 응용되고 있음
우리 대학 전기및전자공학부 최양규 교수 연구팀이 실리콘 바이리스터 소자로 생물학적 뉴런의 상호작용을 모방한 뉴로모픽 진동 신경망을 개발했다고 3일 밝혔다.
빅데이터 시대가 도래하면서 인공지능 기술이 예전과 비교할 수 없을 만큼 비약적으로 발전하고 있다. 인간의 뇌 기능을 모사하는 뉴로모픽 컴퓨팅 중 하나인 상호 간 결합된 진동 신경망(oscillatory neural network)은 뉴런의 상호작용을 모방한 인공 신경망이다. 진동 신경망은 기본단위에 해당하는 진동자의 연결 동작을 이용하며 신호의 크기가 아닌 진동을 이용해 연산을 수행하므로 소모 전력 측면에서 이점을 가지고 있다.
연구팀은 실리콘 기반 진동자를 이용해 진동 신경망을 개발했다. 축전기를 이용해 두 개 이상의 실리콘 진동자를 연결하면, 각각의 진동 신호가 상호작용해 시간이 경과하면서 동기화(synchronization) 된다. 연구팀은 진동 신경망으로 영상 처리에 사용되는 경계선 인식(edge detection) 기능을 구현했으며 난제 중 하나인 그래프 색칠 문제(vertex coloring problem)를 해결했다.
또한 이번 연구는 제조 관점에서, 복잡한 회로나 기존 반도체 공정과 호환성이 낮은 소재 및 구조 대신, 현재 반도체 산업체에서 사용되는 실리콘 관련 소재 및 공정만으로 진동 신경망을 구축했기 때문에, 양산에 바로 적용 가능하다는 장점이 있다.
연구를 주도한 윤성윤 박사과정, 서강대학교 한준규 교수는 "개발된 진동 신경망은 복잡한 컴퓨팅 난제를 계산할 수 있는 뉴로모픽 컴퓨팅 하드웨어로, 자원 분배, 신약 개발, 반도체 회로 설계 및 스케줄링 등에 유용하게 사용될 수 있을 것으로 기대된다ˮ고 연구의 의의를 설명했다.
윤성윤 박사과정과 한준규 교수가 공동 제1 저자로 참여한 이번 연구는 나노과학 분야 저명 국제 학술지 ‘나노 레터스(Nano Letters)’에 2024년 3월 24권 9호에 출판되었으며, 추가 표지 논문(Supplementary Cover)으로 선정됐다.
(논문명 : A Nanoscale Bistable Resistor for an Oscillatory Neural Network)
(https://pubs.acs.org/doi/full/10.1021/acs.nanolett.3c04539).
한편 이번 연구는 한국연구재단 차세대지능형반도체기술개발사업 및 국가반도체연구실지원핵심기술개발사업의 지원을 받아 수행됐다.
2024.04.03 조회수 10657 -
설명해주는 인공지능 구현을 위한 초저전력 하드웨어 기술 개발
우리 대학 신소재공학과 김경민 교수 연구팀이 다양한 멤리스터* 소자를 이용한 설명 가능한 인공지능 (XAI) 시스템을 구현하는데 성공했다고 25일 밝혔다.
*멤리스터 (Memristor): 메모리 (Memory)와 저항 (Resistor)의 합성어로, 입력 신호에 따라 소자의 저항 상태가 변하는 소자
최근 인공지능 (AI) 기술의 급속한 발전이 다양한 분야에서 성과를 이루고 있다. 이미지 인식, 음성 인식, 자연어 처리 등에서 AI의 적용 범위가 확대되며 우리의 일상생활에 깊숙이 자리 잡고 있다.
AI는 인간의 뉴런 구조를 모방해 만든 ‘인공신경망’을 기반으로, 적게는 수백만 개에서 많게는 수조 개에 달하는 매개변수를 통해 데이터를 분석하고 의사 결정을 내린다. 그러나 이 많은 매개변수로 인해 AI 모델의 동작 원리를 정확하게 이해하기 어렵고, 이는 통상적으로 블랙박스에 비유되곤 한다. AI가 어떤 기준으로 결정을 내는지 알 수 없다면, AI에 결함이나 오작동이 발생했을 때 이를 해결하기 어렵고, 이로 인해 AI가 적용되는 다양한 산업 분야에서 문제가 발생할 수 있다.
이에 대한 해답으로 제시된 것이 바로 설명 가능한 인공지능 (XAI)이다. XAI는 AI가 어떠한 결정을 내렸을 때, 그 근거가 무엇인지를 사람이 이해할 수 있도록 만드는 기술이다. <그림1> 생성형 AI 등 점점 더 복잡해지는 AI 기술의 등장으로 개발자, 사용자, 규제 기관 모두에게 XAI 시스템의 필요성이 강조되고 있다. 하지만, XAI는 일반적으로 엄청난 양의 데이터 처리를 요구하기 때문에, 이를 보다 효율적으로 동작할 수 있는 하드웨어 개발이 필요한 상황이다.
김경민 교수 연구팀은 교란(Perturbation) 기반 XAI 시스템을 서로 다른 멤리스터 소자를 이용해 하드웨어로 구현하는데 성공하였다. 세 가지 멤리스터 소자는 각각 휘발성 저항변화 특성, 아날로그 비휘발성 저항변화 특성, 아날로그 휘발성 저항변화 특성을 가지며 <그림 2>, 각 소자는 교란 기반 XAI 시스템의 필수적인 기능인 입력 데이터 교란, 벡터곱 연산, 그리고 신호 통합 기능을 수행한다.
연구팀은 개발된 XAI 하드웨어를 평가하기 위해, 흑백 패턴을 인식하는 신경망을 설계하였다. 여기에 개발한 XAI 하드웨어 시스템으로 설계한 신경망이 흑백 패턴을 인식하는 근거를 설명하였다. <그림3> 그 결과 기존 CMOS 기술 기반 시스템 대비 에너지 소비를 24배 감소하여 AI 판단의 이유를 제공하는 것을 확인하였다. <그림4>
KAIST 김경민 교수는 “AI 기술이 일상화되면서 AI 동작의 투명성 및 해석가능성이 중요해지고 있는데, 이번 연구는 다양한 종류의 멤리스터 소자를 이용해 AI 판단에 대한 근거를 제공하는 XAI 하드웨어 시스템을 구현할 수 있었다는 점에 큰 의의가 있다”며 “이 연구는 AI 의사 결정에 도달하는 과정을 이해하기 쉽게 설명을 제공함으로써 AI 시스템의 신뢰성 향상에 기여할 수 있어, 향후 의료, 금융, 법률 등 민감한 정보를 다루는 AI 기반 서비스에 적용될 수 있을 것으로 기대된다”고 밝혔다.
이번 연구는 KAIST 신소재공학과 송한찬 박사과정, 박우준 박사과정 학생이 공동 제1 저자로 참여했으며, 국제 학술지 ‘어드밴스드 머티리얼즈(Advanced Materials, IF: 29.4)’에 03월 20일 字 온라인 게재됐으며, 한국연구재단 중견연구사업, 차세대지능형반도체기술개발사업, PIM인공지능반도체핵심기술개발사업, 나노종합기술원 및 KAIST 도약연구사업의 지원을 받아 수행됐다. (논문명: Memristive Explainable Artificial Intelligence Hardware, 논문링크: https://doi.org/10.1002/adma.202400977)
2024.03.25 조회수 9311 -
음악 본능을 인공지능으로 밝혀내다
음악은 세계 공통어로 불릴만큼 문화적 보편 요소로 알려졌다. 그렇다면 어떻게 다양한 문화권의 환경 차이에도 불구하고, ‘음악적 본능’은 어느 정도 공유될 수 있는 것일까?
우리 대학 물리학과 정하웅 교수 연구팀이 인공신경망 모델을 활용해, 사람 뇌에서 특별한 학습 없이도 음악 본능이 나타날 수 있는 원리를 규명했다고 16일 밝혔다.
기존 학자들은 다양한 문화권에 존재하는 음악의 보편성과 차별성을 규명하고, 어떻게 이런 공통성이 나타날 수 있는지에 대해 이해하고자 시도해 왔다. 2019년 세계적인 과학 저널 ‘사이언스’에 게재된 연구를 통해 민족지학적으로 구분된 모든 문화에서 음악을 만들어 내고, 유사한 형태의 박자와 멜로디가 사용된다는 것이 발견됐다. 또한, 신경과학자들은 우리 뇌의 청각 피질(Auditory cortex)에 음악 정보처리를 담당하는 특정한 영역이 존재한다는 것을 밝혀냈다.
연구팀은 인공신경망을 사용해, 음악에 대한 학습 없이도 자연에 대한 소리 정보 학습을 통해 음악 인지 기능이 자발적으로 형성됨을 보였다. (그림2) 연구팀은 구글에서 제공하는 대규모 소리 데이터(AudioSet)를 활용해, 인공신경망이 이러한 다양한 소리 데이터를 인식하도록 학습했다. 흥미롭게도, 연구팀은 네트워크 모델 내에 음악에 선택적으로 반응하는 뉴런(신경계의 단위)이 발생함을 발견했다. 즉, 사람의 말(speech), 동물 소리, 환경 소리, 기계 소리 등의 다양한 소리에는 거의 반응을 보이지 않으나 기악이나 성악 등 다양한 음악에 대해서는 높은 반응을 보이는 뉴런들이 자발적으로 형성된 것이다.
이 인공신경망 뉴런들은 실제 뇌의 음악정보처리 영역의 뉴런들과 유사한 반응 성질을 보였다. 예를 들어, 인공 뉴런은 음악을 시간적으로 잘게 나누어 재배열한 소리에 대해 감소된 반응을 보였다. 이는 자발적으로 나타난 음악 선택성 뉴런들이 음악의 시간적 구조를 부호화하고 있음을 의미한다. 이러한 성질은 특정 장르의 음악에만 국한된 것이 아니라, 클래식, 팝, 락, 재즈, 전자음악 등 25개에 달하는 다양한 장르 각각에 대해서도 공통적으로 나타났다.
심지어, 네트워크에서 음악 선택성 뉴런의 활동을 억제하게 되면, 다른 자연 소리에 대한 인식 정확도를 크게 떨어뜨릴 수 있음을 보였다. 즉, 음악 정보처리 기능이 다른 자연 소리 정보처리에 도움을 주며, 따라서 ‘음악성’이란 자연 소리를 처리하기 위한 진화적 적응에 의해 형성되는 본능일 수 있다는 설명이다.
연구를 주도한 정하웅 교수는 “이러한 결과는 다양한 문화권에서 음악 정보처리의 공통된 기저를 형성하는데, 자연 소리 정보처리를 위한 진화적 압력이 기여했을 수 있음을 시사한다”며, “사람과 유사한 음악성을 인공적으로 구현하여, 음악 생성 AI, 음악 치료, 음악 인지 연구 등에 원천 모델로 활용될 수 있을 것으로 기대한다”고 연구의 의의를 설명했다. 그러나 “현 연구는 음악 학습에 의한 발달 과정을 고려하고 있지 않으며, 발달 초기의 기초적인 음악 정보처리에 대한 논의임을 주의해야 한다”고 연구의 한계를 덧붙였다.
우리 대학 물리학과 김광수 박사(現 MIT 뇌인지과학과)가 제1 저자로, 김동겸 박사(現 IBS)와 함께 진행한 이번 연구는 국제 학술지 ‘네이처 커뮤니케이션즈(Nature Communications)’에 출판됐다. (논문명: ‘Spontaneous emergence of rudimentary music detectors in deep neural networks’, 국문 번역: ‘심층신경망에서 음악 인지기능의 자발적 발생’)
한편 이번 연구는 한국연구재단의 지원을 통해 수행됐다.
2024.01.16 조회수 9492 -
인공지능 챗봇 이미지 데이터 훈련 비용 최소화하다
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. GPT와 같은 거대 언어 모델을 훈련하기 위해서는 수백 대의 GPU와 몇 주 이상의 시간이 필요하다고 알려져 있다. 따라서, 심층신경망 훈련 비용을 최소화하는 방법 개발이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 심층신경망 훈련 비용을 최소화할 수 있도록 훈련 데이터의 양을 줄이는 새로운 데이터 선택 기술을 개발했다고 2일 밝혔다.
일반적으로 대용량의 심층 학습용 훈련 데이터는 레이블 오류(예를 들어, 강아지 사진이 `고양이'라고 잘못 표기되어 있음)를 포함한다. 최신 인공지능 방법론인 재(再)레이블링(Re-labeling) 학습법은 훈련 도중 레이블 오류를 스스로 수정하면서 높은 심층신경망 성능을 달성하는데, 레이블 오류를 수정하기 위한 추가적인 과정들로 인해 훈련에 필요한 시간이 더욱 증가한다는 단점이 있다. 한편 막대한 훈련 시간을 줄이려는 방법으로 중복되거나 성능 향상에 도움이 되지 않는 데이터를 제거해 훈련 데이터의 크기를 줄이는 핵심 집합 선별(coreset selection) 방식이 큰 주목을 받고 있다. 그러나 기존 핵심 집합 선별 방식은 훈련 데이터에 레이블 오류가 없다고 가정한 표준 학습법을 위해 개발됐고, 재레이블링 학습법을 위한 핵심 집합 선별 방식에 관한 연구는 부족한 실정이다.
이재길 교수팀이 개발한 기술은 레이블 오류를 스스로 수정하는 최신 재레이블링 학습법을 위해 핵심 집합 선별을 수행하여 심층 학습 훈련 비용을 최소화할 수 있도록 해준다. 따라서, 레이블 오류가 포함된 현실적인 훈련 데이터를 지원하므로 실용성이 매우 높다.
또한 이 교수팀은 특정 데이터의 레이블 오류 수정 정확도가 해당 데이터의 이웃 데이터의 신뢰도와 높은 상관관계가 있음을 발견했다. 즉, 이웃 데이터의 신뢰도가 높으면 레이블 오류 수정 정확도가 커지는 경향이 있다. 이웃 데이터의 신뢰도는 심층신경망의 충분한 훈련 전에도 측정할 수 있으므로, 각 데이터의 레이블 수정 가능 여부를 예측할 수 있게 된다. 연구팀은 이러한 발견을 기반으로 전체 훈련 데이터의 총합 이웃 신뢰도를 최대화하는 데이터 부분 집합을 선별해 레이블 수정 정확도와 일반화 성능을 최대화하는 `재레이블링을 위한 핵심 집합 선별'을 제안했다. 총합 이웃 신뢰도를 최대화하는 부분 집합을 찾는 조합 최적화 문제의 효율적인 해법을 위해 총합 이웃 신뢰도를 가장 증가시키는 데이터를 차례차례 선택하는 탐욕 알고리즘(greedy algorithm)을 도입했다.
연구팀은 이미지 분류 문제에 대해 다양한 실세계의 훈련 데이터를 사용해 방법론을 검증했다. 그 결과, 레이블 오류가 없다는 가정에 따른 표준 학습법에서는 최대 9%, 재레이블링 학습법에서는 최대 21% 최종 예측 정확도가 기존 방법론에 비해 향상되었고, 모든 범위의 데이터 선별 비율에서 일관되게 최고 성능을 달성했다. 또한, 총합 이웃 신뢰도를 최대화한 효율적 탐욕 알고리즘을 통해 기존 방법론에 비해 획기적으로 시간을 줄이고 수백만 장의 이미지를 포함하는 초대용량 훈련 데이터에도 쉽게 확장될 수 있음을 확인했다.
제1 저자인 박동민 박사과정 학생은 "이번 기술은 오류를 포함한 데이터에 대한 최신 인공지능 방법론의 훈련 가속화를 위한 획기적인 방법ˮ 이라면서 "다양한 데이터 상황에서의 강건성이 검증됐기 때문에, 실생활의 기계 학습 문제에 폭넓게 적용될 수 있어 전반적인 심층 학습의 훈련 데이터 준비 비용 절감에 기여할 것ˮ 이라고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 파이토치(PyTorch) 혹은 텐서플로우(TensorFlow)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
우리 대학 데이터사이언스대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 최설아 석사과정, 김도영 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2023'에서 올 12월 발표될 예정이다. (논문명 : Robust Data Pruning under Label Noise via Maximizing Re-labeling Accuracy)
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다.
2023.11.02 조회수 8211