< (왼쪽부터) 전산학부 이재길 교수, 박동민 박사과정 >
최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 `낙타'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, `낙타'의 주요 특성이 등에 있는 `혹'이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 `사막'이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
우리 대학 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2021'에서 올 12월 발표될 예정이다. (논문명 : Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data)
바람직하지 않은 특성을 억제하기 위해서 분포 外(out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 `비선호(比選好) 특성 억제'라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
< 그림 1. 연구 개념도 >
제1 저자인 박동민 박사과정 학생은 "이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법ˮ 이라면서 "분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다ˮ 고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다. (끝).
우리 연구진이 오늘날 인공지능 딥러닝 모델들을 처리하기 위해 필수적으로 사용되는 기계학습 시스템을 세계 최고 수준의 성능으로 끌어올렸다. 우리 대학 전산학부 김민수 교수 연구팀이 딥러닝 모델을 비롯한 기계학습 모델을 학습하거나 추론하기 위해 필수적으로 사용되는 기계학습 시스템의 성능을 대폭 높일 수 있는 세계 최고 수준의 행렬 연산자 융합 기술(일명 FuseME)을 개발했다고 20일 밝혔다. 오늘날 광범위한 산업 분야들에서 사용되고 있는 딥러닝 모델들은 대부분 구글 텐서플로우(TensorFlow)나 IBM 시스템DS와 같은 기계학습 시스템을 이용해 처리되는데, 딥러닝 모델의 규모가 점점 더 커지고, 그 모델에 사용되는 데이터의 규모가 점점 더 커짐에 따라, 이들을 원활히 처리할 수 있는 고성능 기계학습 시스템에 대한 중요성도 점점 더 커지고 있다. 일반적으로 딥러닝 모델은 행렬 곱셈, 행렬 합, 행렬 집계 등의 많은 행렬 연산자들로 구성된 방향성 비순환 그래프(Dire
2022-06-20우리 대학 연구진이 물리화학적 아이디어를 인공지능 딥러닝에 접목해 기존의 방법보다 일반화 성능이 높은 단백질-리간드 상호작용 예측 모델을 개발했다. 리간드란 수용체와 같은 큰 생체 분자에 특이적으로 결합하는 물질을 말하며, 생체 내의 중요한 요소이자 의약품의 개발 등에 큰 역할을 한다. 화학과 김우연 교수 연구팀이 교원창업 인공지능 신약 개발 스타트업 HITS 연구진과 함께 물리 기반 삼차원 그래프 심층 신경망을 이용해 일반화 성능을 높인 단백질-리간드 상호작용 예측 모델을 개발했다고 17일 밝혔다. 약물 후보 분자를 발굴하기 위해서 타깃 단백질과 강하게 결합하는 리간드를 찾는 것이 중요하다. 하지만 유효 물질을 찾기 위해 수백만에서 수천만 개의 무작위 리간드 라이브러리를 대상으로 실험 전수 조사를 수행하는 것은 천문학적인 시간과 비용이 필요하다. 이러한 시간과 비용을 절감하기 위해 최근 단백질-리간드 상호작용 예측에 기반한 가상탐색(virtual screening)
2022-05-17우리 대학 전산학부 조성호 교수, 신소재공학과 정연식 교수 공동 연구팀이 딥러닝(deep learning) 기법과 표면 증강 라만 분광법(surface-enhanced Raman spectroscopy, SERS)의 결합을 통해 효율적인 박테리아 검출 플랫폼 확립에 성공했다고 10일 밝혔다. 공동 연구팀은 질량분석법, 면역분석법(ELISA), 중합효소 연쇄 반응(PCR) 등과 같은 일반적인 박테리아 검출 방법보다 획기적으로 빠르게 신호 습득이 가능한 SERS 스펙트럼을 연구팀 고유의 딥러닝 기술로 분석해 다양한 용액 속 박테리아 신호 구분에 성공했다. 전산학부 노어진 석박사통합과정 학생과 신소재공학과 김민준 박사과정 학생이 공동 제1 저자로 참여한 이번 연구는 국제학술지‘바이오센서 및 바이오일렉트로닉스 (Biosensors and Bioelectronics)’1월 18일 字 온라인 판에 게재됐다. (논문명: Separation-free bacteria
2022-02-10우리 대학 바이오및뇌공학과 박성홍 교수 연구실(연구실명: 자기공명영상 연구실, Magnetic Resonance Imaging Laboratory)에서 전세계 Brain Tumor Segmentation Challenge에서 1등상을 수상했다고 12월 3일 밝혔다. Brain Tumor Segmentation Challenge(BRATS)는 Multi-modal MRI data를 기반으로 Brain Tumor를 가장 정확히 구획화(Segmentation)하는 딥러닝 네트워크 개발을 놓고 매년 전세계적으로 경쟁하는 대회로서 올해로 10회째를 맞고 있다. 올해 BRATS 대회는 전세계적으로 가장 큰 규모의 학회 중 하나인 RSNA(Radiological Society of North America), 그리고 MICCAI(Medical Image Computing and Computer Assisted Intervention) 및 ASNR(American Society of Neu
2021-12-06우리 대학 전기및전자공학부 박사과정 김수예 학생(지도교수 김문철)과 우상현 학생(지도교수 권인소), 그리고, 김재철 AI대학원 박사과정 이해범 학생(지도교수 황성주)이 ‘2021 구글 PhD 펠로우’에 선정됐다. 구글 PhD 펠로우십은 컴퓨터과학과 관련된 유망 연구 분야에서 우수한 성과를 낸 대학원생을 지원하는 장학 프로그램으로 올해는 전 세계에서 75명이 선발됐다. 선정된 펠로우에게는 1만 달러의 장학금과 구글 각 분야 전문가 멘토와의 일대일 연구 토의, 피드백 등의 혜택이 주어진다. 김수예, 우상현 학생은 “기계 지각, 음성기술 및 컴퓨터 비전(Machine Perception, Speech Technology and Computer Vision)” 분야에서 펠로우로 선정됐다. 김수예 학생은 딥러닝 기반 이미지 및 영상 화질 개선, 우상현 학생은 컴퓨터비전 분야의 탁월한 연구 성과를 인정받아 선정됐다. 이해범 학생은 머신러닝
2021-10-18