< (왼쪽부터) 전산학부 이재길 교수, 박동민 박사과정 >
최근 다양한 분야에서 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 낙타 사진에 `낙타'라고 정답을 적어줌), 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다. 따라서 훈련 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법이 요구되고 있다.
우리 대학 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.
심층 학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어, `낙타'의 주요 특성이 등에 있는 `혹'이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 예를 들어, 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 `사막'이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳(예: 동물원)에 있는 낙타는 인식하지 못할 수 있다.
이 교수팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.
우리 대학 지식서비스공학대학원에 재학 중인 박동민 박사과정 학생이 제1 저자, 송환준 박사, 김민석 박사과정 학생이 제2, 제3 저자로 각각 참여한 이번 연구는 최고권위 국제학술대회 `신경정보처리시스템학회(NeurIPS) 2021'에서 올 12월 발표될 예정이다. (논문명 : Task-Agnostic Undesirable Feature Deactivation Using Out-of-Distribution Data)
바람직하지 않은 특성을 억제하기 위해서 분포 外(out-of-distribution) 데이터를 활용한다. 예를 들어, 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.
즉, 위의 예에서 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.
연구팀은 이 정규화 방법론을 `비선호(比選好) 특성 억제'라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과, 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 향상했으며, 객체 지역화 문제에서 최대 8% 예측 정확도를 향상했다.
< 그림 1. 연구 개념도 >
제1 저자인 박동민 박사과정 학생은 "이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법ˮ 이라면서 "분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다ˮ 고 밝혔다.
연구팀을 지도한 이재길 교수도 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것이다ˮ고 말했다.
한편, 이 기술은 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 개발한 연구성과 결과물(2020-0-00862, DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발)이다. (끝).
최근 다양한 분야에서 인공지능 심층 학습(딥러닝) 기술을 활용한 서비스가 급속히 증가하고 있다. GPT와 같은 거대 언어 모델을 훈련하기 위해서는 수백 대의 GPU와 몇 주 이상의 시간이 필요하다고 알려져 있다. 따라서, 심층신경망 훈련 비용을 최소화하는 방법 개발이 요구되고 있다. 우리 대학 전산학부 이재길 교수 연구팀이 심층신경망 훈련 비용을 최소화할 수 있도록 훈련 데이터의 양을 줄이는 새로운 데이터 선택 기술을 개발했다고 2일 밝혔다. 일반적으로 대용량의 심층 학습용 훈련 데이터는 레이블 오류(예를 들어, 강아지 사진이 `고양이'라고 잘못 표기되어 있음)를 포함한다. 최신 인공지능 방법론인 재(再)레이블링(Re-labeling) 학습법은 훈련 도중 레이블 오류를 스스로 수정하면서 높은 심층신경망 성능을 달성하는데, 레이블 오류를 수정하기 위한 추가적인 과정들로 인해 훈련에 필요한 시간이 더욱 증가한다는 단점이 있다. 한편 막대한 훈련 시간을 줄이려는 방법으로 중복되
2023-11-02면역항암치료는 환자의 면역 시스템을 활성화해 암을 치료하는 혁신적인 3세대 항암 치료 방법으로 알려져 있다. 하지만 면역항암 치료제는 면역활성화에 의해 기존 항암제와는 구분되는 자가면역질환과 유사한 부작용을 유발할 수 있다는 새로운 문제가 제기됐다. 이러한 부작용은 심각한 경우 환자를 죽음에까지 이르게 할 수 있기에 부작용에 대한 연구가 절실한 상황에 놓여있다. 우리 대학 바이오및뇌공학과 최정균 교수팀과 서울아산병원 종양내과 박숙련 교수팀은 면역항암제 치료를 받은 고형암 환자에 대한 대규모 전향적 코호트를 구축하고, 다차원적 분석을 통해 면역항암제 부작용의 위험요인을 규명했다고 22일 밝혔다. 또한 인공지능 딥러닝을 이용해 치료 전 환자에게서 부작용이 나타날지를 예측할 수 있는 모델까지도 개발했다고 알렸다. 기존의 관련 연구들은 소규모로 진행이 되거나, 적은 수의 지표로 국한된 범위에 대해서만 행해졌다. 또한 수행된 연구들은 면역 관련 부작용을 위해 디자인된 연구 설계가
2023-06-22우리 대학 기계공학과 박인규 교수, 윤국진 교수와 물리학과 조용훈 교수 공동 연구팀이 `초저전력, 상온 동작이 가능한 광원 일체형 마이크로 LED 가스 센서 기반의 전자 코 시스템'을 개발하는 데 성공했다고 14일 밝혔다. 공동 연구팀은 마이크로 크기의 초소형 LED가 집적된 광원 일체형 가스 센서를 제작한 이후 합성곱 신경망 (CNN) 알고리즘을 적용해 5가지의 미지의 가스를 실시간으로 가스 종류 판별 정확도 99.3%, 농도 값 예측 오차 13.8%의 높은 정확도로 선택적 판별하는 기술을 개발했다. 특히 마이크로 LED를 활용한 광활성 방식의 가스 감지 기술은 기존의 마이크로 히터 방식 대비 소모 전력을 100분의 1 수준으로 획기적으로 절감한 것이 특징이다. 이번 연구에서 개발된 초저전력 전자 코 기술은 어떠한 장소에서든지 배터리 구동 기반으로 장시간 동작할 수 있는 모바일 가스 센서로 활용될 것으로 기대된다. 타깃 가스의 유무에 따라 금속산화물 가스 감지 소재의
2023-02-14딥러닝 기술은 영상 복원 속도가 기존 알고리즘 대비 수백 배 이상 빠를 뿐만 아니라 복원 정확도 역시 높다. 하지만, 주어진 학습 데이터에만 의존하는 딥러닝 기술은 영상 취득 환경상에 변화가 생기면 성능이 급격히 저하되는 치명적인 약점이 있다. 이는 알파고와 이세돌 九단과의 대국 시 `신의 한 수'에 의해 알파고의 성능이 급격하게 저하되었던 사례를 떠올리면 쉽게 이해할 수 있다. 즉, 인공지능이 학습하지 못했던 변수(학습 데이터상에 존재하지 않는 수)가 발생할 때 신뢰도가 급격히 낮아지는 인공지능 기술의 근본적인 문제이기도 하다. 우리 대학 바이오및뇌공학과 장무석 교수 연구팀과 김재철AI 대학원 예종철 교수 연구팀이 공동 연구를 통해 인공 지능의 신뢰도 문제를 해결할 수 있는 물리적 학습 기반의 영상 복원 딥러닝 기술을 개발했다고 6일 밝혔다. 연구팀은 영상 취득 환경에서 발생할 수 있는 변수 대부분이 물리적 법칙을 통해 수학적으로 기술 가능하다는 점에 착안해 물리적 법칙
2023-02-06우리 대학 기계공학과 이정철 교수 연구팀이 현미경 사진을 이용해 나노 스케일 3D 표면을 예측하는 딥러닝 기반 방법론을 제시했다고 17일 밝혔다. 물리적 접촉 기반으로 나노 스케일의 표면 형상을 3D 측정하는 원자현미경은 웨이퍼 소자 검사 등 반도체 산업에서 사용되고 있다. 하지만, 원자현미경은 물리적으로 표면을 스캔하기 때문에 측정 속도*가 느리고, 고온 극한 환경에서는 작동할 수 없다는 단점을 지닌다. * 측정 속도를 높이기 위해 표면 스캔 방식의 효율을 개선해 20 FPS(초당 프레임 수) 수준의 비디오 프레임 원자현미경이 개발됐지만, 측정 가능한 표면의 면적이 100제곱마이크로미터(μm2) 수준으로 제한되며, 극한의 환경에서는 여전히 작동이 제한된다. 이에 연구팀은 비접촉 측정 방법인 광 현미경에서 딥러닝을 이용하여 원자현미경으로 얻어질 수 있는 나노 스케일 3D 표면을 예측했다. 비슷한 개념인 사진에서 깊이를 예측하는 기술은 자율주행을 위해 많이 연구되고
2023-01-17