%ea%b7%b8%eb%9e%98%ed%94%84%20%ec%8b%a0%ea%b2%bd%eb%a7%9d
-
레이블 없이 훈련 가능한 그래프 신경망 모델 기술 개발
최근 다양한 분야 (소셜 네트워크 분석, 추천시스템 등)에서 그래프 데이터 (그림 1) 의 중요성이 대두되고 있으며, 이에 따라 그래프 신경망(Graph Neural Network) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 (예를 들어, 소셜 네트워크의 특정 사용자에 `20대'라는 레이블을 부여하는 행위), 이 과정은 일반적으로 수작업으로 진행되므로 노동력과 시간이 소요된다. 따라서 그래프 신경망 모델 훈련 시 데이터가 충분하지 않은 상황을 효과적으로 타개하는 방법의 필요성이 대두되고 있다.
우리 대학 산업및시스템공학과 박찬영 교수 연구팀이 데이터의 레이블이 없는 상황에서도 높은 예측 정확도를 달성할 수 있는 새로운 그래프 신경망 모델 훈련 기술을 개발했다고 25일 밝혔다.
정점의 레이블이 없는 상황에서 그래프 신경망 모델의 훈련은 데이터 증강을 통해 생성된 정점들의 공통된 특성을 학습하는 과정으로 볼 수 있다. 하지만 이러한 정점의 공통된 특성을 학습하는 과정에서, 기존 훈련 방법은 표상 공간에서 자신을 제외한 다른 정점들과의 유사도가 작아지도록 훈련을 한다. 하지만 그래프 데이터가 정점들 사이의 관계를 나타내는 데이터 구조라는 점을 고려했을 때, 이런 일차원적인 방법론은 정점 간의 관계를 정확히 반영하지 못하게 된다.
박 교수팀이 개발한 기술은 그래프 신경망 모델에서 정점들 사이의 관계를 보존해 정점의 레이블이 없는 상황에서 모델을 훈련시켜 높은 예측 정확도를 달성할 수 있게 해준다.
KAIST 산업및시스템공학과 이남경 석사과정이 제1 저자, 현동민 박사, 이준석 석사과정 학생이 제2, 제3 저자로 참여한 이번 연구는 최고권위 국제학술대회 `정보지식관리 콘퍼런스(CIKM) 2022'에서 올 10월 발표될 예정이다. (논문명: Relational Self-Supervised Learning on Graphs)
기존 연구에서는 정점의 레이블이 없는 상황에서 정점에 대한 표상을 훈련하기 위해 표상 공간 내에서 자기 자신을 제외한 다른 정점들과의 유사도가 작아지도록 훈련을 한다. 예를 들어서, 소셜 네트워크에 A, B, C 라는 사용자가 존재할 때, A, B와 C가 표상 공간에서 서로 간의 유사도가 모두 작아지도록 모델을 훈련하는 것이다. 이때 박 교수팀이 착안한 점은 그래프 데이터가 정점 간의 관계를 나타내는 데이터이므로 정점 간의 관계를 포착하도록 정점의 표상을 훈련할 필요가 있다는 점이었다.
즉, A, B와 C 서로 간의 유사도가 모두 작아지게 하는 훈련 메커니즘과는 달리, 실제 그래프상에서는 이들이 연관이 있을 수 있다는 점이다. 따라서 A, B와 C 사이의 관계를 긍정/부정의 이진 분류를 통해 표상 공간에서 유사도가 작아지도록 훈련을 하는 것이 아닌, 이들의 관계를 정의해 그 관계를 보존하도록 학습하는 모델을 연구팀은 개발했다(그림 2). 연구팀은 정점 간의 관계를 기반으로 정점의 표상을 훈련함으로써, 기존 연구가 갖는 엄격한 규제들을 완화해 그래프 데이터를 더 유연하게 모델링했다.
연구팀은 이 학습 방법론을 `관계 보존 학습'이라고 명명했으며, 그래프 데이터 분석의 주요 문제(정점 분류, 간선 예측)에 적용했다(그림 3). 그 결과 최신 연구 방법론과 비교했을 때, 정점 분류 문제에서 최대 3% 예측 정확도를 향상했고, 간선 예측 문제에서 6%의 성능 향상, 다중 연결 네트워크 (Multiplex network)의 정점 분류 문제에서 3%의 성능 향상을 보였다.
제1 저자인 이남경 석사과정은 "이번 기술은 데이터의 레이블이 부재한 상황에서도 그래프 신경망을 학습할 수 있는 새로운 방법ˮ 이라면서 "그래프 기반의 데이터뿐만이 아닌 이미지 텍스트 음성 데이터 등에 폭넓게 적용될 수 있어, 심층 학습 전반적인 성능 개선에 기여할 수 있다ˮ고 밝혔다.
연구팀을 지도한 박찬영 교수도 "이번 기술은 그래프 데이터상에 레이블이 부재한 상황에서 표상 학습 모델을 훈련하는 기존 모델들의 단점들을 `관계 보존`이라는 개념을 통해 보완해 새로운 학습 패러다임을 제시하여 학계에 큰 파급효과를 낼 수 있다ˮ라고 말했다.
한편, 이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 사람중심인공지능핵심원천기술개발 과제로 개발한 연구성과 결과물(No. 2022-0-00157, 강건하고 공정하며 확장 가능한 데이터 중심의 연속 학습)이다.
2022.10.25 조회수 11285 -
인공지능으로 화학반응을 예측하다
우리 대학 생명화학공학과 정유성 교수 연구팀이 화학자처럼 생각하는 인공지능을 개발했다고 4일 밝혔다. 연구팀이 개발한 인공지능은 유기 반응의 결과를 정확하게 예측한다.
유기 화학자는 반응물을 보고 유기 화학반응의 결과를 예상해 약물이나 유기발광다이오드(OLED)와 같이 원하는 물성을 갖는 분자를 합성한다. 하지만 실험을 통해 화학반응의 생성물을 직접 확인하는 작업은 일반적으로 시간과 비용이 많이 소모된다. 게다가 유기 화학 반응은 같은 반응물에서 다양한 생성물이 생길 수 있어 숙련된 유기 화학자라도 모든 화학반응을 정확하게 예측하지 못한다.
이런 한계를 극복하고자 인공지능을 이용해 유기 반응을 예측하는 연구가 활발하게 일어나고 있다. 대부분의 연구는 반응물과 생성물을 서로 다른 두 개의 언어로 생각하고 한 언어에서 다른 언어로 번역하는 언어 번역 모델을 사용하는 방법에 집중하고 있다. 이 방법은 예측 정확도는 높지만, 인공지능이 화학을 이해하고 생성물을 예측했다고 해석하기 어려워 모델이 예측한 결과를 신뢰하기 어렵다.
정 교수팀은 화학적 직관을 바탕으로 모델을 설계해서 모델이 예측한 결과를 화학적으로 설명을 할 수 있을 뿐 아니라, 공개 데이터베이스에서 매우 우수한 예측 정확도를 달성했다.
정 교수팀은 화학자가 반응 결과를 예측하는 방법에서 아이디어를 얻었다. 화학자는 반응 중심을 파악하고 화학반응 규칙을 적용해 가능한 생성물을 예측한다. 이 과정을 본떠서 공개 화학반응 데이터베이스로부터 화학반응 규칙을 도출했다. 화학반응 규칙을 바탕으로 분자의 화학 반응성을 예측하기 위해서, 분자를 그래프로 취급하는 그래프 신경망(Graph Neural Network, GNN) 모델을 개발했다. 이 모델에 반응물들을 넣으면 화학반응 규칙과 반응 중심을 식별해 생성물을 성공적으로 예측한다.
정 교수팀은 화학반응에서 널리 사용되는 미국 특허무역청(USPTO) 데이터를 이용해 유기 반응을 90% 이상의 정확도로 예측하는 데 성공했다. 개발된 모델은 실제 사용 시 모델에 높은 신뢰성을 제공하는 `예측의 불확실성'을 말할 수 있다. 예를 들어, 불확실성이 낮다고 간주되는 모델의 정확도는 98.6%로 증가한다. 모델은 무작위로 샘플링된 일련의 유기 반응을 예측하는 데 있어 소규모의 합성 전문가보다 더 정확한 것으로 나타났다.
이번 연구의 성공으로 연구팀은 다른 분야에서 좋은 성능을 보인 모델을 그대로 사용하던 기존 방법보다, 화학자가 생각하는 방법과 동일하게 신경망을 설계하는 전략이 더 합리적이고 우수한 성능을 보인다는 것을 입증했다. 연구팀은 이 연구를 활용하면 분자 설계 과정이 비약적으로 빨라질 것으로 기대하며, 새로운 화합물 개발에 실용적인 응용을 기대하고 있다. 정유성 교수팀은 현재 연구 성과의 특허 출원을 준비하고 있다.
우리 대학 생명화학공학과 첸수안(Shuan Chen) 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 '네이처 머신 인텔리전스(Nature Machine Intelligence)'에 9월호 표지논문으로 선정돼 출판됐다.
한편 이번 연구는 산업통상자원부와 한국연구재단의 지원을 받아 수행됐다.
2022.10.04 조회수 36568