%EB%87%8C-%EA%B8%B0%EA%B3%84+%EC%9D%B8%ED%84%B0%ED%8E%98%EC%9D%B4%EC%8A%A4
-
상상만으로 원하는 방향으로 사용가능한 로봇 팔 뇌-기계 인터페이스 개발
우리 대학 뇌인지과학과 정재승 교수 연구팀이 인간의 뇌 신호를 해독해 장기간의 훈련 없이 생각만으로 로봇 팔을 원하는 방향으로 제어하는 뇌-기계 인터페이스 시스템을 개발했다고 24일 밝혔다.
서울의대 신경외과 정천기 교수 연구팀과 공동연구로 진행된 이번 연구에서 정 교수 연구팀은 뇌전증 환자를 대상으로 팔을 뻗는 동작을 상상할 때 관측되는 대뇌 피질 신호를 분석해 환자가 의도한 팔 움직임을 예측하는 팔 동작 방향 상상 뇌 신호 디코딩 기술을 개발했다. 이러한 디코딩 기술은 실제 움직임이나 복잡한 운동 상상이 필요하지 않기 때문에 운동장애를 겪는 환자가 장기간 훈련 없이도 자연스럽고 쉽게 로봇 팔을 제어할 수 있어 앞으로 다양한 의료기기에 폭넓게 적용되리라 기대된다.
바이오및뇌공학과 장상진 박사과정이 제1 저자로 참여한 이번 연구는 뇌공학 분야의 세계적인 국제 학술지 `저널 오브 뉴럴 엔지니어링 (Journal of Neural Engineering)' 9월 19권 5호에 출판됐다. (논문명 : Decoding trajectories of imagined hand movement using electrocorticograms for brain-machine interface).
뇌-기계 인터페이스는 인간이 생각만으로 기계를 제어할 수 있는 기술로, 팔을 움직이는 데 장애가 있거나 절단된 환자가 로봇 팔을 제어해 일상에 필요한 팔 동작을 회복할 수 있는 보조기술로 크게 주목받고 있다.
로봇 팔 제어를 위한 뇌-기계 인터페이스를 구현하기 위해서는 인간이 팔을 움직일 때 뇌에서 발생하는 전기신호를 측정하고 기계학습 등 다양한 인공지능 분석기법으로 뇌 신호를 해독해 의도한 움직임을 뇌 신호로부터 예측할 수 있는 디코딩 기술이 필요하다.
그러나 상지 절단 등으로 운동장애를 겪는 환자는 팔을 실제로 움직이기 어려우므로, 상상만으로 로봇 팔의 방향을 지시할 수 있는 인터페이스가 절실히 요구된다. 뇌 신호 디코딩 기술은 팔의 실제 움직임이 아닌 상상 뇌 신호에서 어느 방향으로 사용자가 상상했는지 예측할 수 있어야 하는데, 상상 뇌 신호는 실제 움직임 뇌 신호보다 신호대잡음비(signal to noise ratio)가 현저히 낮아 팔의 정확한 방향을 예측하기 어려운 문제점이 오랫동안 난제였다. 이러한 문제점을 극복하고자 기존 연구들에서는 팔을 움직이기 위해 신호대잡음비가 더 높은 다른 신체 동작을 상상하는 방법을 시도했으나, 의도하고자 하는 팔 뻗기와 인지적 동작 간의 부자연스러운 괴리로 인해 사용자가 장기간 훈련해야 하는 불편함을 초래했다.
따라서 팔을 뻗는 상상을 할 때 어느 방향으로 뻗었는지 예측하는 디코딩 기술은 정확도가 떨어지고 환자가 사용법을 습득하기 어려운 문제점이 있다. 이 문제가 오랫동안 뇌-기계 인터페이스 분야에서 해결해야 할 난제였다.
연구팀은 문제 해결을 위해 사용자의 자연스러운 팔 동작 상상을 공간해상도가 우수한 대뇌 피질 신호(electrocorticogram)로 측정하고, 변분 베이지안 최소제곱(variational Bayesian least square) 기계학습 기법을 활용해 직접 측정이 어려운 팔 동작의 방향 정보를 계산할 수 있는 디코딩 기술을 처음으로 개발했다.
연구팀의 팔 동작 상상 신호 분석기술은 운동피질을 비롯한 특정 대뇌 영역에 국한되지 않아, 사용자마다 상이할 수 있는 상상 신호와 대뇌 영역 특성을 맞춤형으로 학습해 최적의 계산모델 파라미터 결괏값을 출력할 수 있다.
연구팀은 대뇌 피질 신호 디코딩을 통해 환자가 상상한 팔 뻗기 방향을 최대 80% 이상의 정확도로 예측할 수 있음을 확인했다.
나아가 계산모델을 분석함으로써 방향 상상에 중요한 대뇌의 시공간적 특성을 밝혔고, 상상하는 인지적 과정이 팔을 실제로 뻗는 과정에 근접할수록 방향 예측정확도가 상당히 더 높아질 수 있음을 연구팀은 확인했다.
연구팀은 지난 2월 인공지능과 유전자 알고리즘 기반 고 정확도 로봇 팔 제어 뇌-기계 인터페이스 선행 연구 결과를 세계적인 학술지 `어플라이드 소프트 컴퓨팅(Applied soft computing)'에 발표한 바 있다. 이번 후속 연구는 그에 기반해 계산 알고리즘 간소화, 로봇 팔 구동 테스트, 환자의 상상 전략 개선 등 실전에 근접한 사용환경을 조성해 실제로 로봇 팔을 구동하고 의도한 방향으로 로봇 팔이 이동하는지 테스트를 진행했고, 네 가지 방향에 대한 의도를 읽어 정확하게 목표물에 도달하는 시연에 성공했다.
연구팀이 개발한 팔 동작 방향 상상 뇌 신호 분석기술은 향후 사지마비 환자를 비롯한 운동장애를 겪는 환자를 대상으로 로봇 팔을 제어할 수 있는 뇌-기계 인터페이스 정확도 향상, 효율성 개선 등에 이바지할 수 있을 것으로 기대된다.
연구책임자 정재승 교수는 "장애인마다 상이한 뇌 신호를 맞춤형으로 분석해 장기간 훈련을 받지 않더라도 로봇 팔을 제어할 수 있는 기술은 혁신적인 결과이며, 이번 기술은 향후 의수를 대신할 로봇팔을 상용화하는 데에도 크게 기여할 것으로 기대된다ˮ고 말했다.
2022.10.24 조회수 4468 -
생각만으로 정확하게 로봇팔 조종이 가능한 뇌-기계 인터페이스 개발
우리 대학 바이오및뇌공학과 정재승 교수 연구팀이 3차원 공간상에서 생각만으로 로봇팔을 높은 정확도 (90.9~92.6%)로 조종하는 `뇌-기계 인터페이스 시스템'을 개발했다고 23일 밝혔다.
정 교수 연구팀은 인공지능과 유전자 알고리즘을 사용해 인간의 대뇌 심부에서 측정한 뇌파만으로 팔 움직임의 의도를 파악해 로봇팔을 제어하는 새로운 형태의 뇌-기계 인터페이스 시스템을 개발했다. 뇌 활동만으로 사람의 의도를 파악해 로봇이나 기계가 대신 행동에 옮기는 `뇌-기계 인터페이스' 기술은 최근 급속도로 발전하고 있다. 하지만 손을 움직이는 정도의 의도 파악을 넘어, 팔 움직임의 방향에 대한 의도를 섬세하게 파악해 정교하게 로봇팔을 움직이는 기술은 아직 정확도가 높지 않았다.
하지만 연구팀은 이번 연구에서 조종 `방향'에 대한 의도를 뇌 활동만으로 인식하는 인공지능 모델을 개발했고, 그 결과 3차원 공간상에서 24개의 방향을 90% 이상의 정확도로 정교하게 해석하는 시스템을 개발했다.
게다가 딥러닝 등 기존 기계학습 기술은 높은 사양의 GPU 하드웨어가 필요했지만, 이번 연구에서는 축적 컴퓨팅(Reservoir Computing) 기법을 이용해 낮은 사양의 하드웨어에서도 인공지능 학습이 가능하여 스마트 모바일 기기에서도 폭넓게 응용될 수 있도록 개발해, 향후 메타버스와 스마트 기기에도 폭넓게 적용이 가능할 것으로 기대된다.
우리 대학 김훈희 박사(現 강남대 조교수)가 제1 저자로 참여한 이번 연구는 국제학술지 `어플라이드 소프트 컴퓨팅(Applied Soft Computing)' 2022년 117권 3월호에 출판됐다. (논문명 : An electrocorticographic decoder for arm movement for brain-machine interface using an echo state network and Gaussian readout).
뇌-기계 인터페이스는 사용자의 뇌 활동을 통해 의도를 읽고 로봇이나 기계에 전달하는 기술로서 로봇, 드론, 컴퓨터뿐만 아니라 스마트 모바일 기기, 메타버스 등에서의 이용될 차세대 인터페이스 기술로 각광받고 있다.
특히 기존의 인터페이스가 외부 신체 기관을 통해 명령을 간접 전달(버튼, 터치, 제스처 등)해야 하지만 뇌-기계 인터페이스는 명령을 뇌로부터 직접적 전달한다는 점에서 가장 진보된 인터페이스 기술로 여겨진다.
그러나 뇌파는 개개인의 차이가 매우 크고, 단일 신경 세포로부터 정확한 신호를 읽는 것이 아니라 넓은 영역에 있는 신경 세포 집단의 전기적 신호 특성을 해석해야 하므로 잡음이 크다는 한계점을 가지고 있다.
연구팀은 이러한 문제 해결을 위해 최첨단 인공지능 기법의 하나인 `축적 컴퓨팅 기법'을 이용해 뇌-기계 인터페이스에서 필요한 개개인의 뇌파 신호의 중요 특성을 인공신경망이 자동으로 학습해 찾을 수 있도록 구현했다.
또한 유전자 알고리즘(Genetic Algorithm)을 이용해 인공지능 신경망이 최적의 뇌파 특성을 효율적으로 찾을 수 있게 시스템을 설계했다. 연구팀은 심부 뇌파를 최종 해석하는 리드아웃(Readout)을 가우시안(Gaussian) 모델로 설계해 시각피질 신경 세포가 방향을 표현하는 방법을 모방하는 인공신경망을 개발했다. 이런 리드아웃 방식은 축적 컴퓨팅의 선형 학습 알고리즘을 이용해 일반적 사양의 간단한 하드웨어에서도 빠르게 학습할 수 있어 메타버스, 스마트기기 등 일상생활에서 응용이 가능해진다.
특히, 이번 연구에서 만들어진 뇌-기계 인터페이스 인공지능 모델은 3차원상에서 24가지 방향 즉, 각 차원에서 8가지 방향을 디코딩할 수 있으며 모든 방향에서 평균 90% 이상의 정확도 (90.9%~92.6% 범위)를 보였다. 또한 연구된 뇌-기계 인터페이스는 3차원 공간상에서 로봇팔을 움직이는 상상을 할 때의 뇌파를 해석해 성공적으로 로봇팔을 움직이는 시뮬레이션 결과를 보였다.
인공지능 시스템을 만든 제1 저자인 김훈희 박사는 "공학적인 신호처리 기법에 의존해 온 기존 뇌파 디코딩 방법과는 달리, 인간 뇌의 실제 작동 구조를 모방한 인공신경망을 개발해 좀더 발전된 형태의 뇌-기계 인터페이스 시스템을 개발해 기쁘다ˮ면서 "향후 뇌의 특성을 좀 더 구체적으로 이용한 `뇌 모방 인공지능(Brain-inspired A.I.)'을 이용한 다양한 뇌-기계 인터페이스를 개발할 계획이다ˮ라고 말했다.
이번 연구를 주도한 연구책임자 정재승 교수는 "뇌파를 통해 생각만으로 로봇팔을 구동하는 `뇌-기계 인터페이스 시스템'들이 대부분 고사양 하드웨어가 필요해 실시간 응용으로 나아가기 어렵고 스마트기기 등으로 적용이 어려웠다. 그러나 이번 시스템은 90%~92%의 높은 정확도를 가진 의도 인식 인공지능 시스템을 만들어 메타버스 안에서 아바타를 생각대로 움직이게 하거나 앱을 생각만으로 컨트롤하는 스마트기기 등에 광범위하게 사용될 수 있다ˮ고 말했다.
이번 연구 결과는 사지마비 환자나 사고로 팔을 잃은 환자들을 위한 로봇팔 장착 및 제어 기술부터, 메타버스, 스마트기기, 게임, 엔터테인먼트 애플리케이션 등 다양한 시스템에 뇌-기계 인터페이스를 적용할 가능성을 열어 줄 것으로 기대된다.
이번 연구는 한국연구재단 뇌 원천기술개발사업의 지원을 받아 수행됐다.
2022.02.24 조회수 9572