%ec%9e%a5%eb%ac%b4%ec%84%9d
-
안개 속 모습도 또렷하게..숨겨진 영상 복원 AI 개발
물방울이 맺힌 유리창 밖을 보면 물체의 형체를 선명하게 알아볼 수 없는 것처럼, 카메라 센서에도 산란에 의해 뒤섞인 빛이 들어오면 흐린 영상이 촬영된다. 우리 연구진은 이러한 손상 영상을 시간의 연속성을 분석하여 선명하게 복원하는 AI 기술을 개발했다. 영상 촬영에선 산란 효과 뿐만 아니라 아지랑이와 같은 수차 효과, 야간에 발생하는 광자 잡음 효과 등 다양한 영상 손상 현상이 일어날 수 있는데, 이번에 개발된 기술은 이러한 다양한 손상 현상에 범용적으로 적용될 수 있어 향후 의료·방산·로봇 비전 분야에서 커다란 전환점을 마련할 것으로 기대된다.
우리 대학 바이오및뇌공학과 장무석 교수와 김재철AI대학원 예종철 교수 공동 연구팀이 움직이는 산란 매질 너머의 숨겨진 영상을 복원할 수 있는 ‘비디오 디퓨전 기반 영상 복원 기술(시간축 정보 정합성을 활용해 흐릿하거나 손상된 영상을 디퓨전 모델로 되살리는 기술)’을 세계 최초로 개발했다고 31일 밝혔다.
이 기술은 안개 낀 도로에서 자동차 전조등을 켜도 시야가 흐릿하게 보이는 현상이나, 김 서린 욕실 유리창 너머의 모습이 왜곡되어 보이는 것처럼 빛이 흐트러지는 환경에서도 원래 영상을 선명하게 복원할 수 있게 한다.
산란 매질은 빛의 경로를 무질서하게 섞어 시각 정보를 왜곡하는 물질로, 안개·연기·불투명 유리·피부 조직 등이 대표적이다. 이번에 개발된 기술은 기존에 보이지 않던 영역을 마치 ‘가려진 간유리 뒤를 들여다보듯’ 복원할 수 있게 해준다.
이를 통해 혈액이나 피부 속을 들여다보는 비침습적 의료 진단, 화재 현장의 연기 속 인명 구조, 벽에서 반사된 빛으로 영상을 복원하는 비시선 영상, 안개 낀 도로에서의 안전 운전 보조, 불투명 유리나 플라스틱 내부의 산업 검사, 흐린 물속 시야 확보 등 일상과 산업 전반에 활용될 수 있는 길을 열었다.
연구팀은 기존 인공지능 복원 기술이 훈련된 데이터 범위에서만 성능을 내는 한계를 극복하기 위해, 광학 모델과 비디오 디퓨전 모델을 결합한 새로운 복원 방식을 제안했다.
특히 시간에 따라 산란 환경이 변하는 경우(예: 바람에 흔들리는 커튼 너머 풍경)에도 안정적으로 복원할 수 있도록 연속된 영상의 시간적 상관관계를 학습한 디퓨전 모델을 도입했다. 그 결과 다양한 거리·두께·잡음 조건에서도 기존 최고 성능의 복원 모델을 뛰어넘는 결과를 얻었다.
공동 연구팀은 디퓨전 기반 복원 기술 중 최초로 시간 상관관계를 반영해, 움직이는 산란 매질 너머에서 정자의 움직임 패턴을 관찰하는 데 성공함으로써 세계적으로 큰 학문적 의미를 남겼다. 또한, 별도의 추가 학습 없이도 안개 제거, 영상 화질 개선(고해상도 프레임 생성), 블라인드 디블러링(흐린 영상 선명화) 등 다양한 상황에서 적응적으로 영상을 복원할 수 있는 최적화 기법을 도입해, 범용 복원 프레임워크로 확장될 가능성을 입증했다.
권태성 연구원은 “시간 상관관계를 학습한 디퓨전 모델이 움직이는 산란매질 너머 보이지 않는 데이터를 복원하는 광학 역문제 해결에 효과적임을 확인했다”면서, “앞으로는 안개 제거, 영상 화질 개선, 블라인드 디블러링 뿐만 아니라, 빛의 시간적 변화를 역추적해야 풀 수 있는 다양한 광학 역문제로 연구를 확장할 계획”이라고 밝혔다.
이번 연구는 바이오및뇌공학과 권태성·송국호 박사과정이 공동 제1 저자로 참여했으며, 세계 최고 수준의 인공지능 학술지 IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)에 8월 13일에 게재됐다.
※논문명: Video Diffusion Posterior Sampling for Seeing Beyond Dynamic Scattering Layers
※DOI: 10.1109/TPAMI.2025.3598457
이번 연구는 과학기술정보통신부, 한국연구재단의 우수신진 연구자 사업 및 뇌선도연구센터사업, 삼성미래기술육성사업, AI 스타펠로우십의 지원을 받아 수행됐다.
2025.09.01 조회수 1720 -
이제 고해상도 분광기가 스마트폰에 쏙 들어간다
색은 빛의 파장이 인간의 눈에 인식되는 방식으로, 단순한 미적 요소를 넘어 물질의 성분이나 상태 같은 중요한 과학적 정보를 담고 있다. 분광기는 빛을 파장별로 분해해 물성을 분석하는 광학 장비로, 재료 분석, 화학 성분 검출, 생명과학 연구 등 다양한 과학 및 산업 분야에서 폭넓게 사용되고 있다. 기존의 고분해능 분광기는 크고 복잡해 일상 전반에 사용이 어려웠으나, 우리 연구진이 개발한 초소형 고해상도 분광기 덕분에 앞으로는 스마트폰이나 웨어러블 기기 속에서도 빛의 색 정보를 활용할 수 있을 전망이다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 이중층 무질서 메타표면*을 이용한 복원 기반 분광기 기술을 개발하는 데 성공했다고 13일 밝혔다.
*이중충 메타표면: 두 겹의 무질서한 나노 구조층을 통해 빛을 복잡하게 산란시켜, 파장별로 고유하고 예측 가능한 스페클 패턴을 만들어내는 혁신적 광학 소자
기존의 고분해능 분광기는 수십 센티미터 수준으로 폼 팩터가 크고, 정확도를 유지하기 위한 복잡한 교정 과정이 필요하다. 이는 근본적으로 무지개가 색을 분리하듯 빛의 파장을 빛의 진행 방향으로 분리하는 전통적인 분산 부품의 작동 원리에서 기인한다. 이 때문에, 빛의 색 정보가 일상 전반에 유용하게 활용될 수 있음에도 분광 기술은 실험실이나 산업 제조 현장 수준으로 그 활용성이 제한되고 있다.
연구팀은 빛의 색 정보를 빛의 진행 방향으로 일대일 대응시키는 회절격자나 프리즘을 사용하는 기존의 분광 패러다임에서 벗어나 설계된 무질서 구조를 광학 부품으로 활용하는 방식을 고안했다. 이때, ‘복잡한 무작위적 패턴(스페클*)’을 정확하게 구현하기 위해 수십-수백 나노미터 크기의 구조체를 활용해 빛의 전파 과정을 자유롭게 조절할 수 있는 메타표면을 활용하였다.
* 스페클: 여러 파면의 빛이 간섭해 만들어지는 불규칙한 밝기의 광 패턴
구체적으로, 이중층 무질서 메타표면을 구현해 파장 특이적인 방식으로 스페클 패턴을 생성하고, 카메라로 측정된 무작위 패턴을 보고 그 빛의 정밀한 색 정보(파장)를 복원 해내는 방식을 개발했다.
그 결과, 단 한 장의 영상 촬영만으로 손톱보다 작은(1cm 미만) 장치에서 1 나노미터(nm) 수준의 고해상도로 가시광-적외선 (440~1,300nm) 범대역의 빛을 정확하게 측정하는 신개념 분광기 기술을 개발하는 데 성공했다.
이번 연구에 제1 저자로 참여한 이동구 연구원은 “이번 기술은 상용 이미지 센서에 직접 통합된 방식으로 구현돼, 앞으로는 모바일 기기에 내장된 형태로 일상에서도 빛의 파장 정보를 손쉽게 취득하고 이용할 수 있을 것으로 기대된다”라고 밝혔다.
장무석 교수는 “R(빨강), G(초록), B(파랑) 3가지 색 성분으로만 구분해서 인식되는 기존 RGB 삼색 기반 머신 비전 분야에서 한계를 뛰어넘는 기술로 활용 분야도 다양하다”며, “음식 성분 분석, 농작물 상태 진단, 피부 건강 측정, 환경 오염 감지, 바이오·의료 진단 등 실험실 수준의 기술을 일상 수준의 머신 비전 기술로 지평을 넓힌 기술로 다양한 활용 연구가 기대된다” 라고 말했다.
이어 “또한, 파장과 공간 정보를 고해상도로 동시에 기록하는 초분광 영상이나, 여러 파장의 빛들을 정밀하게 원하는 형태로 제어하는 3D 광집속 기술, 아주 짧은 시간 동안 일어나는 현상을 포착하는 초고속 이미징 기술 등 다양한 첨단 광학 기술로 확장도 가능하다”라고 밝혔다.
해당 연구 결과는 KAIST 바이오및뇌공학과 이동구 박사과정, 송국호 박사과정이 공동 제1 저자, 장무석 교수가 교신저자로 참여했으며 국제 학술지 `사이언스 어드밴시스 (Science Advances)' 2025년 5월 28일 온라인판에 게재됐다.
※논문명 : Reconstructive spectrometer using double-layer disordered metasurfaces
※DOI: 10.1126/sciadv.adv2376
이번 연구는 삼성미래기술육성사업과 과학기술정보통신부 한국연구재단이 주관하는 우수신진연구자사업, 선도연구센터지원사업(ERC), 바이오·의료기술개발사업 사업의 지원을 받아 수행됐다.
2025.06.13 조회수 3921 -
반도체 정밀 공정 흐린 영상 복원 가능하다
생물학 연구에 사용되는 형광 현미경이나 반도체 산업에 사용되는 주사전자현미경의 공통점은 불안정성으로 인해 흐려진 영상(블러, blur)을 보정하는 과정이 반드시 필요하다는 점이다. 우리 연구진이 굉장히 강한 잡음에 의해 손상된 왜곡 영상에 대해 적응형 필터와 생성형 인공지능 모델을 융합해 영상을 복원하는 데 성공했다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 삼성전자 DS부문 반도체연구소 차세대공정개발실과 공동 연구를 통해 왜곡 및 강한 잡음이 존재하는 의료·산업 영상을 복원하는 기술을 개발했다고 26일 밝혔다.
스마트폰 카메라 사진에 영상의 흐림·왜곡이 생겼을 때 보정하는 문제를 디컨볼루션(deconvolution) 또는 디블러링(deblurring)이라고 하며, 흐려진 영상 정보만 이용해 선명한 영상을 복원하는 기술을 블라인드 디컨볼루션(blind deconvolution)이라고 한다. 흥미롭게도 디컨볼루션 문제는 일상뿐만 아니라 생물학 연구, 반도체 산업 등 다양한 분야에서 공통적으로 발생한다.
예를 들어, 형광 현미경은 세포와 분자 수준의 미세 구조를 시각화하기 때문에 측정된 형광 신호는 산란이나 회절, 수차 등의 효과로 인해 흐려지기 때문에 디컨볼루션 기법을 통해 보정하는 과정이 반드시 필요하다.
또한, 반도체 산업에서는 수천 개의 생산 공정 중간에 검사·계측 기술을 통해 발생할 수 있는 미세 공정 오류를 감지하고, 공정 수율 개선을 위한 프로세스 개선 과정에 사용되는 주사전자현미경이 전자 빔의 불안정성으로 인해 영상이 흐려지기 쉬우며, 이를 보정하는 과정이 반드시 필요하다.
연구팀은 이처럼 영상이 흐려지는 원인은 움직임, 빛의 산란, 전자의 불안정성 등과 같이 다양하지만, 공통적으로 ‘영상의 흐려짐을 없앤다’라는 점에서 수학적으로 동일한 접근 방법이 활용될 수 있다고 생각했다.
특히 잡음 수준이 높은 영상의 경우, 영상의 잡음을 효과적으로 억제함과 동시에 블러 효과가 제거된 선명한 영상을 복원하는 과정의 균형을 맞추는 것이 매우 중요하다는 점을 착안했다.
연구팀은 위너 디컨볼루션*을 기반으로 영상을 복원하는 접근법을 개발했다. 이를 적응형 잡음 억제 변수, 영상 생성형 인공지능 모델과 결합해 영상 복원 과정에서 발생할 수 있는 잡음을 억제하고 영상 선명도도 높였다.
*위너 디컨볼루션(Wiener deconvolution)은 왜곡된 영상을 역 필터(inverse filter)를 기반으로 깨끗한 영상으로 복원하는 전통적인 방식임.
연구팀은 잡음 민감도가 높은 주사전자현미경으로부터 측정된 왜곡된 영상으로부터 깨끗하고 초점이 맞는 나노미터 단위의 반도체 구조에 대한 영상을 성공적으로 복원해 냄으로써 반도체 검사·계측에 매우 효과적으로 적용할 수 있음을 실험적으로 증명했다.
바이오및뇌공학과 이찬석 연구원은 “이번 연구를 통해 강한 잡음 속에서 왜곡된 영상을 복원하는 난제를 해결했다ˮ며, 이어 "이번 연구에서는 무작위적 잡음을 극복하는 영상 복원 기술을 개발하는 데에 집중했고, 향후 비균일 영상 복원 및 다양한 손상 형태를 극복하는 영상 복원 기술 개발에 주력할 것이다ˮ라고 밝혔다.
바이오및뇌공학과 이찬석 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 비전 분야 최고 학회인 ‘제18회 유럽 컴퓨터 비전 학회(The 18th European Conference on Computer Vision)’ 에서 지난 10월 1일에 이탈리아 밀란에서 발표됐고, Springer Nature에서 출판하는 Lecture Notes in Computer Science의 ECCV 2024 프로시딩 집에 게재될 예정이다. (논문명: Blind image deblurring with noise-robust kernel estimation).
2024.11.26 조회수 5855 -
100배 정밀한 신개념 빛 측정 센서 개발
자율주행에서 물체의 모양과 위치를 정확히 추적할 수 있는 기술이 필요하다. 또한, 생물학적 세포, 박막, 미세구조 및 기타 유사한 물질들을 화학 염색 없이도 상세하고 높은 대비로 관찰할 수 있는 기술은 의료 및 산업 현장에서 중요하다. 하지만 기존 기술들은 간섭계를 사용하기 때문에 크고 복잡한 장비가 필요하고 주변 환경에 민감해 실제 현장에서의 활용이 제한됐다. 우리 연구진이 이러한 한계를 극복하고 다양한 응용 분야에서 활용할 수 있는 신개념 빛 측정 기술을 개발해서 화제다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 세계 최초로 메타표면*으로 성능이 대폭 향상된 파면 센서를 이용해 복잡한 물체의 단일 측정 위상 이미징 기술을 개발했다고 20일 밝혔다.
*메타표면: 나노미터에서 마이크로미터 스케일의 기하학적 구조를 가지는 나노 구조체들로 이뤄진 평면으로, 각 나노 구조체의 모양에 따라 매우 미세한 규모에서 전자기파의 전파 경로, 위상, 편광, 진폭 등을 제어할 수 있음
파면은 파동이 동일한 위상을 가지고 있는 지점들을 연결한 면이다. 바다에서 보이는 파도는 일상생활에서 볼 수 있는 파면의 한 예다. 파도가 장애물을 만나거나 환경이 달라지면 모양이 바뀌듯, 빛의 파면도 물체를 통과하거나 반사될 때 물체의 모양에 따라 변한다. 따라서 물체를 통과하거나 반사된 빛의 파면을 분석하면, 물체에 의해 변화되는 빛의 위상 정보를 얻을 수 있다.
샥-하트만 파면 센서(Shack-Hartmann wavefront sensor)는 렌즈 배열과 카메라가 결합된 구조로, 각 렌즈에 입사하는 파면의 경사도에 따라 달라지는 초점의 위치를 분석해 입사된 빛의 파면을 복구한다. 샥-하트만 파면 센서는 간단한 구조와 높은 견고성으로 천문학 및 광학 시스템 평가 등 산업 현장에서 널리 사용되고 있다. 하지만, 기존 샥-하트만 파면 센서는 마이크로 렌즈 크기 때문에 공간해상도가 1 mm2 당 100개 수준으로 제한되어 복잡한 물체의 위상 이미징이 불가능했다.
연구팀은 나노 공정 기술을 통해 제작된 메타표면을 이용해 이 문제를 해결했다. 이번 연구에서 메타표면 기술로 제작된 메타 렌즈를 활용해 시판되고 있는 샥-하트만 파면 센서보다 약 100배 높은 공간해상도를 가지는 메타 샥-하트만 파면 센서를 개발했다. 개발된 메타 샥-하트만 파면 센서는 높은 공간해상도를 이용해 기존 샥-하트만 파면 센서로는 측정이 불가능했던 복잡한 구조체의 위상 이미지를 얻는 데 성공했다.
또한 연구팀은 메타 샥-하트만 파면 센서를 통해 3차원 위치를 추적했다. 이 과정에서, 메타 샥-하트만 파면 센서가 거의 모든 가시광 영역에서 작동하며, 기존 샥-하트만 파면 센서보다 약 10배 큰 시야각을 가지는 것을 확인했다. 이 기술을 활용하면 넓은 영역에서 물체의 3차원 위치의 추적이 가능하다.
연구를 주도한 고기현 박사는 “메타 샥-하트만 파면 센서는 기존 기술보다 견고하고 작은 크기를 가지는 장비로서 초기 질병 진단, 제조 공정의 결함 검출과 자율 주행 등 다양한 분야에 적용될 수 있을 것으로 기대된다”고 밝혔다. 또한 "메타 샥-하트만 파면 센서는 기존 기술의 한계를 극복하고, 위상 이미징 기술의 새로운 기준을 세웠다”며, “이번 연구에서는 메타 샥-하트만 파면 센서의 개념 검증에 집중했고, 향후 메타표면의 우수한 빛 조작 능력을 활용해 초소형·다기능 메타 파면 센서를 개발하는 데 주력할 것이다”라고 밝혔다.
우리 대학 바이오및뇌공학과 고기현 박사가 제1 저자, 장무석 교수가 교신저자로 참여한 이번 연구는 국제 학술지 `라이트:사이언스&어플리케이션즈(Light:Science&Applications)'에 지난 8월 12일 字 출판됐다.
(논문명: Meta Shack-Hartmann wavefront sensor with large sampling density and large angular field of view: Phase imaging of complex objects)
한편 이번 연구는 과학기술정보통신부 한국연구재단이 주관하는 바이오·의료기술개발사업, STEAM연구사업, 선도연구센터지원사업(ERC), 우수신진연구자사업, 교육부가 주관하는 박사후국내연수사업, 삼성미래기술육성사업, 삼성설비연산학과제의 지원을 받아 수행됐다.
2024.08.20 조회수 8837 -
세계 최고 속도 입체적 조명 기술 개발
디스플레이(조명) 기술에서는 고속화가 아주 중요한 성능 중 하나로 꼽힌다. 최근 주요 스마트폰 제조사들은 화면 전환 속도가 기존의 초당 60회보다 크게 향상된 초당 120회의 고속 디스플레이를 선보였다. 이런 고속 디스플레이를 탑재한 모델의 이용자들 사이에 ‘한번 경험하면 예전으로 돌아갈 수 없다’는 말이 회자될 정도로, 고속화는 상업적인 가치도 크다고 볼 수 있다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀이 북해도대학 전자과학연구소의 시부카와 아츠시 부교수, 미카미 히데하루 교수, 오카야마대학 의·치·약과학과의 스도 유키 교수 연구팀과 공동연구를 통해 세계 최고속의 3차원 광 패턴 조명 기술*을 개발하는 데 성공했다고 15일 밝혔다.
*광 패턴 조명 기술: 빛을 특정 패턴이나 형태로 조절하여 원하는 조명 효과를 얻는 기술
광 패턴 조명 기술은 우리에게 친숙한 디스플레이나 빔프로젝터에서 찾아볼 수 있다. 디스플레이나 빔 프로젝터 내부에는 원하는 이미지나 모양 등을 화소 단위로 만들어낼 수 있는 광 패턴 조명 장치인 공간 광 변조기*가 사용되고 있다. 이외에도 광 패턴 조명 기술은 최근 주목받는 가상 현실 기술 분야의 핵심 요소 기술인 3차원 디스플레이 기술에도 사용되며, 산업 분야에서는 금속 가공, 연구 분야에서는 뇌 심부 이미징을 위한 레이저 스캐닝 현미경 등에 사용되고 있다.
*공간 광 변조기: 빛을 화소 단위로 조작하여 원하는 이미지나 모양을 만들어내는 장치로, 빔 프로젝터나 3차원 디스플레이 기술 등에 사용되는 장치
하지만 공간 광 변조기는 조명 패턴의 전환을 고속으로 수행하는 데 큰 한계를 겪고 있었다. 현재 시판되는 공간 광 변조기는 액정형 디스플레이 장치나 디지털 미러 장치가 있지만, 통상적인 전환 속도는 50마이크로초에서 10밀리초 수준으로 제한되며, 원리적으로 이보다 더 빠르게 만드는 데에는 기술적 어려움이 있었다.
연구팀은 공간 자유도-시간 자유도 사이의 치환 개념을 개발하고, 이를 독자 개발한 초고속 1차원 광 변조기와 산란 매질*을 결합하여 구현하는 방식으로, 시판되는 공간 광 변조기보다 약 1,500배 빠른 30나노초의 전환 속도를 갖는 세계 최고 속도의 3차원의 조명(디스플레이) 기술을 개발했다.
*산란 매질: 안개나 물방울 맺힌 유리창처럼 빛을 무질서하게 굴절시키는 물질
연구팀은 빛의 전파를 교란하는 산란 매질의 특성을 역이용해 1차원의 광 패턴을 사용자가 원하는 3차원의 패턴으로 변환하기 위해 복잡 광 파면 조작 기술을 핵심 기술로 활용했다.
연구팀이 개발한 세계 최고 속도의 광 패턴 조명 기술은 특정 각도에서만 볼 수 있는 기존의 2차원 유사 홀로그램과 달리 실제로 3차원 공간상에 광 정보를 재구성해 입체 영상을 만드는 기술로 활용될 수 있다. 그뿐만 아니라 광유전학 기술에 기반한 뇌 신경 조절 기술과 같은 생체 조절 기술의 고속화·대규모화나 금속 3D 프린터 등의 광 가공 생산 효율 향상 등, 다양한 분야에서 응용될 전망이다.
*광유전학 기술: 빛을 이용해 살아있는 생물 조직의 세포를 제어하는 기술
해당 연구 결과는 바이오및뇌공학과 송국호 박사과정이 공저자, 장무석 교수가 교신저자로 참여했으며 국제 학술지 `네이처 커뮤니케이션즈(Nature Communications)' 2024년 4월 8일 온라인판에 게재되었다. (논문명 : Large-volume focus control at 10 MHz refresh rate via fast line-scanning amplitude-encoded scattering-assisted holography)
이번 연구는 과학기술정보통신부 한국연구재단이 주관하는 선도연구센터사업(컬러변조 초감각 인지기술 선도연구센터), 우수신진연구자 사업, 삼성미래기술육성사업, 국토교통부 국토교통과학기술진흥원이 주관하는 차세대 대인 보안검색 기술 개발 사업의 지원을 받아 수행됐다.
2024.04.15 조회수 10896 -
똑똑한 영상 복원 인공지능 기술 개발
딥러닝 기술은 영상 복원 속도가 기존 알고리즘 대비 수백 배 이상 빠를 뿐만 아니라 복원 정확도 역시 높다. 하지만, 주어진 학습 데이터에만 의존하는 딥러닝 기술은 영상 취득 환경상에 변화가 생기면 성능이 급격히 저하되는 치명적인 약점이 있다. 이는 알파고와 이세돌 九단과의 대국 시 `신의 한 수'에 의해 알파고의 성능이 급격하게 저하되었던 사례를 떠올리면 쉽게 이해할 수 있다. 즉, 인공지능이 학습하지 못했던 변수(학습 데이터상에 존재하지 않는 수)가 발생할 때 신뢰도가 급격히 낮아지는 인공지능 기술의 근본적인 문제이기도 하다.
우리 대학 바이오및뇌공학과 장무석 교수 연구팀과 김재철AI 대학원 예종철 교수 연구팀이 공동 연구를 통해 인공 지능의 신뢰도 문제를 해결할 수 있는 물리적 학습 기반의 영상 복원 딥러닝 기술을 개발했다고 6일 밝혔다.
연구팀은 영상 취득 환경에서 발생할 수 있는 변수 대부분이 물리적 법칙을 통해 수학적으로 기술 가능하다는 점에 착안해 물리적 법칙과 심층 신경망이 통합된 학습 기법을 제시했다.
모든 영상 기술은 물리적인 영상 기기를 통해 영상 정보를 취득한다. 연구팀은 이 정보 취득 과정에 대한 물리적인 통찰력을 인공지능에 학습시키는 방법을 개발했다. 예를 들면, `네가 도출한 복원 결과가 물리적으로 합당할까?' 혹은 `이 영상 기기는 물리적으로 이런 변수가 생길 수 있을 것 같은데?'라는 식의 질문을 통해 물리적 통찰력을 인공지능에 이식하는 방법을 제시한 것이다.
연구팀은 변화하는 영상 취득 환경에서도 신뢰도 높은 홀로그래피 영상* 을 복원하는데 성공했다. 홀로그래피 영상 기술은 의료 영상, 군용 감시, 자율 주행용 영상 등 다양한 정밀 영상 기술에 다양하게 활용될 수 있는데, 이번 연구는 의료 진단 분야의 활용성을 집중적으로 검증하였다.
*홀로그래피 영상: 물체의 그림자 패턴(회절 패턴)으로부터 물체의 형태를 복원하는 영상 기법, 일반적인 영상 기술과 달리 위상 변화에 의한 물체의 미세 구조를 감지할 수 있는 영상 기술
연구팀은 먼저 3차원 공간상에서 매우 빠르게 움직이는 적혈구의 회절 영상(확산된 그림자형상)으로부터 적혈구의 형태를 실시간으로 복원하는데 성공했다. 이러한 동적인 영상 환경에서 예상치 못한 변수로는 여러 개의 적혈구 덩어리가 복잡하게 겹쳐진다거나 적혈구가 예상하지 못했던 위치로 흘러가는 경우를 생각해 볼 수 있다. 여기서, 연구팀은 인공 지능이 생성한 영상이 합당한 결과인지 빛 전파 이론을 통해 검산하는 방식으로 물리적으로 유효한 복원 신뢰도를 구현하는데 성공하였다.
연구팀은 암 진단의 표준기술로 자리잡고 있는 생검 조직(생체에서 조직 일부를 메스나 바늘로 채취하는 것)의 영상 복원에도 성공했다. 주목할 점은 특정한 카메라 위치에서 측정된 회절 영상만을 학습했음에도 인공지능의 인지능력이 부가되어 다양한 카메라 위치에서도 물체를 인식하는데 성공했다는 점이다. 이번에 구현된 기술은 세포 염색 과정이나 수 천 만원에 달하는 현미경이 필요하지 않아 생검 조직 검사의 속도와 비용을 크게 개선할 수 있을 것으로 기대된다.
물리적 통찰력을 인공 지능에 이식하는 영상 복원 기술은 의료 진단 분야 뿐만 아니라 광범위한 영상 기술에 활용될 것으로 기대된다. 최근 영상 기술 산업계 (모바일 기기 카메라, 의료 진단용 MRI, CT, 광 기반 반도체 공정 불량 검출 등) 에선 인공지능 솔루션 탑재가 활발히 이루어지고 있다. 영상 취득에 사용되는 센서, 물체의 밝기, 물체까지의 거리와 같은 영상 취득 환경은 사용자마다 다를 수밖에 없어 적응 능력을 갖춘 인공 지능 솔루션에 대한 수요가 큰 상황이다. 현재 대부분의 인공 지능 기술은 적응 능력 부재로 신뢰도가 낮은 문제 때문에 실제 현장에서 활용성이 제한적인 상황이다.
바이오및뇌공학과 이찬석 연구원은 "데이터와 물리 법칙을 동시에 학습하는 적응형 인공지능 기술은 홀로그래피 영상뿐만 아니라 초고해상도 영상, 3차원 영상, 비시선 영상(장애물 뒷면을 보는 영상) 등 다양한 계산 영상 기술에 적용될 수 있을 것으로 기대된다ˮ고 밝혔다.
연구진은 "이번 연구를 통해 인공지능 학습에 있어서 학습 데이터에 대한 강한 의존성(신뢰도 문제)을 물리적 법칙을 결합해 해소했을 뿐만 아니라, 이미지 복원에 있어 매게 변수화된 전방 모델을 기반으로 했기 때문에 신뢰도와 적응성이 크게 향상됐다ˮ며, 이어 "이번 연구에서는 데이터의 다양한 특성 중에서 수학적 혹은 물리적으로 정확히 다룰 수 있는 측면에 집중했고, 향후 무작위적인 잡음이나 데이터의 형태에 대해서도 제약받지 않는 범용 복원 알고리즘을 개발하는 데 주력할 것이다ˮ라고 밝혔다.
바이오및뇌공학과 이찬석 박사과정이 제1 저자로 참여한 이번 연구는 국제 학술지 `네이처 머신 인텔리전스(Nature Machine Intelligence)'에 지난 1월 17일 字 출판됐다. (논문명: Deep learning based on parameterized physical forward model for adaptive holographic imaging with unpaired data)
한편 이번 연구는 삼성미래기술육성사업과 선도연구센터사업의 지원을 받아 수행됐다.
2023.02.06 조회수 10822 -
초음파를 내비게이션으로 사용하는 광학현미경 개발
생체 내부를 꿰뚫어볼 수 있는 새로운 현미경이 나왔다. 바이오 및 뇌공학과 장무석 교수 연구팀이 기초과학연구원 분자 분광학 및 동력학 연구단 최원식 부연구단장 연구팀과의 공동 연구를 통해 초음파를 이용해 기존 현미경으로 볼 수 없었던 생체 내부의 미세구조를 관찰하는 기법을 개발했다.
연구결과는 국제학술지 네이처 커뮤니케이션즈(Nature Communications)2월 5일자 온라인 판에 게재됐다.
사람의 눈은 250㎜ 떨어진 거리에 70㎜의 간격을 두고 놓인 물체를 구분할 수 있다. 이보다 작은 미세구조를 관찰하기 위해서는 광학현미경이 필요하다. 광학현미경은 눈으로 볼 수 없는 작은 미세구조를 확대해서 보여준다. 하지만 생체조직을 관찰할 때는 이야기가 달라진다.
빛이 생체 조직을 투과할 때 직진광과 산란광이라는 두 종류의 빛이 생겨난다. 직진광은 말 그대로 생체 조직의 영향 없이 직진하는 빛이며, 산란광은 생체 조직 내 세포나 세포 내 구조의 영향에 의해 진행 방향이 무작위로 굴절된 빛이다. 광학 현미경으로 생체 조직 깊은 곳을 관찰하려면 직진광에 비해 산란광이 강해져 이미지 정보가 흐려진다는 치명적인 단점이 있다. 안개 속을 볼 수 없듯, 생체 조직의 수많은 세포와 구조들이 빛을 산란시켜 이미지를 흐리게 만들기 때문이다. 반면, 초음파 영상은 태아를 감별할 수 있을 정도로 생체 내부 깊은 곳까지 이미징할 수 있지만, 해상도가 낮아 미세한 구조를 볼 수 없다는 단점이 있다.
연구진은 광학 현미경과 초음파 영상의 장점을 결합하여, 생체 내부 깊은 곳을 높은 해상도로 관찰할 수 있는 초음파 결합 광학 현미경을 개발했다. 초음파 결합 현미경은 생체 조직 내부를 잘 침투하는 초음파를 집속시킨 후, 초음파의 초점을 지나는 빛만 측정하는 방식으로 산란광의 세기를 크게 감쇄시킬 수 있다. 초음파가 광학현미경에게 관찰 경로를 알려주는 일종의 내비게이션 역할을 하는 셈이다.
초음파는 생체 조직을 응축, 팽창시켜 굴절률을 변조하는 방식으로 빛의 진행에 영향을 준다. 연구진은 이런 초음파의 특성을 응용해 초음파의 초점을 통과하는 빛만을 선택적으로 측정하는 기술을 개발하고, 이 기술을 공간 게이팅(space-gating)이라 명명했다. 초음파는 생체 내부의 ‘빛 거름망’ 역할을 하며 무작위로 산란되던 빛을 차폐한다. 공간 게이팅 기술을 통해 연구진은 산란광을 100배 이상 감쇄시키며 생체 조직 내에서 광학 이미지가 흐려지는 문제를 극복할 수 있었다.
장무석 교수는 “촘촘한 거름망을 사용하면 더 고운 가루만 남는 것처럼 초음파의 초점을 작게 할수록 산란광을 더 많이 감쇄시킬 수 있다”며 “향후 산란광을 1000~1만 배 수준까지 감쇄시켜 더 선명한 이미지를 얻게 될 것으로 기대한다”고 말했다.
연구진은 개발한 현미경을 이용해 별도의 형광 표지 없이 부화한지 30일 된 성체 제브라피시의 척추 안쪽 근육 조직 이미지를 얻는데 성공했다. 기존 기술은 제브라피시의 장기, 척추 등 내부 구조에서 산란 현상이 일어나 절단을 통해서만 내부 근육 결을 관찰할 수 있었다. 이와 달리 개발된 현미경은 자연 상태 그대로 살아있는 제브라피쉬 내부 조직을 꿰뚫어볼 수 있다.
연구진은 인체 조직에도 사용할 수 있는 공간 게이팅 기술을 구현해나갈 계획이다. 향후 현미경을 소형화하고 이미징 속도를 증가시키면, 실시간 질병 진단에도 응용할 수 있을 것으로 기대된다. 이번 연구를 이끈 최원식 부연구단장은 “초음파 결합 광학 현미경은 기존 광학 현미경의 얕은 이미징 깊이 문제를 해결하는 획기적인 기술”이라며 “공간 게이팅 기술을 더욱 발전시켜 빛의 산란 현상을 이해하고, 의생명 광학 기술 분야 활용 범위를 넓혀나갈 것”이라고 말했다.
2020.02.21 조회수 17543