KAIST

< (왼쪽부터) 예종철 교수, 권태성 박사과정, 송국호 박사과정, 장무석 교수 >

물방울이 맺힌 유리창 밖을 보면 물체의 형체를 선명하게 알아볼 수 없는 것처럼, 카메라 센서에도 산란에 의해 뒤섞인 빛이 들어오면 흐린 영상이 촬영된다. 우리 연구진은 이러한 손상 영상을 시간의 연속성을 분석하여 선명하게 복원하는 AI 기술을 개발했다. 영상 촬영에선 산란 효과 뿐만 아니라 아지랑이와 같은 수차 효과, 야간에 발생하는 광자 잡음 효과 등 다양한 영상 손상 현상이 일어날 수 있는데, 이번에 개발된 기술은 이러한 다양한 손상 현상에 범용적으로 적용될 수 있어 향후 의료·방산·로봇 비전 분야에서 커다란 전환점을 마련할 것으로 기대된다. 

우리 대학 바이오및뇌공학과 장무석 교수와 김재철AI대학원 예종철 교수 공동 연구팀이 움직이는 산란 매질 너머의 숨겨진 영상을 복원할 수 있는 ‘비디오 디퓨전 기반 영상 복원 기술(시간축 정보 정합성을 활용해 흐릿하거나 손상된 영상을 디퓨전 모델로 되살리는 기술)’을 세계 최초로 개발했다고 31일 밝혔다.

< 그림 1. 광학 측정 구성도 및 손상 영상 복원 결과. 움직이는 대상체(object)가 동적으로 변화하는 산란 매질 뒤에 위치해 있으며, 이미징 시스템은 산란매질을 통과한 후 출력 면에서의 밝기(intensity)를 측정한다. 이처럼 산란된 측정값으로부터 선명한 영상을 복원하는 연구를 성공적으로 수행했다. >

이 기술은 안개 낀 도로에서 자동차 전조등을 켜도 시야가 흐릿하게 보이는 현상이나, 김 서린 욕실 유리창 너머의 모습이 왜곡되어 보이는 것처럼 빛이 흐트러지는 환경에서도 원래 영상을 선명하게 복원할 수 있게 한다. 

산란 매질은 빛의 경로를 무질서하게 섞어 시각 정보를 왜곡하는 물질로, 안개·연기·불투명 유리·피부 조직 등이 대표적이다. 이번에 개발된 기술은 기존에 보이지 않던 영역을 마치 ‘가려진 간유리 뒤를 들여다보듯’ 복원할 수 있게 해준다. 

이를 통해 혈액이나 피부 속을 들여다보는 비침습적 의료 진단, 화재 현장의 연기 속 인명 구조, 벽에서 반사된 빛으로 영상을 복원하는 비시선 영상, 안개 낀 도로에서의 안전 운전 보조, 불투명 유리나 플라스틱 내부의 산업 검사, 흐린 물속 시야 확보 등 일상과 산업 전반에 활용될 수 있는 길을 열었다. 

연구팀은 기존 인공지능 복원 기술이 훈련된 데이터 범위에서만 성능을 내는 한계를 극복하기 위해, 광학 모델과 비디오 디퓨전 모델을 결합한 새로운 복원 방식을 제안했다. 

특히 시간에 따라 산란 환경이 변하는 경우(예: 바람에 흔들리는 커튼 너머 풍경)에도 안정적으로 복원할 수 있도록 연속된 영상의 시간적 상관관계를 학습한 디퓨전 모델을 도입했다. 그 결과 다양한 거리·두께·잡음 조건에서도 기존 최고 성능의 복원 모델을 뛰어넘는 결과를 얻었다.

< 그림 2. 동적 산란매질의 세부 설명. 연구에 사용한 산란매질. 산란매질은 회전스테이지에 장착되어 동적 산란매질로 사용되었다. 광원을 조사한 산란매질 너머의 측정 PSF와 광학 모델로 재현한 가우시안 PSF이 일치함을 보였다. >

공동 연구팀은 디퓨전 기반 복원 기술 중 최초로 시간 상관관계를 반영해, 움직이는 산란 매질 너머에서 정자의 움직임 패턴을 관찰하는 데 성공함으로써 세계적으로 큰 학문적 의미를 남겼다. 또한, 별도의 추가 학습 없이도 안개 제거, 영상 화질 개선(고해상도 프레임 생성), 블라인드 디블러링(흐린 영상 선명화) 등 다양한 상황에서 적응적으로 영상을 복원할 수 있는 최적화 기법을 도입해, 범용 복원 프레임워크로 확장될 가능성을 입증했다.

< 그림 3. 비디오 디퓨전 모델을 활용한 정보 복원 프레임워크. 노이즈를 점진적으로 제거하며 데이터를 생성하는 과정에서 생성되는 데이터가 물리적 광학 모델을 통과했을 때, 실제 측정값과 같아지도록 업데이트한다. 이 과정을 통해 비디오 디퓨전 모델은 시간 일관성을 가진 데이터를 생성함과 동시에 데이터가 광학 모델을 통과했을 때 측정값과 일치하도록 유도된다. 광학 모델 뿐만 아니라 주어진 측정 세팅에 맞는 물리 모델들을 그대로 적용 가능하다. >

권태성 연구원은 “시간 상관관계를 학습한 디퓨전 모델이 움직이는 산란매질 너머 보이지 않는 데이터를 복원하는 광학 역문제 해결에 효과적임을 확인했다”면서, “앞으로는 안개 제거, 영상 화질 개선, 블라인드 디블러링 뿐만 아니라, 빛의 시간적 변화를 역추적해야 풀 수 있는 다양한 광학 역문제로 연구를 확장할 계획”이라고 밝혔다. 

이번 연구는 바이오및뇌공학과 권태성·송국호 박사과정이 공동 제1 저자로 참여했으며, 세계 최고 수준의 인공지능 학술지 IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI)에 8월 13일에 게재됐다.

※논문명: Video Diffusion Posterior Sampling for Seeing Beyond Dynamic Scattering Layers

※DOI: 10.1109/TPAMI.2025.3598457

이번 연구는 과학기술정보통신부, 한국연구재단의 우수신진 연구자 사업 및 뇌선도연구센터사업, 삼성미래기술육성사업, AI 스타펠로우십의 지원을 받아 수행됐다.