%EC%9C%A4%EA%B5%AD%EC%A7%84
-
윤국진 교수 연구팀, ECCV 2024에 논문 12편 채택
우리 대학 기계공학과 윤국진 교수 연구팀의 논문 12편이 세계 최고 권위 컴퓨터비전 국제학술대회 중 하나인 ECCV 2024 (European Conference on Computer Vision)에 채택되어, 컴퓨터 비전 분야 세계 최고의 연구 역량을 다시 한번 인정받았다. CVPR, ICCV와 함께 컴퓨터 비전 분야 뿐 아니라 전체 인공지능 분야에서도 세계 최고 권위 학술대회로 꼽히는 ECCV는 1990년부터 격년으로 개최되는 학술대회로, Google Scholar 기준 H5-색인 206을 기록하고 있으며, 공학 및 컴퓨터과학 (Engineering & Computer Science）전분야에서 최고 수준의 국제 학술대회 중 하나이다. 이번 ECCV 2024에는 총 8,585개의 논문들이 제출되었고 그 중 2,395개의 논문이 채택되어 약 27.9%의 낮은 채택률을 기록하였다. 단일 연구실에서 12편의 논문이 채택된 것은 극히 이례적인 경우다.
윤국진 교수 연구팀의 논문 12편은 학습 기반의 시각 지능 구현을 연구 논문들로, 가상 시점 합성, 약지도 의미론적 분할, 비디오 품질 개선, 3차원 의미론적 분할, 3차원 객체 인식, 점구름 완성, 이벤트 카메라 기반 낮과 밤 상태 전이, 이벤트 카메라 기반 스테레오 정합, 적대적 공격과 같은 컴퓨터비전 분야의 핵심 주제들에 대한 논문들이다. 특히, 양훈민 박사과정과 정종오 박사과정의 논문 “Prompt-Driven Contrastive Learning for Transferable Adversarial Attacks”은 전체 논문 중 상위 2.3%에 해당하는 구두 발표 논문으로 선정됐다.
앞서 윤국진 교수 연구팀은 올해 6월 개최된 CVPR 2024에도 9편의 논문을 발표한 바 있는데, 이번 ECCV 2024에도 12편의 논문을 발표하게 되어, 컴퓨터 비전 분야에서 세계 최고의 연구 역량을 가진 연구실로 인정받고 있다. 연구팀은 지속적으로 컴퓨터 비전 분야에서 좋은 연구 성과를 달성하고 있기에 앞으로도 도전적인 연구를 계속해 나가며 연구를 진행하겠다는 포부를 밝혔다. ECCV 2024는 2024년 9월 29일부터 10월 4일까지 이탈리아 밀라노의 Mico Milano에서 개최될 예정이다.
2024.08.29 조회수 2337 -
기계공학과 윤국진 교수 연구팀, CVPR 2024에 9편 논문 발표하며 세계적 성과 달성
우리 대학 기계공학과 윤국진 교수 연구팀이 컴퓨터비전 및 패턴인식 국제학술대회인 CVPR 2024(IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024)에서 구두 발표 논문 1편과 하이라이트 논문 1편을 비롯한 9편의 논문을 발표하여, 컴퓨터비전 분야에서 세계적인 연구 성과를 인정받았다.
1983년부터 개최된 CVPR 학술대회는 매년 열리는 컴퓨터비전과 패턴인식 분야의 최고 권위의 학술 대회로, 구글 Scholar에 따르면 CVPR은 H5-색인 422를 기록하여 공학 및 컴퓨터과학 (Engineering & Computer Science) 전분야에서 1위를 차지한 학술대회이다.
CVPR 2024는 지난 2024년 6월 17일부터 21일까지 미국 시애틀 컨벤션 센터에서 개최되었는데, 올해는 11,532편의 논문이 제출되었고, 그 중 총 2,719편의 논문이 채택되어 23.6%의 채택율을 기록하였다. 특히, 324편의 논문은 하이라이트 논문으로 선정되어 2.81%의 채택율을 기록하였고, 90편의 논문은 구두 발표 논문으로 선정되어 0.78%의 채택율을 기록할 정도로 낮은 채택율을 기록하였다.
윤국진 교수 연구팀은 컴퓨터비전 분야 중에서도 특히 3차원 객체인식, 인체 자세 예측, 비디오 품질 개선, 다중 작업 최적화, 에이전트 경로 예측, 약지도 의미론적 분할 등 최근 많은 주목을 받고 있는 주제에 대해 9편의 논문을 발표하여 학계는 물론 산업계의 주목을 받았다.
특히, 발표된 논문들 중 권혁준 박사과정의 논문은 전체 논문 중 상위 0.78%에 해당하는 구두 발표 논문으로 선정되었으며, 정재우 박사과정과 박대희 박사과정의 논문은전체 논문 중 상위 2.81%에 해당하는 하이라이트 논문 선정되어, 윤국진 교수 연구팀의 연구가 컴퓨터비전 분야에서 매우 높은 학문적 가치를 지닌 것으로 평가받았음을 보여주었다. 또한 윤국진 교수 연구팀의 이번 성과는 단일 연구실에서 다수의 논문이 동일 학회에 채택되는 것이 매우 드문 일임을 고려할 때 더욱 의미있는 성과로 주목 받았다.
윤국진 교수 연구팀의 뛰어난 연구 성과는 인공지능과 컴퓨터비전 분야에서 향후 유사한 연구 분야에서의 새로운 기술 개발과 학문적 발전에 큰 기여를 할 것으로 기대된다. 윤국진 교수 연구팀은 이번 성과를 발판 삼아 앞으로도 컴퓨터 비전의 다양한 연구 주제들을 다뤄가며, 학계에 잔존하는 문제들을 해결하고자 한다.
2024.07.04 조회수 2040 -
세계 최고 수준의 이벤트 카메라 기반 비디오 보간 기술 개발
비디오 보간은 비디오 사이의 새로운 프레임을 생성하여 프레임률을 높이고 비디오 내 부드러운 모션을 구현하는 기술이다. 전 세계적으로 많은 연구진이 RGB 카메라만을 사용하여 비디오 보간을 수행하였다. 하지만, 프레임 사이의 움직임 정보의 부재로 인하여 복잡한 상황에서 비디오 보간 성능의 한계를 지닌다. 특히, 현실적인 상황에서 발생하는 비선형적인 움직임에 대해서는 비디오 보간 성능이 크게 하락하는 문제점이 존재한다.
우리 대학 기계공학과 윤국진 교수팀은 인간의 시신경을 모방한 이벤트 카메라와 RGB 카메라를 동시에 사용할 수 있는 하이브리드 카메라 시스템을 구축하고 세계 최고 수준의 이벤트 카메라 기반 초고속 비디오 보간 기술을 개발했다. 본 연구는 기존의 비디오 보간 방법 대비 35% 이상의 세계 최고 성능을 달성하였고, 복잡하고 극심한 움직임 속에서도 높은 성능으로 30FPS 비디오를 10000FPS 이상의 초고속 비디오로 합성할 수 있다.
이벤트 카메라는 인간의 시신경을 모방한 카메라로서, 영상의 밝기 변화만을 감지한다. 이러한 특성으로 인하여 이벤트 카메라는 micro 초 단위의 시간 해상도와 높은 dynamic range의 정보를 제공하여 기존의 RGB 카메라가 가지지 못하는 장점을 가지고 있다. 따라서, 이벤트 카메라는 RGB video 프레임 사이의 정확한 움직임 정보를 포착할 수 있어 일반 RGB 카메라와 이벤트 카메라를 동시적으로 사용하면 정확도 높은 초고속 비디오를 생성할 수 있다.
기존의 이벤트 카메라 기반 비디오 보간 연구는 이벤트 카메라에서 나오는 이벤트 정보만을 사용하여 프레임 사이의 광학 흐름을 추정하거나 프레임 사이의 움직임을 근사하는 방법을 사용하였다. 하지만, 이벤트 정보는 공간적으로 희박하고 밝기 정보만을 기록하기 때문에 이벤트만을 사용한 광학 흐름 추정 방법의 결과가 좋지 못한 점을 연구팀은 주목했다. 이를 극복하기 위해 연구팀은 기존의 RGB 이미지와 이벤트 정보를 동시적으로 사용하는 이미지-이벤트 비대칭 양방향 움직임 추정 기법을 제안하였다. 이벤트는 풍부한 움직임의 궤적정보를 제공하는 장점과 이미지의 풍부한 시각 정보의 각 장점을 잘 융합하여 서로 다른 정보의 장단점을 보완 및 융합한 광학 흐름 추정 방법을 제안하여 그 우수성을 입증하였다.
또한, 설계 및 제작한 빔 스플리터 기반 이벤트-RGB 하이브리드 카메라 시스템을 사용하여 이벤트 카메라를 이용한 모션-기반 비디오 보간 기술 데이터셋을 구축하였다. 기존의 이벤트 카메라를 이용한 비디오 보간 데이터셋의 경우, 카메라 움직임이 존재하지 않는 문제와 낮은 프레임 레이트/해상도로 인하여 딥러닝 알고리즘의 학습 및 이벤트 카메라 기반 비디오 보간 기술 개발 및 평가에 한계점을 지닌다. 제안된 데이터셋의 경우 이벤트 카메라 기반 비디오 향상 연구 커뮤니티에 큰 기여를 할 수 있을 것으로 예상된다.
이번 연구는 고품질의 높은 프레임률을 가지는 비디오 생성이 가능하여, 기존의 초고속 카메라로 비디오 촬영이 어려운 광량이 부족한 환경 및 아주 빠른 물체의 움직임을 분석이 필요한 여러 상황 등에서 널리 사용될 수 있을 것으로 기대된다.
이번 연구는 윤국진 교수 연구실의 김태우 박사과정(제1 저자), 채유정 박사과정(제2 저자), 장현걸 석사과정(제3 저자)이 참여하였고, 올해 캐나다 밴쿠버에서 6월 18일에 열릴 컴퓨터 비전 및 패턴인식 분야의 국제 저명학술지인 CVPR 2023(IEEE Conference on Computer Vision and Pattern Recognition)에 highlight 논문(2.5% acceptance rate)으로 게재될 예정이다.
이 연구는 중견 연구자개발 과제의 지원을 받아 수행되었다. 윤국진 교수 연구팀은 다년간 이벤트 카메라에 관련된 연구를 수행해오면서 이벤트 카메라를 이용한 여러 가지 컴퓨터 비전 분야에 핵심 연구 들을 수행하여 오고 있으며, 앞으로도 이벤트 카메라 연구 커뮤니티에 이바지하기 위하여 지속적인 연구를 수행할 예정이다.
※ 논문명 : Event-based Video Frame Interpolation with Cross-Modal Asymmetric Bidirectional Motion Fields
※ 저자 정보 : 윤국진 (KAIST, 교신저자), 김태우(KAIST, 제1 저자), 채유정(KAIST, 제2 저자), 장현걸(KAIST, 제3 저자) - 총 4명
2023.04.05 조회수 4634 -
초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발
우리 대학 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 GIST 최종현 교수 공동 연구팀과의 2건의 공동 연구를 통해 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다.
연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도/초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용하여 고화질 및 고해상도 영상을 생성할 수 있고, 특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있다고 밝혔다.
이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하기 때문에, 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.
하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다. 연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안하였다. 제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적하여 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식으로, 두 공동 연구에서 각각 교사 학습/비교사 학습 기반의 알고리즘을 제안하였는데, 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능하여 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.
윤국진 교수는 “본 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술로서, 기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고, 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다.”고 말했다.
Mohammad Mostafavi 박사과정(GIST)이 1저자로 참여한 공동 연구와 Wang Lin 박사과정(KAIST)이 1저자로 참여한 공동 연구 논문들은 오는 6월에 개최 예정인 컴퓨터 비전/기계학습 분야의 국제 학술대회인 ‘IEEE Conference on Computer Vision and Pattern Recognition (CVPR)에 각각 구술/포스터 논문으로 발표될 예정이다. (논문명: (1) Learning to Super Resolve Intensity Images from Events, 이벤트를 활용한 초고해상도 이미지 생성 학습법, (2) EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning, 적대적 신경망 학습을 통한 비동기적 이벤트의 이미지로의 재구성, 복원 및 초해상도 연구)
한편, 이번 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행됐다.
2020.05.12 조회수 11583