%ec%a3%bc%ec%9e%ac%ea%b1%b8
-
다크나잇 속 조커가 ‘내가 되는’ 기술 개발
만약 영화 다크나잇을 보면서 화면 속 조커를 바라보는 것이 아니라, 내가 조커가 되어 고담시를 직접 바라본다면 어떨까. 관객의 시선이 아닌 등장인물의 눈으로 세상을 경험하는 영상 기술이 현실이 되고 있다. 우리 대학 연구진이 일반 영상만으로도 사용자가 직접 보는 시점의 영상을 생성하는 새로운 인공지능 모델을 개발했다.
으리 대학은 김재철AI대학원 주재걸 석좌교수 연구팀이 관찰자 시점의 영상만을 활용해 영상 속 인물이 실제로 보고 있었을 장면을 정밀하게 생성하는 인공지능 모델 ‘에고엑스(EgoX)’를 개발했다고 23일 밝혔다.
최근 증강현실(AR), 가상현실(VR), AI 로봇 기술이 빠르게 발전하면서 ‘내가 직접 보는 장면’을 그대로 담은 1인칭 시점 영상(Egocentric video)의 중요성이 커지고 있다. 그러나 고품질의 1인칭 영상을 얻기 위해서는 사용자가 고가의 액션캠이나 스마트 글래스를 직접 착용해야 하는 한계가 있었다. 또한 이미 촬영된 일반 영상(제3자 시점, Exocentric video)을 1인칭 시점으로 자연스럽게 변환하는 데에도 기술적 제약이 존재했다.
이번 기술은 단순히 화면을 회전시키는 수준을 넘어, 인물의 위치와 자세, 주변 공간의 3차원(3D) 구조를 종합적으로 이해한 뒤 이를 기반으로 1인칭 시점 영상을 재구성한다는 점이 특징이다.
기존 기술은 정지 이미지만 변환하거나 4대 이상의 카메라 영상이 필요한 경우가 많았다. 또한 빛의 방향이나 움직임이 복잡한 동영상에서는 화면이 어색해지는 문제가 있었다.
반면 EgoX는 단 하나의 3인칭 시점 영상만으로도 고품질의 1인칭 영상을 생성할 수 있다. 연구팀은 특히 인물의 머리 움직임과 실제 시야 사이의 상관관계를 정밀하게 모델링함으로써, 고개를 돌릴 때 시야가 자연스럽게 전환되는 모습까지 사실적으로 구현하는 데 성공했다.
이 기술은 특정 환경에 국한되지 않고 요리, 운동, 작업 등 다양한 일상 상황에서도 안정적인 성능을 보였다. 이를 통해 별도의 웨어러블 장치를 착용하지 않고도 기존에 축적된 영상으로부터 고품질의 1인칭 시점 데이터를 확보할 수 있는 새로운 가능성을 열었다는 평가를 받고 있다.
EgoX는 향후 다양한 산업 분야에 상당한 파급력을 미칠 것으로 기대된다. AR·VR 및 메타버스 분야에서는 일반 영상을 사용자가 직접 체험하는 듯한 몰입형 콘텐츠로 전환해 사용자 경험을 극대화할 수 있다.
또한 로봇이 사람의 행동을 보고 학습하는 모방 학습(Imitation Learning)의 핵심 데이터로 활용될 수 있어 로봇과 AI 학습 분야에도 기여할 것으로 전망된다. 스포츠 중계나 브이로그를 선수나 주인공의 시점으로 전환하는 등 새로운 형태의 영상 서비스도 가능해질 것으로 기대된다.
주재걸 석좌교수는 “이번 연구는 단순한 영상 변환 기술을 넘어, 인공지능이 사람의 ‘시야’와 ‘공간 이해’를 학습해 재구성했다는 점에서 의미가 크다”며 “앞으로는 기존에 촬영된 영상만으로도 누구나 몰입형 콘텐츠를 제작하고 경험할 수 있는 환경이 열릴 것으로 기대한다”고 말했다. 이어 “KAIST는 생성형 AI 기반 비디오 기술 분야에서 세계적 경쟁력을 확보해 나갈 것”이라고 덧붙였다.
이번 연구는 강태웅, 김기남 KAIST 박사과정, 김도현 서울대 학부연구생이 제 1저자로 참여했으며, 논문은 2025년 12월 9일 arXiv에 선공개되어 미국 NVIDIA 및 Meta 등의 빅테크들을 비롯한 AI 산업 및 학계의 큰 주목을 받았으며, 2026년 6월 3일 미국 콜로라도에서 열리는 국제 학술대회인 The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에 공식 발표될 예정이다.
※ 논문명: EgoX: Egocentric Video Generation from a Single Exocentric Video, 논문링크: https://keh0t0.github.io/EgoX/
※ 저자: 강태웅(제1저자, KAIST), 김기남(제1저자, KAIST), 김도현 (제1저자, 서울대학교), 박민호 (공동저자, KAIST), 형준하 (공동저자, KAIST), 주재걸(교신저자, KAIST)
한편, 이번 연구는 과학기술정보통신부 재원으로 한국연구재단의 지원을 받은 개인기초연구사업 ‘생성형 인공지능 기술을 통한 사용자 중심 콘텐츠 생성 및 편집 기술 연구’ 과제와, 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 R&D 혁신 지원 사업 ‘디퓨전 모델 기반 비디오 촬영 시점 변환 연구’ 과제의 지원을 받아 수행됐다.
2026.02.23 조회수 580 -
김준모·주재걸 교수, 한국인공지능학회 학술상·학회공로상 수상
우리 대학 유창동 전기및전자공학부 교수가 회장을 맡은 한국인공지능학회 지난 11일 2022 송년회를 개최하고 인공지능의 학술적 발전에 기여한 기업과 연구자에게 시상했다.
최근 5년 간 영향력이 큰 논문을 쓴 연구자에게 주는 학술상은 김준모 KAIST 전기및전자공학부 교수, 주재걸 KAIST 김재철AI대학원 교수에게 수여됐다. 서민준 KAIST 김재철AI대학원 교수는 신진연구자상을 받았다. 또한, 인공지능 및 학회 발전에 세운 공로로 김광수·장동의 KAIST 전기및전자공학부 교수, 석흥일 고려대 인공지능학과 교수, 백승렬 유니스트 AI 대학원 교수, 주재걸 KAIST 김재철AI대학원 교수에게 학회공로상이 부상과 함께 주어졌다.
이번 시상식에서는 학술분야의 높은 성과와 함께 인공지능 개발과 응용에 앞장서 국내·외 협력 사업을 활성화고 학회와의 협력을 위해서 노력한 기업인들의 공로도 치하돼 배경훈 LG AI 연구원장, 하정우 네이버 AI 연구소장, 배순민 KT AI2XL 소장에게 기업인상이 주여졌다.
배경훈 원장은 LG AI 연구원의 초대원장으로 LG 그룹의 인공지능 연구를 발전에 일조하고 최근에는 인력양성과 초거대 AI에 큰 힘을 쏟고 있다.
하정우 네이버 AI 연구소장은 네이버의 인공지능 연구를 세계적 수준으로 올리는데 크게 기여하고 있으며, 최근에는 NeurIPS 2022 의 Social Chair와 디지털플랫폼정부위원회 데이터-인공지능 분과 위원장을 역임하고 있다.
배순민 소장은 디지털플랫폼정부위원회 데이터-인공지능 분과에 참여하고 있으며, KT내 인공지능 연구와 국제협력 사업에 큰 힘을 기울이고 있다.
유창동 회장은 “2022년 한국인공지능 발전을 이끌어주신 모든 수상자들에게 축하와 감사의 인사를 전하며, 2023년에는 더 크게 도약하는 한 해가 되길 기원한다”라고 전했다.
2022.12.19 조회수 11250