%ec%83%9d%ec%84%b1%20%41%49
-
‘쥬라기 공원’ 공룡이 실제 걸어오는 듯한 소리 자동 구현 AI 기술 개발
영화 ‘쥬라기 공원’에서 거대한 공룡이 걸어오는 장면을 보면 사람들은 자연스럽게 땅이 울리는 듯한 묵직한 저주파음을 떠올린다. 이는 인간이 단순히 사물의 형태뿐 아니라 크기와 무게, 움직임의 속도 같은 물리적 특성까지 함께 고려해 소리를 예측하기 때문이다. 하지만 기존 영상-음향 생성 AI는 화면 속 사물의 형태나 장면 정보에 주로 의존해 소리를 생성해, 무게나 속도에 따라 달라지는 물리적 특성까지는 충분히 반영하지 못했다.
우리 대학은 전산학부 오태현 교수 연구팀이 POSTECH(총장 김성근), 소니 AI(Sony AI) 공동 연구진과 함께 영상 속 물리적 상황을 이해해 보다 현실감 있는 소리를 생성하는 인공지능(AI) 기술 ‘파바스(PAVAS·Physics-Aware Video-to-Audio Synthesis)’를 개발했다고 26일 밝혔다.
이번 기술의 핵심은 영상 속 물체의 질량과 속도 등 눈에 보이지 않는 물리 정보를 AI가 스스로 추론하도록 설계됐다는 점이다. 일반적인 영상에는 물체의 정확한 무게나 속도가 숫자로 제시되지 않지만, 연구팀은 AI가 주변 환경과 움직임의 맥락을 분석해 이를 추정하고, 그 결과를 소리 생성 과정에 반영하도록 했다.
즉, 단순히 ‘무엇이 보이는지’를 인식하는 수준을 넘어, ‘왜 이런 소리가 발생해야 하는지’에 대한 물리적 원인까지 AI가 이해하도록 만든 것이다.
기술 검증 결과, 연구팀의 AI는 물체 간 충돌이나 타격 등 물리적 상호작용이 발생하는 장면에서 실제 환경과 매우 유사한 소리를 생성했다. 특히 물체의 질량과 속도가 달라질 때 소리의 크기와 음색도 자연스럽게 변화하는 등 보다 현실감 있는 음향을 구현했다.
최근에는 영상과 오디오를 동시에 생성하는 생성형 AI 기술이 빠르게 발전하고 있다. 대표적으로 구글의 ‘비오(Veo) 3’, 바이트댄스의 ‘시댄스(Seedance) 2.0’ 등이 있다. 그러나 실제 영화·광고·게임 제작 현장에서는 새로운 영상을 생성하는 것보다 기존 영상에 장면에 맞는 효과음을 추가하거나 음향을 보완하는 후반 작업 수요가 훨씬 크다.
기존 상용 AI 모델들이 영상과 오디오를 함께 생성하는 데 집중했다면, 파바스는 영상 속 객체의 움직임과 충돌 특성을 분석해 장면과 정밀하게 맞아떨어지는 현실적인 효과음을 생성한다는 점에서 차별성을 가진다.
연구팀은 이번 기술이 ‘물리적으로 일관된 생성 AI(Physical AI)’ 분야의 새로운 가능성을 제시했다고 설명했다. 물리적으로 일관된 생성 AI는 단순히 그럴듯한 결과를 만드는 수준을 넘어, 현실 세계의 물리 법칙과 인과관계까지 이해하는 AI를 의미한다.
향후 이 기술은 콘텐츠 음향 제작 자동화는 물론, 증강현실(AR)·가상현실(VR) 콘텐츠, 메타버스, 로보틱스 시뮬레이션 등 다양한 분야에서 더욱 몰입감 있는 사용자 경험을 제공할 수 있을 것으로 기대된다.
오태현 교수는 “기존 생성 AI가 데이터와 모델 규모를 키우는 방식으로 발전해 왔다면, 이번 연구는 AI가 물리량과 인과관계를 직접 이해하도록 설계했다는 점에서 의미가 있다”며 “향후 텍스트·영상·음성 등 다양한 정보를 동시에 이해하고 처리하는 차세대 멀티모달 AI의 핵심 기반 기술로 확장될 수 있을 것”이라고 말했다.
이번 연구에는 POSTECH 오현빈 통합과정 학생이 제1저자로 참여했으며, KAIST 오태현 교수와 소니 AI의 타키다 유타(Yuta Takida), 토시미츠 우에사카(Toshimitsu Uesaka), 미츠후지 유키(Yuki Mitsufuji) 연구원이 공동 저자로 참여했다. 이번 연구는 컴퓨터 비전(영상 기반 인공지능 기술) 분야 세계 최고 권위 학술대회인 ‘CVPR 2026(Computer Vision and Pattern Recognition 2026)’에서 전체 논문 중 상위 1% 이내만 선정되는 오랄(Oral) 발표 논문으로 채택돼 연구의 우수성을 인정받았다. 발표는 오는 6월 6일 진행될 예정이다.
※ 논문명 : PAVAS: Physics-Aware Video-to-Audio Synthesis, DOI: https://arxiv.org/abs/2512.08282
또한 이번 연구는 과학기술정보통신부 기초연구사업 중견연구, 미래창조과학부 미래유망융합기술 파이오니어사업, 과학기술정보통신부 AGI 사업, KAIST 이노코어(InnoCORE) 사업의 지원을 받아 수행됐다.
2026.05.27 조회수 4549 -
‘생성 AI와 헬스케어의 미래’ 워크숍 개최
우리 대학이 5일 오후 '생성AI와 헬스케어의 미래' 워크숍을 대전 본원에서 개최한다.
KAIST 디지털 바이오헬스 AI연구센터(센터장 예종철)의 개소를 기념하기 위해 마련된 이번 워크숍에서는 디지털 헬스케어 분야에서 활용되는 인공지능의 최신 연구 동향과 응용 사례가 공유된다.
'의료 데이터의 인공지능 활용' 세션에서는 콴젱 리(Quanzheng Li) 하버드의대 교수가 '의학 분야의 기초모델 : 대형 언어 모델과 대형 비전 모델'을 주제로 기조강연한다.
리 교수는 하버드 대학교 의과대학에서 진행되고 있는 대형 언어 모델* 및 대형 멀티모달리티 모델** 연구를 소개한다. 또한, 이러한 최첨단 기술들이 의료 데이터 해석과 활용 현장에 가져다준 혁신적인 변화를 임상 사례를 들어 설명한다. * 대형 언어 모델(Large Language Model, LLM): 방대한 텍스트 데이터로 훈련된 인공지능 모델 ** 대형 멀티모달 모델(Large Multi-modal Model, LMM): 텍스트와 함께 이미지, 소리, 비디오 등 다양한 유형의 데이터를 처리할 수 있는 인공지능 모델
김선 서울대학교 컴퓨터공학부 교수는 '바이오인포매틱스의 혁신' 세션에서 'AI 기술을 이용한 약물 반응 예측'을 주제로 기조강연한다.
인공지능 기반 약물 반응 예측 모델의 개발, 임상 데이터를 활용한 인공지능 알고리즘의 적용 사례, 환자 개인별 치료 계획 수립을 위한 인공지능의 역할 등을 조명하고 인공지능 기술이 약물 반응 예측에 미치는 영향과 잠재적 한계점을 토론한다.
산업계에는 나군호 네이버 헬스케어 연구소장이 참석해 '디지털 헬스케어 2024: 인공지능 시대'를 주제로 기조강연한다.
나 소장은 챗GPT로 대표되는 생성적 인공지능 기술이 의료 데이터 분석, 신약 개발, 맞춤형 치료 계획 수립 등 다방면의 디지털 헬스케어에 적용되고 있는 연구 동향을 소개한다. 네이버에서 진행되는 의료 생성 인공지능 기반연구와 이 기술이 헬스케어 산업에 미치는 긍정적인 영향 및 잠재적 도전 과제들에 대해서도 논의한다.
또한, 기술 교류와 네트워킹의 장도 함께 마련돼 참가자들이 디지털 바이오 헬스 분야에 적용되는 인공지능의 미래에 대해 논의하고 아이디어를 교환하는 기회를 제공한다.
예종철 KAIST 디지털 바이오헬스 AI 연구센터장은 "이번 워크숍은 KAIST가 추진하는 생성 인공지능 기반 의료 인공지능 연구를 산·학·연에 알리고 국내·외 연구진들과 협력해 센터를 이끌어갈 혁신적인 발전 방향을 모색하는 자리가 될 것"이라고 말했다.한편, KAIST 디지털 바이오헬스 AI 연구센터는 바이오의료 분야의 생성형 인공지능 원천모델 구축을 위해 2023년 12월 개소했다. 바이오의료 영상 및 신호, 임상기록, 유전체 및 오믹스, 약물 상호작용, 웨어러블 기반 라이프 로그 등이 중점 연구 분야다. 전문가 연합(mixture-of-expert:MOE) 형태로 최적의 추론을 할 수 있는 일반화된 인공지능(General AI) 플랫폼에 관한 원천 기술을 개발 및 바이오 의료 생성 AI 분야의 세계적인 선두그룹을 양성을 목표로 국내·외 기관과 네트워크를 구축해 협력하고 있다.
2024.02.05 조회수 12498