KAIST

< (왼쪽부터) 정상윤 박사과정(KAIST, MAD 및 DNA 연구 제1저자), 노용만 교수(KAIST, 교신 저자), 유영준 박사(KAIST, DNA연구 공동 제1저자) >

AI가 ‘안 들리는데 들린다’, ‘없는데 있다’고 우기는 시대가 끝난다. 우리 대학 연구진이 AI가 여러 감각 정보를 스스로 구분하고 존재하지 않는 정보를 만들어내는 ‘환각’을 줄이는 핵심 기술을 개발했다. 자율주행차와 로봇, 의료 AI 등 실제 산업 현장에서 더욱 신뢰할 수 있는 멀티모달 AI 구현의 기반이 될 것으로 기대된다.

우리 대학은 전기및전자공학부 노용만 교수 연구팀이 멀티모달 대형 언어모델(MLLM, 텍스트와 이미지·소리 등 여러 정보를 함께 이해하는 AI)의 감각 혼선을 줄이는 두 가지 핵심 기술을 개발했다고 31일 밝혔다. 이번 기술은 카메라와 다양한 센서의 특성을 정확히 이해하도록 하는 기술과 시각·청각 정보가 뒤섞이면서 발생하는 환각을 줄이는 기술로, 별도의 대규모 재학습 없이도 AI의 신뢰성을 크게 높였다.

연구팀이 개발한 첫 번째 기술은 AI가 열화상(Thermal, 물체가 내는 열을 영상으로 보여주는 센서), 깊이 영상(Depth, 물체까지의 거리를 측정하는 센서), 엑스레이(X-ray) 등 다양한 센서가 담고 있는 물리적 의미를 정확하게 이해하도록 돕는 ‘센서 이해 AI’기술(DNA, Diverse Negative Attributes) 최적화 기법이다.

< 연구팀이 개발한 DNA 최적화 기술이 적용된 모델 >

사람은 열화상 화면에서 밝게 보이는 부분이 ‘뜨거운 곳’이라는 것을 알지만, 기존 AI는 이를 일반 사진처럼 해석해 단순한 빛으로 착각하기도 했다. 연구팀은 AI가 열과 거리 등 센서가 측정하는 물리 정보를 이해하도록 새로운 학습 기술을 개발했다. AI가 자주 틀리는 사례를 반복적으로 학습하게 한 결과, 어둠이나 연기 속에서도 사물을 더욱 정확하게 인식할 수 있게 됐다.

두 번째 기술은 시각과 청각 정보가 서로 영향을 주면서 발생하는 환각을 줄이는 ‘감각 혼선 방지' 기술(MAD, Modality-Adaptive Decoding) 기술이다.

예를 들어 CCTV 영상에 자동차가 지나가는 장면이 담겨 있지만 실제로는 소리가 녹음되지 않았을 때, 기존 멀티모달 AI는 자동차가 보인다는 이유만으로‘엔진 소리가 들린다’고 답하는 경우가 있었다. 연구팀은 AI가 먼저 ‘이번 질문은 영상을 보고 판단해야 하는지, 소리를 듣고 판단해야 하는지’를 스스로 구분한 뒤, 더 중요한 감각 정보에 집중하도록 만들었다. 이를 통해 AI를 처음부터 다시 학습시키지 않고도(Training-free) 이러한 감각 혼선과 환각을 효과적으로 줄였다.

또한 연구팀은 AI를 막대한 컴퓨팅 자원으로 처음부터 다시 학습시키는 대신, DNA 기술은 적은 데이터만으로 다양한 센서를 이해하도록 성능을 높이고, ‘감각 혼선 방지' 기술(MAD)은 기존 AI에 프로그램을 추가하듯 바로 적용할 수 있도록 설계했다. 따라서 시간과 비용을 크게 줄이면서도 기존 멀티모달 AI의 신뢰성을 높일 수 있어 산업 현장에 빠르게 적용할 수 있다.

이번 기술은 밤이나 안개 속에서도 보행자와 차량을 정확히 인식해야 하는 자율주행차, 연기로 앞이 보이지 않는 화재 현장에서 생존자를 찾는 구조 로봇, 열화상 카메라를 이용하는 드론 등에 활용될 수 있다. 또한 공항 보안검색에서 엑스레이 영상을 분석하거나, 병원에서 CT·MRI·엑스레이 등 여러 의료영상을 함께 분석하는 AI의 정확성과 신뢰성을 높이는 데도 기여할 것으로 기대된다.

< 연구 이미지 (AI 생성) >

노용만 교수는 "멀티모달 AI가 실제 환경에서 사용되기 위해서는 다양한 센서의 특성을 정확히 이해하고 여러 감각 정보를 혼동하지 않는 것이 중요하다”며 "이번 연구는 대규모 재학습 없이도 AI의 감각 편향과 환각을 줄여 실제 생활과 산업 현장에서 믿고 사용할 수 있는 멀티모달 AI의 기반을 마련했다”고 말했다.

이번 성과는 KAIST 전기및전자공학부 정상윤 박사과정이 두 기술 연구 모두 제1 저자로 참여해 연속성을 빛냈으며, 유영준 박사가 ‘센서 이해 AI' 기술(DNA) 연구에 공동 제1 저자로 참여했다.

관련 논문 중 ‘감각 혼선 방지' 기술(MAD) 연구는 인공지능 컴퓨터 비전 분야 최고 권위 국제학회인 ‘국제 컴퓨터 비전 및 패턴인식 학술대회(CVPR)’에 지난 6월 발표되었다. 또한 ‘센서 이해 AI' 기술(DNA) 연구는 영상처리 분야 최고 국제 학술지인 ‘IEEE Transactions on Image Processing’에 게재가 되었다.
※ 논문명: Enhanced Vision-Language Models for Diverse Sensor Understanding: Cost-Efficient Optimization and Benchmarking, DOI:10.48550/arXiv.2412.20750
※ 저자 정보: 정상윤 (KAIST, 공동 제1 저자), 유영준 (KAIST, 공동 제1 저자), 김세연 (KAIST, 제3 저자), 지영채 (KAIST, 제4 저자), 노용만(KAIST, 교신저자)
※ 논문명: MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models, DOI:10.48550/arXiv.2601.21181
※ 저자 정보: 정상윤 (KAIST, 제1 저자), 김세연 (KAIST, 제2 저자), 지영채 (KAIST, 제3 저자), 노용만(KAIST, 교신저자)

한편, 이번 연구는 정보통신기획평가원(IITP) 사람중심인공지능 핵심원천기술 개발사업과 국방과학연구소 인공지능 특화연구센터(CARAI) 과제 등의 지원을 받아 수행되었다.