“AI는 사람의 행동 넘어 ‘의도’ 까지 이해할 수 있을까?”…증강현실연구센터 10주년 심포지엄
AI는 사람의 행동을 넘어 그 안에 담긴 경험과 상황, 의도까지 이해할 수 있을까. 우리 대학은 지난 10년간 증강현실을 통해 공간과 사람을 연결해 온 연구를 바탕으로, 인간과 AI가 경험을 나누며 함께 발전하는 새로운 연구 방향을 제시한다.
우리 대학은 증강현실연구센터(ARRC)가 설립 10주년을 맞아 오는 9월 1일 KI빌딩 매트릭스 홀에서 ‘증강현실 연구 중심 10년, 다음 10년을 열다’를 주제로 기념 심포지엄을 개최한다고 21일 밝혔다.
이번 심포지엄에서는 지난 10년간 축적해 온 공간컴퓨팅·확장현실(XR)·인간-컴퓨터 상호작용 연구 성과를 돌아본다. 이어 ‘공간을 연결하는 XR’에서 한발 더 나아가, AI가 인간의 경험과 상황, 의도를 이해하고 서로의 경험을 공유하며 함께 발전하는 ‘공생형 현실 증강지능(Symbiotic AIR·Augmented Intelligence for Reality)’이라는 차세대 연구 비전을 제시한다.
핵심 화두는 ‘AI가 인간의 의도를 이해할 수 있는가’다. 현재 AI는 영상이나 센서 데이터를 통해 사람의 행동을 인식할 수 있지만, 같은 행동도 누구와 어디에서 어떤 목적으로 하는지에 따라 의미가 달라질 수 있다.
연구진은 AI가 인간을 보다 깊이 이해하려면 행동뿐 아니라 시선·음성·언어·자세·동작과 주변 공간, 사람 간 관계 등 다양한 맥락을 함께 학습해야 한다고 본다. 이를 위해 인간의 실제 경험을 AI가 학습할 수 있는 데이터로 구조화하고, 이를 AMI(Augmented Memory Infrastructure·확장형 기억 인프라)에 축적하는 연구 구상을 제시한다.
사람이 무엇을 보고 듣고 말하고 행동했는지를 맥락과 함께 AI가 ‘기억’하고 이해하도록 만드는 기반이다. 연구진은 이를 토대로 AI가 인간의 경험을 이해하고 필요한 순간에 기억과 능력을 확장하는 ‘Augmented Humanity(증강인류)’로 발전시키는 것을 목표로 한다.
센터는 지난 10년간 현실 공간과 가상정보를 자연스럽게 결합하고, 떨어진 공간과 사람을 연결해 소통·협업할 수 있는 공간컴퓨팅·XR 기술을 연구해 왔다. 특히 ‘공간을 이어 연결하고, 소통하고, 협력하는 XR’ 연구는 2025년 KAIST 대표연구성과 10선에 선정됐다. 이번 10주년을 기점으로 연구의 범위를 한 단계 확장한다. 지난 10년이 ‘공간을 어떻게 연결할 것인가’에 집중했다면, 앞으로의 10년은 ‘AI가 착용형 XR과의 융합으로 인간을 어떻게 이해하고 함께 진화할 것인가’를 탐구한다는 구상이다.
이러한 연구를 실제 도시와 산업 현장으로 확장하기 위한 ‘초시공간 경험 전이와 공유를 위한 AIR-AMI 가치사슬’도 소개한다. KAIST와 대덕연구개발특구의 정부출연연구기관, 기업이 기술과 인프라를 연결해 AI+XR 기술을 실제 환경에서 학습·검증하고 산업으로 확장하는 협력 모델이다.
우리 대학은 공간컴퓨팅·세계모델·XR 상호작용 분야의 원천기술과 경험 플랫폼을 구축하고, KISTI는 대규모 멀티모달 데이터와 초고성능컴퓨팅을 통해 ‘인간과 공존하는 로봇을 위한 인간-로봇 협업 데이터/학습 플랫폼’기반의 AI 학습·검증 기반을 제공한다.
ETRI는 ‘실가상 융합 공간에서의 공감 상호작용 기술’ 중심으로 AI+XR·실감미디어·공간지능 기술을 연결해 응용과 실증을 확대하고, 한국건설기술연구원은 ‘가상융합(XR-Twin) 기반 건설 피지컬 AI 실증·검증 플랫폼 구축’을 통해 도시·건설·재난 등 실제 공간에서 검증한다.
한국한의학연구원은 ’Symbiotic AIR와 한의학이 만나는 미래 헬스케어‘를 통해 건강·행동·생활 맥락을 활용해 인간 중심 헬스케어 AI의 가능성을 검증하고, 버넥트(VIRNECT)는 ‘산업용 XR과 피지컬 AI의 융합과 확장’을 통해 제조·건설·교육·서비스 현장에서 AI+XR를 실증·사업화해 연구실의 기술을 실제 사람과 산업의 경험으로 연결할 예정이다.
특히 심포지엄에서는 대전을 AI+XR 기술의 글로벌 실증 테스트베드로 발전시키는 ‘뉴잼대전’ 구상도 소개한다. 연구실에서 개발한 AI를 정해진 데이터로 검증하는 데 그치지 않고, 사람들이 생활하고 이동하며 일하는 실제 도시를 AI+XR 기술의 학습과 검증 무대로 활용한다는 구상이다. 대덕연구개발특구의 연구 역량과 기업의 기술, 도시의 실제 환경을 연결해 ‘연구실에서 개발하고, 도시에서 검증하며, 산업으로 확장하는’ 생태계를 구축할 계획이다.
증강현실연구센터장 우운택 교수는 “지난 10년이 XR로 공간과 사람을 연결하는 시간이었다면, 다음 10년은 AI가 착용형 XR을 통해 인간의 경험과 의도를 이해하고 경험공유와 전이를 통해 함께 진화하는 시간이 될 것”이라며 “인간을 대신하는 AI를 넘어 인간과 AI가 함께 진화하는 새로운 AI+XR 개념과 가능성을 제시하겠다”고 말했다.
이번 심포지엄은 누구나 참가할 수 있으며, 사전등록 페이지를 통해 8월 27일(목)까지 신청할 수 있다. 사전등록을 하지 못한 경우 행사 당일 현장 등록도 가능하다.
※사전등록: http://kaist-arrc.github.io/arrc-10th/register, 행사안내 : https://kaist-arrc.github.io/arrc-10th/#top
KAIST-(주)버넥트, 가상융합연구소 설립 협약..K-메타버스 혁신 주도
우리 대학 캠퍼스에 현실과 가상의 경계를 허물고 시공간의 한계를 넘어 경험을 공유하는 K-메타버스 기술 역량을 축적한 개방형 산학연 플랫폼이 구축될 전망이다.
우리 대학은 13일 메타버스대학원과 국내 가상증강현실(XR) 전문기업이자 KAIST 동문 창업기업인 ㈜버넥트(대표 하태진)의 ‘가상융합연구소’ 설립 및 운영 협약을 체결한다고 13일 밝혔다.
우리 대학 캠퍼스에 신축되는 가상융합연구소는 향후 관련 출연연 참여까지 준비하며 단순한 산학협력을 넘어 대한민국 미래 성장 동력을 창출할 국가 전략 거점으로 기능할 예정이다. (주)버넥트는 KAIST와 함께 연구소를 국내외 산학연이 공동으로 참여하는 개방형 연구 협력 플랫폼으로 조성할 계획이다.
이 연구소는 현실과 가상의 융합을 실험하고, 이를 통해 기술 개발과 인재 양성, 산업 확산이 선순환하는 ‘K-메타버스 혁신 생태계’의 글로벌 허브로 자리매김할 전망이다.
㈜버넥트는 하태진 KAIST 동문이 창업한 기업으로, 2023년 코스닥에 상장했으며 산업용 AI 스마트고글 ‘VisionX’를 개발해 CES 혁신상을 수상했다. AI·XR 솔루션과 디지털 트윈 등 다양한 산업 혁신 기술을 기반으로 국내 대표 공간컴퓨팅 기업으로 성장해왔다. 이번 협력을 통해 KAIST와의 상생 시너지가 기대된다.
공간컴퓨팅과 XR 기술은 애플·메타·구글·마이크로소프트·삼성 등 글로벌 빅테크가 차세대 AI 플랫폼으로 주목하며 치열한 주도권 경쟁을 벌이는 분야다. 미국과 중국 등 주요국이 막대한 자본과 역량을 투입하는 가운데, KAIST 가상융합연구소 출범은 우리나라가 포스트 메타버스 시대 경쟁에서 뒤처지지 않기 위한 전략적 대응으로 평가된다.
연구소는 디지털 트윈, 메타버스, 공간·물리지능, 착용형 XR 등 핵심 기술을 통합한 R&BD(Research & Business Development) 허브로서 산업 생산성과 사회 혁신을 동시에 이끌 계획이다. 또한 교육–연구–실증–상용화–확산을 아우르는 전 주기 체계를 통해 산업 현장 적용 가능성을 신속히 검증하고 신산업 창출을 뒷받침할 예정이다.
아울러 연구소는 정부 정책과 긴밀히 연계해 국가 차원의 시너지를 창출한다. ▲교육·연구 연계 강화 ▲지속가능한 메타버스 생태계 조성 ▲개방형 산학연 플랫폼을 통한 글로벌 주도권 확대는 정부가 추진하는 가상융합산업 고도화 전략과 맞닿아 있다.
버넥트 하태진 대표는 “KAIST와의 장기 협력은 우리가 글로벌 XR 산업의 게임 체인저로 도약할 발판”이라며 “연구·교육 인프라를 통해 가상융합 기술 경쟁력을 강화하고, 실증을 통해 상용화를 앞당기겠다”고 말했다.
메타버스대학원장 우운택 교수는 “가상융합연구소는 산학연이 함께 K-메타버스 혁신을 실험하는 개방형 플랫폼이자, 미래 핵심 인력을 양성하고 연구 성과를 산업계로 확산하는 ‘메타 발전소’ 역할을 할 것”이라고 강조했다.
이광형 KAIST 총장은 “이번 협약은 단순히 새로운 연구소를 만드는 것을 넘어 연구와 산업의 경계를 허물어 글로벌 리더십을 확보하기 위한 전략적 투자”라며 “KAIST는 연구소 지원을 아끼지 않을 것”이라고 말했다.
향후 정부의 가상융합산업 특성화 대학원·연구소 지정과 산업계 협력이 더해진다면, KAIST 가상융합연구소는 한국의 메타버스 역량을 집결시키는 국가 혁신 플랫폼으로 자리매김할 것이다. 이는 단순한 기술 개발을 넘어 미래 사회를 위한 새로운 가치 창출과 국가 경쟁력 강화로 이어질 것으로 기대된다.
메타대전 포럼 2024 개최
우리 대학이 오는 22일(금) 오후 3시 국회의원회관 제6간담회실에서 ‘메타대전포럼 2024’를 개최한다고 19일 밝혔다.
이번 포럼은 조승래 국회의원실과 우리 대학 메타버스대학원, 한국전자통신연구원(이하 ETRI), 한국과학기술정보연구원(이하 KISTI)이 공동 주최하는 행사로 ‘뉴잼대전: 대전에서 새로운 (뉴욕의) 재미를, 세계에서 K-문화기술을!’ 비전을 구체화하고, 대전이 메타버스 중심지로 성장할 비전과 전략을 논의한다.
특히, <노잼대전>에서 <뉴잼대전>으로 탈바꿈하고 메타버스의 중심으로 성장할 수 있는 방안으로 뉴욕-대전 연결한 메타뮤지엄 구현, 개방형 산학연공동 메타버스연구소 설립, 그리고 대전을 넘어 대구-광주 등과의 지역 연대 등을 주요 의제로 다룰 예정이다.
메타버스대학원은 ‘뉴잼대전’ 비전의 일환으로 국내외의 뮤지엄을 연동할 <메타뮤지엄> 계획을 소개한다. <메타뮤지엄>은 시차와 공간의 제약을 넘어 서로 연결하여 소통하고 각지역의 독특한 문화예술 경험을 공유하는 창의적이고 혁신적인 포스트 메타버스 플랫폼이다.
우리 대학이 제안한 <메타뮤지엄>은 생성AI와 XR기술을 활용하여 세계의 전시를 각 지역에서 실감나게 체험하고, K-문화기술을 통해 새로운 문화 예술 체험을 세계로 제공할 수 있도록 만드는 새로운 방안으로 주목받은 바 있다.
이미 포스트메타버스라는 새로운 패러다임을 통해 지역을 연결하고 혁신을 이끌 수 있는 기본 역량을 갖추고 대전을 기점으로 메타버스 시대의 사회 문화, 과학기술, 가상 융합 경제 허브로 도약하기 위해서 다양한 논의가 진행될 예정이다.
메타버스의 일상화에 필수 인프라인 초고속망과 슈퍼컴센터를 관리하고 활용하는 KISTI, 초실감 메타버스 플랫폼 기술을 축적하고 있는 ETRI, 포스트 메타버스 개념을 정립하고 원천기술을 확보한 우리 대학, 그리고 다양한 활용 서비스와 콘텐츠를 개발할 수 있는 다수의 관련 기업 등이 모여 산학연관의 구심점과 협력적 전략을 협의한다.
우운택 메타버스대학원장은 ‘뉴잼대전 현황 및 현안’을 주제로 산학연 공동 메타버스 연구소 설치와 운영의 필요성을 강조한다. 또한 전 세계의 예술 문화를 연결해 누구나 즐길 수 있는 메타뮤지엄의 기대 효과를 소개한다.
정일권 ETRI 초실감메타버스연구소 본부장은 ‘초실감 상호작용 기술’을 주제로, 김민아 KISTI OXR융합연구단장은 ‘메타버스 디지털 SOC’를 주제로, 하태진 ㈜버넥트 대표는 ‘메타뮤지엄: 문화 교류의 디지털 다리’를 주제로 발표를 진행한다.
우운택 메타버스대학원장은 “대전 내의 R&D역량 결집을 넘어 대구와 광주와 함께 <더 밝은 달빛연대>를 만들고, 포스트 메타버스 시대의 동반자로 이 여정을 함께 만들어 나가자”라고 제안하며 메타버스 시대를 선도하기 위한 지역 연대와 협력의 중요성을 강조했다.
메타대전 포럼 2024은 관심 있는 일반 대중들도 참여가 가능하고, 신청 및 자세한 내용은 홈페이지(https://meta.kaist.ac.kr/p/daejeon24)에서 확인할 수 있다. 메타뮤지엄 관련 영상은 메타버스대학원 유튜브 채널(@kaist-mv)에서 볼 수 있다.
메타버스대학원, '메타버스 대전'비전 선포식 개최
우리 대학이14일 오후 대전시 유성구 호텔 오노마에서 '메타버스 대전' 비전 선포식을 개최했다.
메타버스대학원(책임교수 우운택)은 메타버스를 통해 전 세계를 하나의 도시로 연결하고 세계 시민들과 만나며 소통하고 협력하는 미래상을 '메타버스 대전: 모든 메타버스의 길은 대전으로 이어진다'라는 비전에 담았다.
이 비전의 실현을 위해 다음 10년 동안의 연구 주제를 '메타-대전'으로 선정하고 뉴욕대학교에 '포스트메타버스연구센터(이하, PMRC)'를 설치해 개방형 협력 연구 플랫폼으로 활용할 계획이다.
2024년 하반기 설치 예정인 PMRC에서는 시간과 공간의 제약을 초월해 전 세계 사람들을 연결하고 새로운 경험을 공유하게 만드는 '확장된 가상 세계'로서의 메타버스의 특성을 활용하는 '메타뮤지엄' 연구를 진행한다.
'메타뮤지엄'은 '메타대전' 첫 번째 대표 사업으로 대전 시민이 우리 대학미술관을 방문하면 뉴욕 현대미술관과 메트로폴리탄 미술관의 전시물을 감상할 수 있으며, 대강당에서 뉴욕 카네기홀의 공연을 관람할 수 있는 플랫폼을 구축하는 연구다.
이를 위해, 우리 대학과 뉴욕대학교의 핵심 기술 능력을 통합하고, 한국전자통신연구원의 플랫폼 기술, 한국과학기술정보연구원의 XR 협업 플랫폼과 슈퍼컴퓨터 및 초고속 네트워크, 한국건설기술연구원의 가상 건설 기술을 결합해 미래형 메타버스를 현실화하는 것이 목표다.
나아가 한의학연구원의 역량을 더해 세계 시민들의 건강을 유지 관리하는 플랫폼을 구축하는 등 메타버스로 증강하여 시공간의 한계를 넘나들며 세계 각지를 잇는 미래 도시의 모형을 제시하는 것이 ‘메타버스 대전’ 비전이 추구하는 궁극적 방향성이다.
이날 비전 선포식에는 이광형 KAIST 총장, 방승찬 한국전자통신연구원장, 김재수 한국과학기술정보연구원장, 이진용 한의학연구원장, 김영진 대전세종연구원장 등 관련 출연연과 기업 대표 및 관계자 등 100여 명의 대학원생과 대전시민들이 참석했다.이장우 대전시장은 영상을 통해 "대전은 세계가 인정하는 과학수도로서 모든 메타버스의 길은 대전으로라는 슬로건처럼, 대한민국 모든 국가 전략기술은 대전이 그 중심이 되어야 한다"고 축사를 전했다. 이와 함께, 에릭 아담스(Eric Adams) 뉴욕 시장, 린다 밀스(Linda G. Mills) 뉴욕대 총장 등도 영상으로 축사한다.
메타버스대학원을 이끄는 우운택 교수는 "개방형 산학연 국제 협력 연구 플랫폼을 통해 문화 예술 경험을 공유하는 것을 시작으로 교육, 의료, 산업 등의 분야로 적용 영역을 확대해 '메타-대전'의 꿈을 실현하겠다"라고 기대감을 밝혔다.
이광형 KAIST 총장은 "우리가 어떤 기술로 세상을 보느냐가 세계를 바꾸고, 보는 방식의 혁신은 우리의 세계를 진화시킨다"라며, "메타버스는 상상의 눈으로 세상을 경험하는 새로운 방식이며 우리의 삶에 큰 영향을 미칠 것"이라고 말했다. 한편, 이날 행사에서는 비전 선포에 이어 'KAIST 메타대전 포럼'이 개최돼 '메타-대전'의 핵심기술 연구 소개 및 산업 현황을 공유하는 자리가 마련됐다. 연구 기관, 기업 관계자 및 대학원생들의 비전을 공유하기 위한 워크샵을 진행하고 메타버스 대전 프로젝트의 기반을 강화하기 위한 연결 전략과 지역 사회 참여 방법을 논의했다.