연구
< (왼쪽부터) KAIST 권다희 박사과정, 이세현 박사과정 (상단) 최재식 교수 >
딥러닝 기반 이미지 인식 기술이 빠르게 고도화되고 있지만, AI가 내부에서 어떤 기준으로 이미지를 보고 판단하는지는 여전히 명확히 설명하기 어려운 영역으로 남아 있다. 특히 대규모 모델이 어떤 개념(예: 고양이 귀, 자동차 바퀴 등)을 어떻게 조합해 결론을 내리는지 분석하는 기술은 오랫동안 해결해야 할 과제로 제기돼 왔다.
우리 대학은 김재철AI대학원 최재식 교수 연구팀이 AI가 어떤 근거로 판단하는지를 인간이 이해할 수 있도록 보여주는‘설명가능성(XAI, Explainable AI)’분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다.
이번 연구는 ‘AI가 어떻게 생각하는지’를 구조적으로 들여다볼 수 있도록 한 중요한 진전으로 평가된다.
딥러닝 모델 내부에는 인간의 뇌처럼 ‘뉴런(Neuron)’이라는 기본 계산 단위가 존재한다. 뉴런은 이미지 속 작은 특징—예를 들어 귀 모양, 특정 색, 윤곽선 등—을 감지하는 기능을 갖고 있으며, 값(신호)을 계산해 다음 단계로 전달한다.
반면 ‘회로(circuit)’는 이러한 뉴런 여러 개가 서로 연결되어 하나의 의미(개념)를 함께 인식하는 구조를 말한다. 예를 들어 ‘고양이 귀’라는 개념을 인식하기 위해서는 귀의 윤곽을 감지하는 뉴런, 삼각형 형태를 감지하는 뉴런, 털 색 패턴을 감지하는 뉴런 등 여러 뉴런이 순차적으로 작동해야 하며, 이들이 하나의 기능 단위(회로)를 이룬다.
지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 중심의 접근이 많았다. 그러나 실제 딥러닝 모델은 여러 뉴런이 협력하는 회로 구조로 개념을 형성하며, KAIST 연구팀은 이 점에 착안해 AI의 개념 표현 단위를 '뉴런 → 회로'로 확장해 해석하는 기술을 제시했다.
연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.
GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 계산해 회로를 자동적으로 추적한다. 뉴런 민감도는 특정 뉴런이 어떤 특징에 얼마나 민감하게 반응하는지, 의미 흐름 점수는 그 특징이 다음 개념으로 얼마나 강하게 전달되는지를 보여주는 지표로, 이를 통해 색·질감 같은 기본 특징이 어떻게 상위 개념으로 조립되는지 단계적으로 시각화할 수 있다.
연구팀은 특정 회로를 잠시 비활성화(ablation)하는 실험을 수행했다. 그 결과, 회로가 담당하던 개념이 사라지면서 AI의 예측이 실제로 달라지는 현상이 나타났다.
즉, 해당 회로가 실제로 그 개념을 인식하는 기능을 수행하고 있음을 직접적으로 입증한 것이다.
이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(Bias) 검출, 모델 디버깅 및 구조 개선, 안전성·책임성 향상 등 설명가능성(XAI) 전반에서 실질적인 응용 가능성을 제시한 것이다.
연구팀은 “AI가 내부에서 만드는 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술”이라며 “이번 연구는 AI가 ‘어떻게 생각하는지’를 과학적으로 연구할 수 있는 출발점”이라고 밝혔다.
최재식 교수는 “복잡한 모델을 단순화해 설명하던 기존 방식과 달리, 모델 내부를 세부 회로 단위로 정밀하게 해석한 최초의 접근”이라며 “AI가 학습한 개념을 자동으로 추적·시각화할 수 있음을 입증했다”고 말했다.
< 연구팀에서 제안한 개념회로에 대한 개요 >
KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술대회 `국제 컴퓨터 비전 학술대회 (International Conference on Computer Vision, ICCV)’에서 10월 21일 발표되었다.
※ 논문명 : Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations
※ 논문링크: https://openaccess.thecvf.com/content/ICCV2025/papers/Kwon_Granular_Concept_Circuits_Toward_a_Fine-Grained_Circuit_Discovery_for_Concept_ICCV_2025_paper.pdf
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 사람중심핵심원천기술개발사업의 일환으로 '플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증' 과제, AI 연구거점 프로젝트 및 한국과학기술원 인공지능 대학원 프로그램과제의 지원을 받고 방위사업청과 국방과학연구소의 지원으로 한국과학기술원 미래 국방 인공지능 특화연구센터에서 수행됐다.
-
인물 김갑진 교수,‘제 6회 현우 KAIST 학술상’수상
우리 대학은 물리학과 김갑진 교수가 양자역학 분야에서의 탁월한 연구 성과를 인정받아 현우문화재단(이사장 곽수일)이 후원하는‘제6회 현우 KAIST 학술상’ 수상자로 선정됐다고 12일 밝혔다. 김갑진 교수는 양자컴퓨터를 만드는 새로운 방법을 제시한 연구 성과로 이번 학술상을 받았다. 기존 양자컴퓨터는 초전도체나 이온, 빛과 같은 복잡한 방식에 주로 의존해 왔으며, 극저온 환경이 필요해 비용과 기술적 부담이 크다는 한계가 있었다. 김 교수는 이러한 한계를 넘어, 자석처럼 우리가 비교적 쉽게 접할 수 있는 자기 성질을 가진 ‘자성 물질’을 활용해 양자컴퓨터를 구현할 수 있다는 가능성을 제시했다는 점에서 주목을 받았다. 김 교수는 자석 물질 내부의 스핀 움직임(마그논)과 빛 신호를 하나의 칩에서 결합한 ‘광자–마그논 하이브리드 칩’을 개발했다. 이를 통해 자성체 내에서 여러 양자 신호가 동시에 작동하고 서로
2026-02-12 -
인물 ‘올해의 KAIST인상’에 물리학과 이경진 교수 선정
우리 대학은 개교 55주년을 맞아 ‘올해의 KAIST인상’ 수상자로 이경진 물리학과 교수를 선정했다고 12일 밝혔다. ‘올해의 KAIST인상’은 탁월한 학술 및 연구 성과를 통해 국내외에서 KAIST의 발전과 위상 제고에 기여한 구성원에게 수여하는 상으로, 2001년 제정됐다. 제25회 수상자로 선정된 이경진 물리학과 교수는 30여 년간 당연하게 여겨져 온 스핀 전달 이론의 기존 가정을 뒤집고, ‘양자 스핀펌핑(Quantum Spin Pumping)’ 현상을 세계 최초로 규명한 공로를 인정받았다. 기존 이론이 스핀을 단순한 고전적 물리량으로 취급해 온 것과 달리, 이 교수는 실제 물질 속 스핀 역시 전자처럼 본질적인 양자적 성질을 지닌다는 점에 주목했다. 이를 검증하기 위해 이 교수는 스핀의 크기가 특정 조건에서 갑자기 변하는 독특한 성질을 지닌 철-로듐(FeRh) 자성 물질을 연구 대상으로 선택했다. 이 물
2026-02-12 -
연구 화학 원리 이해한 AI 등장...신약·신소재 개발 속도 높인다
스마트폰 배터리가 얼마나 오래 가는지, 난치병을 치료할 신약이 나올 수 있을지는 모두 재료 물질을 구성하는 원자들이 얼마나 안정적으로 결합하느냐에 달려 있다. 이 수많은 원자를 어떻게 배치해야 가장 안정적인 분자가 되는지를 찾는 과정이 ‘분자 설계’의 핵심 과정인데, 그동안은 거대한 산에서 가장 낮은 골짜기를 찾는 것처럼 어려워 막대한 시간과 비용이 필요했다. 우리 대학 연구진이 인공지능으로 이 과정을 빠르고 정확하게 해결하는 신기술을 개발했다. 우리 대학은 화학과 김우연 교수 연구팀이 분자의 안정성을 좌우하는 물리 법칙을 스스로 이해해 구조를 예측하는 인공지능 모델 ‘리만 확산 모델(R-DM)’을 개발했다고 10일 밝혔다. 이 모델의 가장 큰 특징은 분자의 ‘에너지’를 직접 고려한다는 점이다. 기존 인공지능이 분자의 모양을 단순히 흉내 냈다면, R-DM은 분자 내부에서 어떤 힘이 작용하는지를 고려하여 구조를 스
2026-02-10 -
인물 이상엽 특훈교수, 호주 퀸즐랜드대 AIBN 중개연구상 수상
우리 대학은 생명화학공학과 이상엽 특훈교수(연구부총장)가 호주 브리즈번에 위치한 퀸즈랜드대학교(University of Queensland, UQ) 산하 호주생명공학나노기술연구소(Australian Institute of Bioengineering and Nanotechnology, AIBN)로부터 2월 3일(현지시간) 중개연구상인 AIBN 메달(AIBN Translational Research Award)을 수상했다고 9일 밝혔다. AIBN 메달은 생명공학 분야에서 연구 성과를 산업과 사회적 가치로 확장한 중개연구 성과를 인정해 수여되는 상으로, 흔히 ‘연구를 연구로 끝내지 않은 성과’를 평가하는 상으로 불린다. 논문 수나 인용도보다 산업 적용성, 기술 확산, 국제 협력, 사회적 영향력을 중시하며, 합성생물학·대사공학·바이오제조 분야의 세계적 연구 허브인 AIBN이 수여하는 글로벌 중개연구 분야의 상징적 상이다. 이번 시상은 퀸즈
2026-02-09 -
행사 KAIST-NYU, AI 거버넌스 서밋 뉴욕서 개최
우리 대학은 뉴욕대학교(New York University, NYU)와 공동 주최한 ‘KAIST-NYU AI 및 디지털 거버넌스 서밋(KAIST-NYU AI and Digital Governance Summit)’이 지난 2월 6일부터 7일까지(현지 시각) 미국 뉴욕 NYU에서 개최됐다고 9일 밝혔다. 이번 서밋은 인공지능(AI)이 사회 전반에 미치는 영향이 급격히 확대되는 가운데, 기술 혁신과 안전·윤리적 책임이 조화를 이루는 실질적인 AI 거버넌스 해법을 모색하기 위해 비공개 합의 회의와 공개 토론을 결합한 방식으로 기획됐다. 서밋에는 매튜 리아오, 데이비드 차머스 NYU 교수, 비키 내쉬 옥스퍼드 인터넷 연구소 소장, 빈센트 코니쳐 카네기멜론대 교수, 이아손 가브리엘 구글 딥마인드 수석과학자, 필립 골드버그 전 주한미국대사 등 학계·산업계·시민사회를 대표하는 글로벌 AI 거버넌스 리더 60명이 참여했다. 특히 둘
2026-02-09