-
AI가 어떻게 생각하는가?...의사결정 내부 구조 첫 시각화
딥러닝 기반 이미지 인식 기술이 빠르게 고도화되고 있지만, AI가 내부에서 어떤 기준으로 이미지를 보고 판단하는지는 여전히 명확히 설명하기 어려운 영역으로 남아 있다. 특히 대규모 모델이 어떤 개념(예: 고양이 귀, 자동차 바퀴 등)을 어떻게 조합해 결론을 내리는지 분석하는 기술은 오랫동안 해결해야 할 과제로 제기돼 왔다.
우리 대학은 김재철AI대학원 최재식 교수 연구팀이 AI가 어떤 근거로 판단하는지를 인간이 이해할 수 있도록 보여주는‘설명가능성(XAI, Explainable AI)’분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다.
이번 연구는 ‘AI가 어떻게 생각하는지’를 구조적으로 들여다볼 수 있도록 한 중요한 진전으로 평가된다.
딥러닝 모델 내부에는 인간의 뇌처럼 ‘뉴런(Neuron)’이라는 기본 계산 단위가 존재한다. 뉴런은 이미지 속 작은 특징—예를 들어 귀 모양, 특정 색, 윤곽선 등—을 감지하는 기능을 갖고 있으며, 값(신호)을 계산해 다음 단계로 전달한다.
반면 ‘회로(circuit)’는 이러한 뉴런 여러 개가 서로 연결되어 하나의 의미(개념)를 함께 인식하는 구조를 말한다. 예를 들어 ‘고양이 귀’라는 개념을 인식하기 위해서는 귀의 윤곽을 감지하는 뉴런, 삼각형 형태를 감지하는 뉴런, 털 색 패턴을 감지하는 뉴런 등 여러 뉴런이 순차적으로 작동해야 하며, 이들이 하나의 기능 단위(회로)를 이룬다.
지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 중심의 접근이 많았다. 그러나 실제 딥러닝 모델은 여러 뉴런이 협력하는 회로 구조로 개념을 형성하며, KAIST 연구팀은 이 점에 착안해 AI의 개념 표현 단위를 '뉴런 → 회로'로 확장해 해석하는 기술을 제시했다.
연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다.
GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 계산해 회로를 자동적으로 추적한다. 뉴런 민감도는 특정 뉴런이 어떤 특징에 얼마나 민감하게 반응하는지, 의미 흐름 점수는 그 특징이 다음 개념으로 얼마나 강하게 전달되는지를 보여주는 지표로, 이를 통해 색·질감 같은 기본 특징이 어떻게 상위 개념으로 조립되는지 단계적으로 시각화할 수 있다.
연구팀은 특정 회로를 잠시 비활성화(ablation)하는 실험을 수행했다. 그 결과, 회로가 담당하던 개념이 사라지면서 AI의 예측이 실제로 달라지는 현상이 나타났다.
즉, 해당 회로가 실제로 그 개념을 인식하는 기능을 수행하고 있음을 직접적으로 입증한 것이다.
이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(Bias) 검출, 모델 디버깅 및 구조 개선, 안전성·책임성 향상 등 설명가능성(XAI) 전반에서 실질적인 응용 가능성을 제시한 것이다.
연구팀은 “AI가 내부에서 만드는 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술”이라며 “이번 연구는 AI가 ‘어떻게 생각하는지’를 과학적으로 연구할 수 있는 출발점”이라고 밝혔다.
최재식 교수는 “복잡한 모델을 단순화해 설명하던 기존 방식과 달리, 모델 내부를 세부 회로 단위로 정밀하게 해석한 최초의 접근”이라며 “AI가 학습한 개념을 자동으로 추적·시각화할 수 있음을 입증했다”고 말했다.
KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1 저자로 참여한 이번 연구는 국제 학술대회 `국제 컴퓨터 비전 학술대회 (International Conference on Computer Vision, ICCV)’에서 10월 21일 발표되었다.
※ 논문명 : Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations
※ 논문링크: https://openaccess.thecvf.com/content/ICCV2025/papers/Kwon_Granular_Concept_Circuits_Toward_a_Fine-Grained_Circuit_Discovery_for_Concept_ICCV_2025_paper.pdf
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 사람중심핵심원천기술개발사업의 일환으로 '플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증' 과제, AI 연구거점 프로젝트 및 한국과학기술원 인공지능 대학원 프로그램과제의 지원을 받고 방위사업청과 국방과학연구소의 지원으로 한국과학기술원 미래 국방 인공지능 특화연구센터에서 수행됐다.
2025.11.26
조회수 1156
-
제18회 글로벌 기술사업화 컨퍼런스 및 워크샵, 11월 12부터 개최
우리 대학 글로벌기술사업화센터(KAIST GCC)는 오는 11월 12일(수)부터 14일(금)까지 KAIST 본원 기계공학동(N7) 해동정보홀(2602호)에서 ‘제18회 글로벌 기술사업화 컨퍼런스 및 워크샵(Global Commercialization Conference & Workshop, GCCW 2025)’을 개최한다고 31일 밝혔다.
이번 행사는 ‘Shaping the Future of Global Technology Commercialization’을 주제로, 반도체·첨단소재, 바이오, 로봇·모빌리티, AI/ICT 등 국가 전략기술 분야의 글로벌 협력과 기술사업화 방안을 논의하는 자리로 마련된다.
올해는 특히 KAIST GCC 설립 10주년을 맞아, 지난 10년간의 성과를 되돌아보고 향후 글로벌 기술사업화의 방향을 모색하는 특별 세션과 전문가 네트워킹 프로그램이 함께 진행된다.
행사 첫날인 11월 12일에는 ‘Conference’ 세션이 열리며, ‘Shaping the Future of Global Technology Commercialization’을 주제로 글로벌 기술사업화의 트렌드와 정책 방향을 공유한다. 이어 ‘PNT 기술사업화를 위한 국제 표준화 전문가 네트워킹’이 진행되어, 산업계·학계·공공기관이 함께 표준화 기반의 기술 확산 전략을 논의한다.
13일에는 총 세 개의 워크숍이 열린다. ‘한-미 반도체 혁신 클러스터 협력 전략과 비전’ 세션에서는 한·미 연구기관 및 기업 간 협력 방안을 모색하고, ‘피지컬 AI 시대의 로봇 제조혁신 플랫폼’ 워크숍에서는 로봇 제조 혁신을 위한 기술 및 인프라 구축 전략을 다룬다. 또한, ‘보스턴 오픈이노베이션 활성화 전략 네트워킹’ 세션에서는 글로벌 창업 생태계와 연계한 스타트업 협력 모델이 논의될 예정이다.
마지막 날인 14일에는 ‘바이오 스타트업 글로벌 진출 핵심 전략’과 ‘10 Years of Innovation, Next Decade of Transformation’ 세션이 열린다. 특히 후자의 세션에서는 GCC 설립 10주년을 기념하여, 향후 10년의 글로벌 기술사업화 방향과 혁신 비전을 함께 그려본다.
우리 대학 GCC 관계자는 “GCCW 2025는 글로벌 기술협력과 혁신 생태계 확산을 위한 새로운 이정표가 될 것”이라며 “국내외 전문가들이 한자리에 모여 협력과 도전의 미래를 논의하는 의미 있는 자리가 될 것”이라고 전했다.
이번 행사는 누구나 사전등록을 통해 참여할 수 있으며, 자세한 일정과 프로그램은 KAIST GCC 공식 홈페이지에서 확인할 수 있다.
문의: KAIST 글로벌기술사업화센터 (☎ 042-350-7184)
2025.10.31
조회수 696
-
글로벌기술사업화센터 문자영 연구원 중소벤처기업부 장관 표창 수상
우리 대학 글로벌기술사업화센터(이하 GCC) 문자영 연구원(기술경영전문대학원 석사과정)이 중소벤처기업부 장관 표창을 수상했다.
KAIST GCC는 '초격차 스타트업 1000+ 프로젝트'의 기술사업화 주관기관으로 사업 운영 중이며, 사업책임자는 최문기 센터장, 정혜주 선임연구원, 문자영 연구원, 김보선 행정원, 허유신 행정원이 이 프로젝트 운영을 전담하고 있다. 문 연구원은 많은 로봇 창업기업들이 해외 시장에 진출에 어려움을 겪고 있는 가운데, 적극적인 글로벌 진출을 위한 맞춤형 프로그램을 기획했다. 또한, 성공적으로 창업기업과 해외 현지 파트너를 연결하고 협력 네트워크 구축하여 창업기업의 경쟁력 강화와 성장을 높인 공헌을 인정받아 이번 중소벤처기업부 장관 표창을 수상했다.
시상식은 11월 26일부터 27일까지 양일간 서울 콘래드 호텔에서 개최한 '2024 DIPS Global TECH CON' 갬가식에서 개최됐다. 이는 중소벤처기업부와 창업진흥원이 주관하는 행사로 로봇 산업의 혁신과 성장 가능성을 모색하고자 마련됐다.
문 연구원은 “함께 해주신 글로벌기술사업화센터 분들과 초격차 로봇 창업기업 57개사에 깊이 감사드린다. 앞으로도 로봇 산업의 혁신과 글로벌 기술사업화를 위해 조금이나마 기여하고 싶다” 라고 소감을 전했다.
최문기 센터장은 "이번 표창은 한국 로봇 창업 기업들이 글로벌 무대에서 한 발짝 더 나아갈 수 있도록 모두가 노력한 결과라고 생각한다. '초격차 스타트업 100+' 프로젝트를 담당하고 있는 문자영 연구원과 그 외 사업 참여자들이 함께 수상의 기쁨을 누렸으면 한다" 라고 말했다.
한편, 우리 대학 GCC는 '2024 DIPS Global TECH CON' 행사 중 11월 27일 ‘로봇 기술 포럼 및 스타트업 성장 교류회’ 세션을 성료했다. 장영재 전기및전자공학부 교수가 이끄는 다임리서치(스마트팩토리 자동화 솔루션 기업)와 공경철 기계공학과 교수의 엔젤로보틱스(웨어러블 재활 로봇) 등이 참여해 약 80건의 기술 매칭 및 맞춤형 1:1 상담을 진행하였다. 또한, 기계공학과 명예교수이자 레인보우로보틱스 창립자인 오준호 교수가 'AI 시대의 휴머노이드 로봇'을 주제로 기조연설을 진행했다.
2024.12.06
조회수 4695
-
글로벌기술사업화센터(GCC), 몽골에 스마트 팜 농장 열어
(좌로부터 ETRI 배문식 본부장, KAIST GCC 최문기 명예교수, 익틴그룹 바짜한 회장, MeGO 간바트 위원장)
우리 대학 글로벌기술사업화센터(GCC)는 지난 11월 23일 몽골 울란바토르에서 한국전자통신연구원(ETRI)과 몽골 전자정부센터(MeGo, Mongolian e-Government Center), 익틴그룹(Ikh Tiin Group)간 스마트 팜 협력사업 MOU를 체결했다.
한-몽골 스마트 팜 협력 사업은 2015년 5월부터 KAIST 글로벌기술사업화센터(GCC)가 몽골 현지거점기관인 몽골 전자정부센터(MeGO)와의 협력을 통해 현지 기술수요를 발굴하고 국내의 기술을 매칭 하여 기술사업화 모델을 제시했다.
한국전자통신연구원(ETRI) 대경권연구센터는 그린하우스 온실 제어 시스템 기술을 개발하고 인포벨리코리아가 함께 참여했다.
그 결과 지난 10월 말 울란바토르 인근 바춤버(Batsumber) 지역에 몽골 익틴그룹(Ikh Tiin Group)이 투자한 120제곱미터(㎡) 규모의 그린하우스가 완공됐다.
몽골은 육식 위주의 오래된 전통 식습관으로 인한 영양 불균형 해소를 위해 최근 채소 수요가 급증하고 있으나, 5월부터 9월까지를 제외한 혹한기에는 노지재배가 불가능해 대부분의 채소를 수입에 의존하고 있는 실정이다.
이번 한-몽골 스마트 팜 협력 프로젝트는 정보통신기술(ICT)을 농업 분야에 활용하여 겨울철 영하 40도에 육박하는 혹독한 몽골의 기후 조건에서도 신선한 야채와 과일의 재배를 가능하게 해, 몽골 내 채소 공급의 자급자족 능력을 향상 시킬 수 있을 것으로 기대된다.
KAIST 글로벌기술사업화센터 최문기 명예교수는 “스마트 팜에 대한 한국과 몽골간의 기술협력이 지속되어 몽골의 드넓은 지역에 스마트 팜이 확산되길 희망하며, 본 사업이 몽골 경제성장의 원동력이 되기를 바란다”고 말했다.
2016.12.01
조회수 22466