%EC%84%A4%EB%AA%85%EA%B0%80%EB%8A%A5
-
KAIST 설명가능 인공지능연구센터, 플러그앤플레이 방식의 설명가능 인공지능 프레임워크 공개
KAIST 설명가능 인공지능연구센터(센터장 최재식 교수)는 별도의 복잡한 설정이나 전문 지식 없이도 손쉽게 AI모델에 대한 설명성을 제공할 수 있는 플러그앤플레이(Plug-and-Play) 방식의 설명가능 인공지능 프레임워크를 개발해, 이를 27일 오픈소스로 공개했다.
설명가능 인공지능(Explainable AI, 이하 XAI)이란 AI 시스템의 결과에 영향을 미치는 주요 요소를 사람이 이해할 수 있는 형태로 설명해주는 제반 기술을 말한다. 최근 딥러닝 모델과 같이 내부 의사 결정 프로세스가 불투명한 블랙박스 AI 모델에 대한 의존도가 커지면서 설명가능 인공지능 분야에 대한 관심과 연구가 증가했다. 그러나 지금까지는 연구자와 기업 실무자들이 설명가능 인공지능 기술을 활용하는 것이 몇 가지 이유로 쉽지 않았다. 우선, 딥러닝 모델의 유형별로 적용 가능한 설명 알고리즘들이 서로 달라서 해당 모델에 적용할 수 있는 설명 알고리즘이 무엇인지 알기 위해서는 XAI에 대해 어느 정도 사전지식이 필요하기 때문이다. 두번째로, 대상 모델에 적용할 수 있는 설명 알고리즘을 파악하더라도, 각 알고리즘마다 다른 하이퍼 파라미터를 어떻게 설정해야 최적의 설명 결과를 얻을 수 있을지 이해하는 것은 여전히 어려운 과제이다. 세번째로는 적용된 다수의 설명 알고리즘들 중에 어떤 알고리즘이 가장 정확하고 신뢰할 수 있는 것인지를 정량적으로 평가하기 위해서 또다른 툴을 이용해야 하는 번거로운 과정이 뒤따라야 했다. 이번에 오픈소스로 공개된 플러그앤플레이 설명가능 인공지능 프레임워크(Plug-and-Play XAI Framework, 이하 PnPXAI 프레임워크)는 이러한 어려움을 해결하고자 개발되었으며, AI의 신뢰성이 중요한 다양한 AI시스템 연구개발 현장에서 유용한 도구로 활용될 것으로 기대된다.
PnPXAI 프레임워크는 적용 가능한 설명알고리즘을 자동으로 추천하기 위해 모델 구조를 인식하는 탐지모듈(Detector)과 적용가능한 설명 알고리즘을 선별하는 추천모듈(Recommender), 설명 알고리즘을 최적화하는 최적화모듈(Optimizer) 및 설명 결과 평가모듈(Evaluator)로 구성되어 있다. 사용자는 ‘자동설명(Auto Explanation)’ 모드에서 대상 모델과 데이터만 입력하면 설명 알고리즘의 시각적 결과(히트맵 또는 모델 결과에 영향을 끼친 중요한 속성들)와 설명의 정확도를 한번에 확인할 수 있다. 사용자들은 자동설명 모드를 통해 XAI에 대한 기본지식과 사용법을 숙지한 이후에는 프레임워크에 포함된 설명 알고리즘과 평가지표를 원하는 방식으로 자유롭게 활용할 수 있다.
현재 프레임워크에는 이미지, 텍스트, 시계열, 표 데이터 등 다양한 데이터유형을 지원하는 설명 알고리즘들이 제공되고 있다. 특히, 서울대학교(2세부 연구책임자 한보형교수)와 협력을 통해 뇌MRI 기반 알츠하이머병 진단모델에 대한 반예제 설명 알고리즘을 지원하였고, 서강대학교(3세부 연구책임자 구명완교수)와 공동연구를 통해 마비말장애 진단모델에 PnPXAI 프레임워크의 설명 알고리즘을 적용하여 AI 기반 의사결정지원 시스템에서 설명성을 성공적으로 구현하기도 했다. 또한, 한국전자통신연구원(4세부 연구책임자 배경만박사)에서 개발한 LLM(대규모언어모델) 생성결과의 사실성을 검증하는 알고리즘을 프레임워크에 통합하는 등 지원 범위를 지속적으로 확장하고 있다.
KAIST 설명가능 인공지능연구센터 최재식 센터장은 “기존 설명가능 인공지능 도구들의 한계를 해결하고, 다양한 도메인에서 실질적으로 활용하기 쉬운 도구를 제공하기 위해 국내 최고의 연구진과 수년간 협력한 성과”라며, “이 프레임워크 공개를 통해 AI 기술의 신뢰성을 높여 상용화에 기여하는 것은 물론, 우리 연구센터가 설명가능 인공지능 분야의 글로벌 연구 생태계를 선도하는 중요한 발판을 마련했다는 점에서 의의가 있다”고 밝혔다.
PnPXAI 프레임워크는 현재 국내 및 국제특허 출원을 완료했으며, Apache 2.0 라이선스를 준수하는 경우 누구나 깃허브 페이지[링크]를 통해 사용할 수 있다. 한편, 이 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다. (No. RS-2022-II220984, 플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증)
2024.12.27 조회수 3730 -
KAIST 설명가능 인공지능연구센터, 2024 XAI 튜토리얼 시리즈 성황리 종료
국내 최대의 설명가능 인공지능(XAI) 연구조직인 KAIST 설명가능 인공지능연구센터(센터장 KAIST 최재식 교수)는 11월 5일부터 22일까지 7회에 걸쳐 설명가능 인공지능 튜토리얼 시리즈를 성공적으로 개최했다. 이번 튜토리얼에는 학생, 연구자, 기업 실무자 등 누적인원 총 530여 명이 참여하여 설명가능 인공지능 기술에 대한 높은 관심과 수요를 보여주었다.
행사는 XAI의 주요 알고리즘부터 최신 연구 주제까지, 총 16개 세션 발표로 진행되었다. 개회 강연으로 ‘설명가능 인공지능 최신 연구 동향’에 대해 최재식 교수가 발표하였고, 이어서 KAIST 설명가능 인공지능연구센터 소속 석·박사 과정 연구원들이 △주요 XAI 알고리즘 △XAI 알고리즘의 평가기법 △거대 언어모델(LLM), 이미지 생성모델, 시계열 데이터에 대한 설명성 △ XAI Framework, 의료 도메인 적용 사례를 주제로 발표했다. 튜토리얼 마지막날에는 독일 Fraunhofer HHI(Heinrich Hertz Institute) 소속 연구원들이 개념 기반 설명(Concept-based Explanations)을 주제로 최신 연구 결과를 공유했다. 또한 이강혜 변호사(법무법인(유) 태평양)가 AI의 신뢰성과 안전성을 확보하기 위한 국내외 AI규제 동향에 대해 초청강연을 했다.
행사를 주관한 최재식 교수는 “최근 국내외에서 AI규제와 입법화가 본격화되면서, AI시스템의 신뢰성, 안전성, 설명성 등이 필수적으로 요구되는 상황에서 학계와 산업계에 관련 기술 교육 프로그램을 폭넓게 제공하고자 했다”고 말했다. 특히 이번 행사는 KAIST 김재철 AI대학원 성남연구센터와 공동으로 주최해 성남시 소재 유관 기업들의 적극적인 참여를 이끌어냈다.
튜토리얼의 발표자료와 녹화영상은 행사 홈페이지에서 제공된다.
(https://xai.kaist.ac.kr/Tutorial/2024/)
KAIST 설명가능 인공지능연구센터는 AI 모델의 내부 구조를 해석하고, 모델의 의사결정 과정을 설명할 수 있는 알고리즘을 연구하며, 이를 의료, 금융, 제조 등 다양한 실제 도메인에 적용하는 산학 공동연구를 활발히 수행하고 있다. 본 연구센터는 사람중심인공지능 핵심원천기술개발사업의 일환으로 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 설립되었으며, 현재 KAIST 김재철AI대학원 성남연구센터에 위치하고 있다.
2024.11.29 조회수 3337 -
전우정 교수, 한국 법학자 최초 군사 AI통제 과학적 도전 밝혀
우리 대학 문술미래전략대학원 전우정 교수가 우리나라 법학자 최초로 세계 최고 과학 학술지인 네이처(Nature)의 자매지 ‘네이처 일렉트로닉스(Nature Electronics)'의 코리스판던스(Correspondance) 섹션에 군사 AI 통제의 과학적 도전에 관한 기고문을 게재했다고 8일 밝혔다.
지난 9월 9일부터 10일까지 서울에서 개최된 ‘2024 인공지능(AI)의 책임 있는 군사적 이용에 관한 고위급 회의(REAIM 2024)'에서 군사 AI 거버넌스에 중요한 진전이 이뤄졌다. 우리나라 뿐만 아니라 네덜란드, 싱가포르, 케냐, 영국이 공동 주최국으로 참여한 이 회의에서 미국, 독일, 프랑스, 일본 등 61개국이 ‘행동을 위한 청사진(Blueprint for Action)'을 채택했다. 이후 두 개 국가가 추가로 동참해 현재 총 63개국이 채택하고 있다.
전우정 교수는 이번 기고문에서 군사 분야의 AI 활용에 대한 이러한 원칙들을 과학적·기술적 조치로 실천하는 데 상당한 어려움이 있음을 강조했다. 이는 전 세계 과학계의 관심과 노력이 필요하다고 밝혔다.
전 교수는 현대 전쟁에서 AI의 역할을 강조하며, AI가 육군, 해군, 공군뿐만 아니라 우주와 사이버 영역을 포함한 5개 군사 분야를 연결하는 핵심 요소라고 지적했다. AI는 신속 정확한 의사 결정, 물류 최적화, 작전 계획, 인공위성 영상 분석, 드론 공격 목표 식별, 리스크 평가 등을 통해 전투 효율성을 높일 수 있지만, 알고리즘 결함이나 상황 오판 등으로 인해 의도치 않은 결과가 발생할 위험도 존재한다고 설명했다.
이러한 도전을 해결하기 위해 전 교수는 몇 가지 핵심 분야에서의 집중적인 연구와 국제 협력이 필요하다고 제안했다. 적군 AI 시스템과의 경쟁시 초(秒)를 다퉈 작전을 수행해야 하는 상황에서 의미 있는 인간의 통제를 보장하고, 핵 무기 통제 시스템에 AI를 통합할 때 발생할 수 있는 잠재적 리스크를 해결하며, 투명성과 작전 보안을 균형 있게 유지하는 설명 가능한 AI (eXplainable AI, XAI)를 개발해야 한다고 강조했다.
자세한 내용은 다음 ‘네이처 일렉트로닉스' 링크에서 확인할 수 있다.
https://www.nature.com/articles/s41928-024-01275-0
https://doi.org/10.1038/s41928-024-01275-0
(기고문 제목: Scientific challenges in governing military AI)
한편, 문술미래전략대학원 전우정 교수는 공군 예비역 대위로, 공군학사장교회 국제위원장으로 봉사하고 있다.
2024.11.08 조회수 3020 -
KCC 설명가능 인공지능(XAI) 워크숍 2024 개최
우리 대학 설명가능 인공지능연구센터(센터장 최재식)가 'KCC 설명가능 인공지능(XAI) 워크숍 2024'를 지난달 27일 제주 국제컨벤션센터에서 개최했다.올해 3월 EU의 인공지능법이 최종 통과된 후 인공지능 시스템에 대한 글로벌 규제가 현실화 되고 인공지능 모델의 투명성 향상과 규제 준수를 지원할 수 있는 설명가능 인공지능(eXplainable Artificial Intelligence, 약칭 XAI) 기술에 대한 관심이 높아지고 있다. 이와 같은 시대적 흐름에 대응하기 위해 개최된 이번 워크숍에는 관련 분야에서 활발히 연구 중인 국내 연구기관과 기업 관계자들이 교류하며 최신 연구 동향을 공유했다.서홍석 교수(고려대)와 박천음 교수(한밭대)는 각각 '멀티모달 대화형 인공지능 관련 연구 동향'과 'Multimodal Counterfactual reasoning을 이용한 자연어 해석 연구 동향'을 주제로 최근 활발한 연구가 진행 중인 멀티모달 인공지능 모델 연구 및 해석 동향을 강연했다.또한, 오순영 공동의장((사)과실연 미래포럼)은 '금융 및 은행에서의 설명가능 인공지능'을 주제로 금융 및 의료 분야에 설명가능 인공지능이 활용된 사례를 발표하고 김진우 대표(㈜HAII)의 '디지털 헬스에서의 설명가능 인공지능의 역할: 리피치* 사례를 중심으로' 강연이 진행됐다. *리피치(Repeech): 마비말장애 디지털 치료기기
이와 함께, 설명가능 인공지능 분야의 국제 표준화 그룹 리더인 이재호 교수(서울시립대)가 '프론티어 인공지능 신뢰성 기술과 정책'에 대해 발표했다.
이번 워크숍에서는 총 38편의 최신 연구논문이 발표됐다. 기존 설명가능 인공지능 알고리즘의 성능을 개선한 새로운 알고리즘, 대형언어모델(Large Language Model, 약칭 LLM) 등 생성형 AI모델에 대한 해석성 및 신뢰성 제공 기법, 도메인별 XAI 적용 사례에 대한 연구 내용이 소개됐다.
최우수논문상은 우리 대학 전기및전자공학부 노용만 교수팀(이병관, 박범찬, 김채원)의 '물체 수준 시각 프롬프트를 활용한 효율적인 대형언어시각모델'이 수상했다. 대형언어시각 모델(Large Language and Vision Model, LLVM)에서 모델 크기를 키우는 대신 물체 수준 이미지에서 이해가 가능한 새로운 기법을 도입해 인공지능 모델 성능을 향상시켰을 뿐만 아니라 인공지능 모델의 의사결정 과정에 대한 해석가능성을 크게 높였다는 점을 인정받았다. 행사를 주관한 설명가능 인공지능연구센터 최재식 센터장은 "이번 워크숍이 인공지능 기술의 투명성과 신뢰성을 높이는 데 중요한 역할을 하는 설명가능 인공지능(XAI)에 대한 최신 연구 동향을 교류하는 구심점이 되어, 다양한 산업 분야에 설명가능 인공지능(XAI) 기술을 적용하는 계기가 되길 바란다"라고 밝혔다.이번 행사는 정보통신기획평가원의 '사람중심 인공지능 핵심원천기술개발사업(과제명: 사용자 맞춤형 플러그앤플레이 방식의 설명가능성 제공 기술 개발)' 지원으로 개최되었다. 이번 워크숍에 대한 자세한 정보는 우리 대학 설명가능 인공지능센터 홈페이지에서 확인할 수 있다.(https://xai.kaist.ac.kr/xai-workshop/2024/)
2024.07.08 조회수 3912 -
설명해주는 인공지능 구현을 위한 초저전력 하드웨어 기술 개발
우리 대학 신소재공학과 김경민 교수 연구팀이 다양한 멤리스터* 소자를 이용한 설명 가능한 인공지능 (XAI) 시스템을 구현하는데 성공했다고 25일 밝혔다.
*멤리스터 (Memristor): 메모리 (Memory)와 저항 (Resistor)의 합성어로, 입력 신호에 따라 소자의 저항 상태가 변하는 소자
최근 인공지능 (AI) 기술의 급속한 발전이 다양한 분야에서 성과를 이루고 있다. 이미지 인식, 음성 인식, 자연어 처리 등에서 AI의 적용 범위가 확대되며 우리의 일상생활에 깊숙이 자리 잡고 있다.
AI는 인간의 뉴런 구조를 모방해 만든 ‘인공신경망’을 기반으로, 적게는 수백만 개에서 많게는 수조 개에 달하는 매개변수를 통해 데이터를 분석하고 의사 결정을 내린다. 그러나 이 많은 매개변수로 인해 AI 모델의 동작 원리를 정확하게 이해하기 어렵고, 이는 통상적으로 블랙박스에 비유되곤 한다. AI가 어떤 기준으로 결정을 내는지 알 수 없다면, AI에 결함이나 오작동이 발생했을 때 이를 해결하기 어렵고, 이로 인해 AI가 적용되는 다양한 산업 분야에서 문제가 발생할 수 있다.
이에 대한 해답으로 제시된 것이 바로 설명 가능한 인공지능 (XAI)이다. XAI는 AI가 어떠한 결정을 내렸을 때, 그 근거가 무엇인지를 사람이 이해할 수 있도록 만드는 기술이다. <그림1> 생성형 AI 등 점점 더 복잡해지는 AI 기술의 등장으로 개발자, 사용자, 규제 기관 모두에게 XAI 시스템의 필요성이 강조되고 있다. 하지만, XAI는 일반적으로 엄청난 양의 데이터 처리를 요구하기 때문에, 이를 보다 효율적으로 동작할 수 있는 하드웨어 개발이 필요한 상황이다.
김경민 교수 연구팀은 교란(Perturbation) 기반 XAI 시스템을 서로 다른 멤리스터 소자를 이용해 하드웨어로 구현하는데 성공하였다. 세 가지 멤리스터 소자는 각각 휘발성 저항변화 특성, 아날로그 비휘발성 저항변화 특성, 아날로그 휘발성 저항변화 특성을 가지며 <그림 2>, 각 소자는 교란 기반 XAI 시스템의 필수적인 기능인 입력 데이터 교란, 벡터곱 연산, 그리고 신호 통합 기능을 수행한다.
연구팀은 개발된 XAI 하드웨어를 평가하기 위해, 흑백 패턴을 인식하는 신경망을 설계하였다. 여기에 개발한 XAI 하드웨어 시스템으로 설계한 신경망이 흑백 패턴을 인식하는 근거를 설명하였다. <그림3> 그 결과 기존 CMOS 기술 기반 시스템 대비 에너지 소비를 24배 감소하여 AI 판단의 이유를 제공하는 것을 확인하였다. <그림4>
KAIST 김경민 교수는 “AI 기술이 일상화되면서 AI 동작의 투명성 및 해석가능성이 중요해지고 있는데, 이번 연구는 다양한 종류의 멤리스터 소자를 이용해 AI 판단에 대한 근거를 제공하는 XAI 하드웨어 시스템을 구현할 수 있었다는 점에 큰 의의가 있다”며 “이 연구는 AI 의사 결정에 도달하는 과정을 이해하기 쉽게 설명을 제공함으로써 AI 시스템의 신뢰성 향상에 기여할 수 있어, 향후 의료, 금융, 법률 등 민감한 정보를 다루는 AI 기반 서비스에 적용될 수 있을 것으로 기대된다”고 밝혔다.
이번 연구는 KAIST 신소재공학과 송한찬 박사과정, 박우준 박사과정 학생이 공동 제1 저자로 참여했으며, 국제 학술지 ‘어드밴스드 머티리얼즈(Advanced Materials, IF: 29.4)’에 03월 20일 字 온라인 게재됐으며, 한국연구재단 중견연구사업, 차세대지능형반도체기술개발사업, PIM인공지능반도체핵심기술개발사업, 나노종합기술원 및 KAIST 도약연구사업의 지원을 받아 수행됐다. (논문명: Memristive Explainable Artificial Intelligence Hardware, 논문링크: https://doi.org/10.1002/adma.202400977)
2024.03.25 조회수 6207 -
KAIST 설명가능 인공지능연구센터, ‘KCC 2023 설명가능 인공지능(XAI) 워크샵’ 개최
우리 대학 설명가능 인공지능연구센터(센터장 최재식 교수)가 주관하여 ‘KCC 2023 설명가능 인공지능(XAI) 워크샵’을 6월 19일(월) 제주 오리엔탈호텔에서 개최했다.
본 워크샵은 ‘사람중심인공지능핵심원천기술개발’ 연구과제에 참여하고 있는 여러 대학 및 연구기관 연구진들의 기술교류 행사로, 설명가능 인공지능(eXplainable Artificial Intelligence, 이하 XAI) 연구 동향 및 참여기관별 연구 성과를 공유하고 연구진 간 교류를 확대하고자 하는 목적으로 개최되었다. XAI 기술은 인공지능 모델의 예측 및 생성 결과에 대한 근거를 인간이 이해할 수 있는 방식으로 설명하는 기술로서 최근 EU를 중심으로 AI 규제의 움직임이 구체화되는 상황에서 투명하고 신뢰할 수 있는 AI기술을 구현할 수 있는 기술로 주목 받고 있다.
정보통신기획평가원 이현규 PM의 환영사와 한국정보과학회 이원준 회장의 축사로 시작된 행사는 국내 인공지능 분야 석학 및 산업계 전문가의 초청강연과 총37편의 논문 발표로 진행되어 관련분야 연구진의 기술교류의 장을 제공했다.
초청강연에서는 ▲설명가능 인공지능 연구동향(KAIST/INEEJI 최재식 교수) ▲Explaining Visual Biases as Words via Vision-Language Foundation Models(KAIST 신진우 교수) ▲리걸테크 규제 및 표준화 동향(법무법인 디라이트 조원희 대표) ▲질의 기반 의미그래프와 적응형 메타학습을 이용한 생성형 요약 시스템(성균관대 고영중 교수) ▲법, 정책 이슈를 포함해서, 설명요구권의 구체화 과정에서의 알고리즘 공개와 영업비밀 관계(경희대 김윤명 교수) ▲화학공장의 연속생산공정에서 공정 Trouble 원인 분석을 위한 XAI 적용 사례 공유(SK디스커버리 신해빈 매니저) ▲다중 클래스 딥러닝의 의사결정에 대한 시각적 이유 설명(경북대 남우정 교수)이 소개되었다.
논문발표에서는 연구진들의 XAI 분야 연구 성과 발표가 이어졌다. 특히, ▲투자자 심리와 설명가능 인공지능 기법을 적용한 비선형 자산 변동성 예측 모델 개선(이승주(서울대), 박진성(서울대), 이재욱(서울대)) ▲로컬 그라디언트 정렬을 통한 강건한 해석 가능성(정석현(서울대), 주성환(성균관대), 허주연(Univ. of Cambridge), 아드리안 윌러(Univ. of Cambridge/The Alan Turing Institute), 문태섭(서울대))이 우수논문상을 수상했으며, XAI 알고리즘 분야 연구와 의료, 법률, 금융 등 실제 도메인에 XAI를 적용한 최신사례 발표가 이어져 참석자들의 관심이 높았다.
이번 행사로, AI 연구자뿐만 아니라 의료, 법률, 금융 등 다양한 산업분야 관련자들이 XAI 기술의 필요성에 대한 공감대를 확인했으며, 이에 따라 향후 국내 XAI 기술의 저변을 확대하고, 산학협력을 통해 연구개발의 방향성을 구체화시켜 나갈 수 있을 것으로 기대된다.
2023.07.01 조회수 4716 -
KAIST 설명가능 인공지능연구센터, XAI 기술 이해 저변을 넓히기 위한 튜토리얼 시리즈 개최
인공지능(AI) 기술 발전과 활용 분야가 확대되면서 다양한 AI 기반 서비스들이 등장하고 있다. 하지만 실제로는 어떤 원리로 작동하는지 이해하기 어려워 이용자 입장에서는 막연하게 느껴질 때가 많다. 이 같은 상황에서 국내 대표적인 설명가능 인공지능 연구그룹인 KAIST 설명가능 인공지능연구센터 (센터장 최재식 교수) 연구진이 지난 1월 26일부터 2월 16일까지 7회에 걸쳐 ‘설명가능 인공지능 (XAI, Explainable Artificial Intelligence)’ 알고리즘, 평가기법, 툴 등 XAI 분야의 주요 기술을 총망라하여 소개하는 튜토리얼 시리즈를 개최했다. 이 행사에는 관련 분야 연구자뿐만 아니라 AI 기술기반 제품을 개발 중인 기업(성남시 소재) 관계자 약 130여명이 신청하여 XAI에 대해 높아진 관심을 알 수 있었다. 센터장 최재식 교수는 “AI기술을 활용하는 산업에서 필수로 자리잡게 될 XAI 분야 기반 기술에 대한 교육 프로그램을 제공하여 유관 연구기관 및 기업들이 성과를 높이는 데에 기여하고자 한다”고 행사 취지를 밝혔다.
이번 KAIST XAI 튜토리얼 시리즈엔 KAIST 설명가능 인공지능연구센터 소속 석박사과정 연구원 총 11명과 센터장 최재식 교수, 그리고 초청 연사로서 박우진 교수(서울대 산업공학과), 서민준 교수(KAIST 김재철AI대학원) 등 국내외 전문가들이 강연을 담당해 △다양한 XAI 알고리즘 △XAI 알고리즘의 평가기법과 툴 △사용자 중심 XAI 인터페이스 △대규모 언어모델 기반 추론 기술로 최근 주목을 받고 있는 Chain of Thoughts 등을 주제로 발표했다.
‘설명가능 인공지능’이란 기계학습 및 딥러닝 모델이 내놓은 결과에 대해 왜 그런 결과가 나온 것인지를 사람이 이해할 수 있는 방식으로 설명해주는 기술이다. 예를 들어, 자율주행차가 주행 중 장애물을 발견하여 급정거를 했을 때 왜 그런 판단을 했는지 사람에게 설명할 수 있어야 한다. 그래야 사고 위험을 줄일 수 있고 오작동 시 책임 소재도 가릴 수 있다. 최근 딥러닝 알고리즘의 성능이 향상되고 있지만 아직까지는 사용자들이 내부 로직에 대해 이해할 수 있는 설명을 제공하는 기술까지 적용된 사례는 많지 않다. 앞으로 다양한 산업분야에서 인공지능 기술을 도입함에 따라 적용된 AI기술에 대한 신뢰성과 투명성을 담보하기 위해서 반드시 함께 제공되어야 하는 것이 설명가능 인공지능 기술이라고 볼 수 있다.
KAIST 설명가능 인공지능연구센터 (http://xai.kaist.ac.kr)는 사람중심인공지능 핵심원천기술개발(R&D)사업의 일환으로 과학기술정보통신부와 정보통신기획평가원(IITP)의 후원으로 설립된 연구조직으로서 현재 KAIST 김재철AI대학원 성남연구센터에 자리잡고 있다. 튜토리얼 자료와 동영상은 KAIST 설명가능 인공지능연구센터 홈페이지에서 제공될 예정이다. (관련 문의: 김나리 교수(nari.kim@kaist.ac.kr))
2023.02.15 조회수 7203 -
정밀한 시각적 판단을 추론한 새로운 인공지능 가속칩 개발
우리 대학 전기및전자공학부 윤찬현, 김주영 교수 연구팀이 설명 가능한 인공지능(eXplainable AI, XAI) 기법을 처리하기 위한 노이즈(잡음)에 강한 다중 피라미드 활성화 맵 기반 주의집중 구조가 탑재된 인공지능 칩을 설계하고, 삼성전자 DS부문의 지원으로 설명가능 뉴로프로세싱 유닛(이하 EPU, Explainable neuro-Processing Unit)을 개발했다고 24일 밝혔다.
설명가능 인공지능이란 사람이 이해할 수 있고 신뢰할 수 있는 설명을 제공할 수 있는 인공지능 기법이다. 기존의 수학적 알고리즘으로 학습되는 인공지능은 학습예제에 편향되어 신뢰할 수 없거나, 수천억개의 매개변수를 사람이 이해할 수 없다는 문제점을 해결하기 위해, 왜 인공지능이 특정 결과를 추론했는지 판단근거를 설명할 수 있도록 개발되었다. 설명가능한 인공지능은 어떤 이유에 의해서 인공지능의 의사결정에 큰 영향을 주었는지 설명할 수 있다는 점에서 기존의 인공지능보다 정확성, 공정성, 신뢰성을 보장할 수 있다는 특징을 가진다.
공동연구팀은 다중 규모 및 다중물체의 특징 추출 구조인 피라미드형 신경망 구조에서 추론 결과에 영향을 주는 인공지능 내부의 신경층별 활성화되는 정도를 복합적으로 해석할 수 있는 인공지능 모델과 이를 가속처리 특화된 채널 방향 합성곱 연산 및 정확도를 유지하는 EPU칩을 구현했다.
다중 규모 및 다중물체 특징 추출에 특화된 피라미드형 인공지능 모델에서 설명 시각화 구현을 위해서는 추론 과정의 역방향으로 모든 합성곱 층별 활성화 맵에서 모델 파라미터의 변화도를 추출할 수 있는 구조가 요구된다.
그러나 역전파 계산 과정은 기존의 추론처리 가속을 위한 인공지능 칩 설계와 달리 이전 파라미터 및 상태를 기억해야 하며 이는 한정된 온 칩 메모리 크기 및 인공지능 모델 전체를 특정한 용도에 맞게 주문 제작(ASIC; Application Specific Integrated Circuit)해 구현하기에는 물리적 한계가 있다.
또한, 피라미드형 구조의 설명 가능한 인공지능 모델은 설명성 보장을 위한 N개 층의 활성화 맵으로부터 기울기 기반의 클래스 활성 맵핑 시각화 처리 각각 필요해 복잡도를 높이는 문제가 있다. 그리고, 입력의 매우 작은 노이즈에도 클래스 활성화 맵핑 시각화 설명이 완전히 달라져 설명 가능한 인공지능 모델의 신뢰도 저하가 큰 문제점이었다.
전기및전자공학부 윤찬현 교수 연구팀은 문제해결을 위해(그림1 참조) 설명 가능한 인공지능의 다중 활성화 맵 고유의 특성 정보를 융합해 전역 주의 집중 맵을 생성하는 네트워크 구조와 입력 이미지 노이즈에 강건한 모델 생성을 위한 상호학습 방법을 개발해, 단일 활성화 맵 기반 주의집중 맵 생성 기술에 비해 설명성 지표를 최대 6배가량 높였다.
또한, 다중 스케일의 다양한 주의집중 맵들의 상호 보완적인 특성을 일원화된 주의집중 맵으로 정교하게 재구성함으로써 사람이 해석 가능한 수준의 정밀한 설명성을 제공할 수 있게 했다. 이번 연구 성과를 통해 위성 영상과 같이 객체 크기 변화가 큰 이미지 분석에서 인공지능 모델의 설명성을 크게 향상할 수 있을 것으로 기대된다고 연구팀 관계자는 설명했다.
전기및전자공학부 김주영 교수 연구팀은 제안된 설명 가능한 인공지능 모델을 가속하기 위해 기존 모델의 추론과 역전파 과정에 더해 활성화 맵 생성까지 처리할 수 있는 XAI 코어를 개발하고, 다양한 연산 태스크를 유연하게 분할해 동시에 처리할 수 있는 멀티 데이터 플로우 방식을 제안했다. 또한, 많은 0 값을 포함하는 활성화 맵의 특성을 활용해, 연속된 0을 건너뛸 수 있는 새로운 데이터 압축 포맷을 제안하고 이를 지원하는 가속 유닛을 개발해 최대 10배 이상의 활성화 맵을 칩 내부에서 처리할 수 있도록 했다.
연구팀이 개발한 EPU 칩은 광학 위성, 전천후 관측 영상레이더(Synthetic Aperture Radar) 위성 등 특수 목적과 고정밀 인공지능 영상처리시스템에 적용할 수 있으며, 저지연‧저전력으로 인공지능 시스템의 판단 근거에 대한 설명성을 획기적으로 높일 수 있을 것으로 기대된다. 연구팀은 EPU 칩 개발 후속 연구를 진행할 계획이다.
2022.08.25 조회수 8297