< (왼쪽부터) 전산학부 김민수 교수, 이명화 박사과정, 안선호 석사과정 >
기업 내외의 상황에 따라 끊임없이 새롭게 결정해야 하는 기업 의사결정 문제는 지난 수십 년간 기업들이 전문적인 데이터 분석팀과 고가의 상용 데이터베이스 솔루션들을 통해 해결해 왔는데, 우리 연구진이 최초로 거대언어모델을 이용하여 풀어내어 화제다.
우리 대학 전산학부 김민수 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(일명 계획 RAG, PlanRAG)을 개발했다고 19일 밝혔다.
거대언어모델은 매우 방대한 데이터를 학습했기 때문에 학습에 사용된 바 없는 데이터를 바탕으로 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 문제점들이 지적되었다. 이런 문제들을 해결하기 위해 거대언어모델이 학습된 내용만으로 답변하는 것 대신, 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 최근 각광받고 있다.
그러나, 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색하여 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐으며, 이는 현재까지 개발된 가장 최신의 기술이다.
연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고, 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다.
< 그림 1. Europa Universalis IV에 기반하여 제작된 의사결정 질의응답 벤치마크의 문제 상황과, PlanRAG 기반 LLM이 세 단계의 의사결정 과정에 따라 문제를 해결하는 예시(영문에서 번역된 내용). 이 문제는 국가간의 무역 경쟁이 있는 대항해시대를 배경으로 하며, LLM은 국가의 이익을 최대로 하기 위한 무역 거점(붉은 점으로 표시됨)을 결정하여야 한다. 예시에서는 LLM이 BAH 라는 국가의 이익을 최대로 하기 위해서 국제 무역에 관한 데이터베이스와 규칙을 확인하고, Doab 무역 거점에 상인을 배치하는 의사결정을 한다. 종래의 RAG 기술들은 단계 1을 수행하지 않는다. >
계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후, 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.
이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하며, 다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다. 계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다. 그리고 해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다. 이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용하여 내리는데 적용되기를 기대한다”고 말했다.
이번 연구에는 김 교수의 제자인 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했으며, 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 6월 17일 발표됐다. (논문 제목: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
우리 대학 바이오혁신경영전문대학원(원장 권영선)이 우리나라 바이오벤처 생태계를 강화하기 위해 국내 최초의 산학 연계 '바이오벤처 엑셀러레이션 프로그램'을 3월 9일 시작했다. 설립 3년 이내의 창업 초기 단계의 바이오벤처기업을 지원하기 위해 마련된 이 프로그램은 선정된 회사들에게 3개월에 걸쳐 사업모델 검토, 시장 및 경쟁환경 분석, 주요 R&D 마일스톤, 재무 및 조직 운영계획 등 실질적인 회사 발전 전략 수립을 지원한다. 이를 위해 강지수 BNH Investment 전무이사, 김도형 온 힐 대표(前 노터스 대표), 김희경 KAIST 겸임교수(前 카인사이언스 대표, 前 삼성바이오에피스 임상의학 총괄), 이마세 인벤티지랩 CSO(前 동화약품 연구소장)를 포함해 국내 제약바이오산업 업계 최고의 전문가들이 자문위원으로 참여한다. 바이오혁신경영전문대학원은 공모를 통해 참여 기업을 모집한 후 지난달 29일 자문위원들의 심사를 거쳐 (주)엘레노바, 엔지틴, (주)프리
2024-03-11우리 대학이 2024년 창업기업 100개 배출을 목표로 새로운 창업 지원 프로그램을 시행한다. 오는 22일부터 참여 기업을 모집하는 'IR 컨설팅(IR Consulting)'은 딥 테크놀로지를 활용하는 우수 교원 창업기업을 대상으로 한다. 세계 시장에서 기업 가치와 기술 가치를 보다 공정하게 평가받을 수 있도록 체계적인 프로그램을 설계한 것이 특징이다. 이를 위해, 우리 대학 창업원(원장 배현민)은 창업 전문가로 구성된 TF를 꾸려 컨설팅을 희망하는 교원 창업기업을 지원할 계획이다. 투자 유치를 위해 필요한 시장성·경제성·권리성을 분석하고 더 나아가 마케팅·사업 추진·엑시트 전략 등을 함께 수립한다. 우수 교원 창업기업이 지속 가능한 성장을 이뤄갈 수 있도록 전 단계를 관리하는 것이 골자다. 또한, 창업기업의 비즈니스 모델을 고도화하고 해당 기술에 대한 산업계의 수요를 선제적으로 발굴하고 연계해 개발 기술을 활용할 수 있는
2024-01-18우리 대학 중소기업R&D공유센터(센터장 장영재)가 '중소기업 기술혁신을 위한 산학협력 전략과 사례' 워크숍을 지난 21일 파크하얏트 부산에서 개최했다. 중소기업R&D공유센터는 과학기술정보통신부 지원으로 2021년 개소했다. 4대 과기원(KAIST·GIST·DGIST·UNIST)에 재직 중인 24명의 교수와 84명의 연구원이 43개 기술혁신형 중소기업과 장기적인 팀을 이루어 6개 기술 분과를 구성했다. 이들은 연구실 전략기술 로드맵 개발, 기술이전 및 사업화, 기술 자문, 기술개발 사업 제안서 작성, 교육, 시험분석 장비 지원 등을 꾸준히 수행해 왔다.지난 3년간의 중소기업 기술혁신 및 활성화를 위해 노력한 결과를 돌아보고, 산학연 플랫폼으로써 한 단계 도약하는 방안을 논의하기 위해 마련된 이날 행사에는 4대 과기원의 우수 연구진과 파트너 중소기업 관계자 등 30여 명이 참석했다.참석자들은 기존의 네트워크를 기반으로 향후 산학
2023-12-29우리 대학이 미래 모빌리티 분야의 핵심기술 확보를 위해 새로운 형태의 밀착형 산-학 협력 모델과 대전시(시장 이장우)와 협약을 통해 '딥모빌리티 컨소시엄' 출범식을 4일 문지캠퍼스에서 개최했다.우리 대학은 모빌리티 분야에서 국내 최초로 학계 중심의 다기관 회원제 컨소시엄을 구축하고, 참여기업의 연회비를 기반으로 개방형 통합 모빌리티 플랫폼을 개발할 예정이다. 또한, 대전시는 이번 업무협약을 근거로 관내 일부 도로를 리빙랩으로 조성해 컨소시엄에서 개발된 연구 성과의 실용화를 지원한다. 현재, 글로벌 모빌리티 산업계는 기존 차량 제조사 중심의 수직적 생태계에서 벗어나 소프트웨어 및 서비스 업체를 포함한 수평적 생태계로 급격하게 전환 중이다. 이러한 변화에 국내 산업계가 효과적으로 대응하기 위해서는 차량-인프라-서비스 부문 간의 유기적 연계뿐만 아니라 새로운 기술에 대한 제도적 장치 마련을 위한 산-학-연-관 간의 효율적인 협력의 장이 요구된다. 이에 우리 대학은 '단일 교수
2023-12-04우리 대학 제조AI빅데이터센터가 중소 제조기업의 애로사항을 창의적인 인공지능(AI) 아이디어로 해결하는 '제3회 K-인공지능 제조데이터 분석 경진대회' 시상식을 지난달 28일 서울 양재동 aT센터에서 개최했다. 중소벤처기업부(장관 이영, 이하 중기부), 스마트제조혁신추진단(단장 안광현, 이하 추진단)과 공동 주최한 이번 경진대회는 우수한 제조 인공지능 분석 인재를 발굴 및 육성하기 위해 올해 세 번째로 개최됐다.제조데이터 인공지능 분석에 관심 있는 19세 이상의 국민을 대상으로 지난 9월 말부터 참가자를 모집한 결과 3인 이내로 자유롭게 구성된 184개 팀, 389명이 신청을 완료했다. 각 팀은 10월 23일 KAMP*의 열처리 품질보증 제조AI데이터셋**을 활용해 뿌리기업 현장 개선 아이디어를 제시하고 알고리즘으로 구현하는 과제를 부여받아 본격적인 대회 일정에 돌입했다. ☞ KAMP: 인공지능(AI) 중소벤처 제조 플랫폼(Korea AI Manufacturin
2023-12-04