-
혐오 발언 탐지의 문화적 차이 해결, NAACL 2024에서 Resource Award 수상
전산학부 Users & Information Lab. 연구실의 오혜연 교수와 제1저자 석사과정 이나연(오혜연 교수 지도 학생)의 연구가 지난 6월 16일부터 21일까지 멕시코시티에서 열린 '2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics' (NAACL 2024) 국제 학회에서 '교차 문화적 데이터셋 구축을 통한 영어 혐오 발언 어노테이션의 문화 간 차이와 영향 분석(Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis)'에 관한 논문으로 '리소스 어워드(Resource Award)'를 수상했다.
NAACL은 자연어처리 분야에서 최고 권위를 자랑하는 국제 학회로, 올해는 2,434편의 논문이 제출되었으며 그 중 565편만이 채택되었다 (채택률 23.2％).
Resource Award는 학회에서 주어지는 특별한 상 중 하나로, 제출 논문 중 혁신성, 활용 가능성, 영향력, 품질을 고려하여 선정된다.
이번 수상 연구는 교차 문화적 영어 혐오 발언 데이터셋을 구축하고, 문화 간 어노테이션 차이와 대형 언어 모델의 편향성을 분석하여 영어 혐오 발언 분류기의 문화적 민감성을 향상시키는 데 기여했다는점에서 높은 평가를 받았다.
이번 연구에는 KAIST 전산학부의 이나연, 정찬이, 명준호, 진지호 학생들과 Cardiff University의 Jose Camacho-Collados 교수, KAIST 전산학부의 김주호 교수, 오혜연 교수가 참여하였다. 본 연구는 미국, 호주, 영국, 싱가포르, 남아프리카 공화국의 5개 영어권 국가에서 수집된 데이터와 어노테이션을 기반으로 하여, 각국의 문화적 배경이 혐오 발언 어노테이션에 미치는 영향을 분석했다. 이를 통해 문화적 배경이 혐오 발언 인식에 미치는 중요한 차이를 밝혀냈으며, 특히 서구권 국가와 다른 문화적 맥락을 가진 국가 간의 어노테이션 차이가 두드러짐을 보였다.
오혜연 교수와 이나연 학생은 "이번 연구를 통해 혐오 발언 탐지에 있어 문화적 차이의 중요성을 밝힐 수 있어 기쁩니다. 연구팀의 노력 덕분에 이러한 성과를 얻을 수 있었으며, 앞으로도 자연어처리 분야에서 문화적 다양성을 고려한 연구를 지속해 나가겠습니다."라고 소감을 전했다.
이번 수상은 KAIST 연구팀의 혁신적인 접근과 자연어처리 분야에서의 문화 간 연구의 중요성을 국제적으로 인정받은 결과이다. 이는 앞으로 관련 연구 발전에 큰 기여를 할 것으로 기대된다.
연구 결과는 혐오 발언 탐지 분야뿐만 아니라, 다문화 사회에서의 인공지능 윤리와 문화적 편향성 해소 등 다양한 분야에 활용될 수 있을 것으로 기대된다.
자세한 내용은 논문 링크(https://aclanthology.org/2024.naacl-long.236)에서 확인할 수 있다.
2024.07.16
조회수 3518
-
멀티모달 대형언어모델이 GPT-4V를 뛰어넘다
멀티모달 대형 언어모델이란 텍스트뿐만 아니라 이미지 데이터 유형까지 처리할 수 있는 초대형 언어모델을 말한다. 해외 대형 기업의 풍부한 컴퓨팅 자원의 지원으로부터 인간의 뇌에 있는 신경망의 개수와 유사한 수준초대형모델들이 만들어지고 있으나 학계에서는 이런 개발이 쉽지 않았다. KAIST 연구진이 오픈AI의 GPT-4V와 구글의 제미나이-프로(Gemini-Pro)를 뛰어넘는 멀티모달 대형언어모델을 개발하여 화제다.
우리 대학 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4V 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다.
노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다고 밝혔다.
연구팀이 개발한 첫번째 기술인 ‘콜라보(CoLLaVO)’는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증해 보였다.
해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법‘크레용 프롬프트(Crayon Prompt)’라는 시각적 프롬프트를 새롭게 제안했다.
또한 시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 ‘듀얼 큐로라(Dual QLoRA)’를 제안했다. 이를 통해, 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 밝혔다.
두 번째 대형언어모델인 ‘모아이(MoAI)’는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들어졌다고 밝혔다.
이는 기존 멀티모달 대형언어모델이 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용하기 때문에, 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 지적하며 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다.
노용만 교수는 “연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있으며, 모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것이다”이라고 언급했다.
연구팀이 개발한 멀티모달 대형언어모델인 콜라보(CoLLaVO)와 모아이(MoAI)는 KAIST 전기및전자공학부 이병관 박사과정이 제1 저자로 참여하고 박범찬 석박사통합과정, 김채원 박사과정이 공동 저자로 참여했다.
콜라보(CoLLaVO)는 자연어 처리(NLP) 분야 최고의 국제 학회인 ‘Findings of the Association for Computational Linguistics(ACL Findings) 2024’에 5월 16일 자로 학회에 승인받았고, 모아이(MoAI)는 컴퓨터 비전 최고의 국제 학회인 ‘European Conference on Computer Vision(ECCV) 2024’학회 승인 결과를 기다리고 있다고 밝혔다.
한편 이번 연구는 KAIST 미래국방 인공지능 특화연구센터 및 전기및전자공학부의 지원을 받아 수행됐다.
[1] CoLLaVO 데모 GIF 영상
https://github.com/ByungKwanLee/CoLLaVO
[2] MoAI 데모 GIF 영상
https://github.com/ByungKwanLee/MoAI
2024.06.20
조회수 6822
-
기업 의사결정을 거대언어모델로 최초 해결
기업 내외의 상황에 따라 끊임없이 새롭게 결정해야 하는 기업 의사결정 문제는 지난 수십 년간 기업들이 전문적인 데이터 분석팀과 고가의 상용 데이터베이스 솔루션들을 통해 해결해 왔는데, 우리 연구진이 최초로 거대언어모델을 이용하여 풀어내어 화제다.
우리 대학 전산학부 김민수 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 세 가지가 주어졌을 때 거대언어모델을 이용해 의사결정에 필요한 정보를 데이터베이스로부터 찾고, 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술(일명 계획 RAG, PlanRAG)을 개발했다고 19일 밝혔다.
거대언어모델은 매우 방대한 데이터를 학습했기 때문에 학습에 사용된 바 없는 데이터를 바탕으로 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 문제점들이 지적되었다. 이런 문제들을 해결하기 위해 거대언어모델이 학습된 내용만으로 답변하는 것 대신, 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 최근 각광받고 있다.
그러나, 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색하여 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐으며, 이는 현재까지 개발된 가장 최신의 기술이다.
연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이르는 고난도 문제임을 보이고, 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다.
계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후, 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.
이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하며, 다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점이다. 계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다.
김민수 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다. 그리고 해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다. 이를 통해 기업들이 복잡한 비즈니스 상황에서 최적의 의사결정을 사람이 아닌 거대언어모델을 이용하여 내리는데 적용되기를 기대한다”고 말했다.
이번 연구에는 김 교수의 제자인 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했으며, 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 6월 17일 발표됐다. (논문 제목: PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers)
한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.
2024.06.19
조회수 4229
-
전산학부 박종철 교수 연구팀, ACL2023 Outstanding Paper Award 수상
우리 대학 전산학부 박종철 교수 연구팀이 2023년 7월 9일~13일 토론토에서 열린 ACL 2023 에서 Outstanding Paper Award를 수상했다.
연구팀의 획기적인 논문인 “Question-Answering in a Low-resourced Language: Benchmark Dataset and Models for Tigrinya“는 저자원 언어이며 동아프리카의 에리트레아와 에티오피아에서 사용되는 티그리냐를 다룬다.
연구팀은 티그리냐 질문-답변 데이터셋을 세계 최초로 구축하고 티그리냐로 작성된 문서를 읽고 답할 수 있는 언어모델을 만들었다.
이 상은 학회에 제출한 연구 중 상위 1.5~2.5％에게만 주어지는 의미 있는 상이다.
이 연구팀은 티그리냐와 다른 동아프리카 언어들에 대한 사전학습 언어 모델과 언어 식별 방법에 대한 연구를 LREC2022와 EMNLP2021 등 저명한 NLP 학회에 소개한 경험이 있다.
본 연구의 첫 번째 저자인 Fitsum은 전산학부 NLP＊CL 연구실의 박사과정 학생이다. 그의 연구는 현재 티그리냐 언어에 초점을 맞추고 있지만, 특정 언어를 넘어 연구의 지평을 확장하기 위해 노력하고 있다.
이 연구팀이 개발한 방법론, 데이터수집 방법, 어노테이션 툴, 그리고 모델은 언어 자원이 부족한 언어들에 대한 유용한 참고자료로 활용될 것으로 기대된다. 특히 이들의 연구는 최근 심각해 지고 있는 디지털 격차를 해소하기 위해 언어적으로 다양하고, 역사적으로 혜택을 받지 못했던 커뮤니티에 대등한 연구가 가능한 디지털 표현 방법을 제공하였다는 의미가 있다.
본 연구는 NLP＊CL 연구실에서 ACL 2023을 통해 발표한 다섯 편의 Long Paper (세 편은 메인 학술대회, 두 편은 Findings) 중 하나이다.
2023.07.18
조회수 3392
-
약물 상호작용 예측하는 美 FDA 수식, 틀렸다
여러 약물을 동시에 복용하면, 약물간의 상호작용에 의해 약효가 달라질 수 있다. 우리 대학 수리과학과 김재경 교수 연구팀(기초과학연구원 수리 및 계산 과학 연구단 의생명 수학 그룹 CI)은 채정우‧김상겸 충남대약대 교수팀과 공동으로 미국 식품의약국(FDA)이 사용을 권장하는 약물 상호작용 예측 수식이 부정확했던 원인을 규명하고, 정확도를 2배 이상 높인 새로운 수식을 제시했다.
체내 흡수된 약물은 간을 비롯한 여러 장기의 효소에 의해 대사되어 체내에서 사라진다. 두 가지 이상의 약을 함께 복용할 경우, 하나의 약이 다른 약의 대사를 변화시켜 체외 배설을 촉진하거나 억제할 수 있다. 목표로 한 치료 효과를 내지 못하거나 부작용이 발생할 가능성이 있다. 이를 ‘약물 상호작용(DDI)’이라고 한다.
약물 상호작용에 따라 약물의 제거 속도를 정확하게 예측하는 것은 의약품 처방 및 신약 개발에 있어 매우 중요하다. 의료진은 약물을 복합처방할 때 의약품 사용설명서에 명시된 약물 상호작용 정보를 토대로 처방을 내린다. 신약 개발 과정에서도 약물 상호작용을 필수로 연구하여 표시하도록 되어 있다.
FDA는 약물 상호작용을 평가하고, 다약제 복용 과정의 부작용을 최소화하기 위한 가이던스(Guidance‧지침서)를 1997년 처음 발행했다(2020년 1월 개정). 신약 개발과정에서 신약 후보물질과 시판된 모든 약물의 상호작용을 모두 평가하는 것이 현실적으로 불가능하기 때문에 FDA는 가이던스에서 제시한 수식을 활용해 약물 상호작용을 간접적으로 평가하도록 권고하고 있다.
문제는 이 수식의 정확도가 떨어진다는 점이다. FDA가 제시하는 수식은 효소의 반응속도를 설명하는 ‘미카엘레스-멘텐 식’을 기반으로 한다. 이 수식은 약물 대사에 관여하는 체내 효소의 농도가 낮다는 것을 전재로 한다. 연구진은 실제 간에서 약물 대사에 관여하는 효소 농도는 예측에 사용돼온 값보다 1000배 이상 높은 것으로 확인함으로써 기존 FDA 수식이 부정확한 원인을 찾았다.
채정우 충남대약대 교수는 “연구자들은 과학적인 근거가 부족한 인위적인 수를 곱하는 식으로 FDA의 수식을 보정해서 사용해왔다”며 “과거의 과학자들이 당시의 정설이던 천동설을 기반으로 행성의 움직임을 설명하기 위해 복잡한 궤도를 도입했던 것과 유사한 상황”이라고 말했다.
연구진은 수학-약학 협력연구를 통해 약물 상호작용을 설명할 수 있는 새로운 수식을 개발했다. 의심 없이 사용돼 온 기존 식 대신 효소의 농도에 상관없이 정확하게 약물의 대사 속도를 예측할 수 있는 새로운 수식을 유도했다.
이후, 새로 쓰인 수식을 이용해 약물 상호작용을 예측하고, 실제 실험으로 측정된 값과 비교했다. 그 결과, 인위적인 보정 없이도 예측 정확도가 2배 이상 증가한 것으로 확인됐다. 기존 FDA 수식은 약물 상호작용을 2배의 오차범위 내에서 예측한 비율이 38%인데 반해, 수정된 식은 80%에 달했다.
생물학적 제제를 제외한 대부분의 의약품은 FDA 가이던스에 따라 약물의 상호작용을 평가한다. 이 결과는 약효와 부작용에 직결된다. 정확한 수식을 활용한 약물 상호작용 연구 및 약물 처방이 필요한 이유다.
김상겸 충남대약대 교수는 “약물 상호작용 예측 정확도의 개선은 신약개발의 성공률과 임상에서의 약물 효율을 높이는데 기여할 것”이라며 “임상약리학 분야 최고의 저널에 논문을 발표한 만큼, 이번 연구결과에 따라 FDA 가이던스가 수정될 것으로 기대한다”고 말했다.
김재경 교수는 “수학과 약학의 협력 연구 덕분에 당연히 정답이라고 생각했던 수식을 수정하고, 인류의 건강한 삶을 위한 단서를 찾을 수 있었다”며 “미국 FDA 가이던스에 ‘K-수식’이 들어가길 꿈꿔본다”고 말했다.
이번 연구결과는 2022년 12월 15일(한국시간) 임상약리학 분야 권위지인 ‘임상약리학 및 약물치료학(Clinical Pharmacology and Therapeutics, IF 7.051)’ 온라인 판에 실렸다.
※ 논문명: Beyond the Michaelis-Menten: Accurate Prediction of Drug Interactions through Cytochrome P450 3A4 Induction
2023.01.09
조회수 8100
-
박성준 박사과정, 2019 구글 PhD 펠로우 선정
〈 박성준 박사과정 〉
우리 대학 전산학부 박성준 박사과정(지도교수 오혜연)이 2019년 구글 PhD 자연어처리(Natural Language Processing) 부문 펠로우에 선정됐다.
2009년부터 시작된 구글 PhD 펠로우십 프로그램은 매년 컴퓨터 과학과 관련된 유망한 분야에서 연구 업적이 훌륭하고 미래가 유망한 대학원생을 발굴하고 지원하는 프로그램이다.
선정된 학생들에게는 장학금과 펠로우십 서밋 참여, 인턴십 기회, 구글 각 분야의 전문가 멘토의 연구 토의 및 피드백 등을 제공한다.
올해는 북미, 유럽, 아시아, 아프리카의 대학에서 50여 명의 박사과정 학생들이 선발됐으며, 아시아에서는 한국 학생 3명을 포함해 10명의 학생이 선발됐다.
박성준 박사과정은 기계학습 기반 자연어처리 기법을 활용한 전산심리치료(Computational Psychotherapy) 관련 연구 성과를 인정받아 구글 PhD 펠로우에 선정됐다.
또한, 기계학습 기반 자연어처리에서 널리 사용되는 어휘의 분산표상 학습 기법을 한국어에 적용하는 방법을 제안했고, 학습된 분산표상을 해석하는 방법을 2017, 2018년에 각각 자연어처리 분야 최고 수준의 국제학술대회 ACL(Annual Conference of the Association for Computational Linguistics), EMNLP(Conference on Empirical Methods in Natural Language Processing)에 발표했다.
박 박사과정은 이를 확장해 심리상담 대화록에서 내담자의 언어 반응을 내담자 요인에 따라 분류하는 기준 및 기계학습 모델을 제안해 자연어처리 분야 최고 수준의 국제학술대회 NAACL(Annual Conference of the North American Chapter of the Association for Computational Linguistics)에서 발표했다.
최근에는 인공신경망 기반 대화 생성 모델 개발, 텍스트에서 복합적인 감정 추출 및 예측, 전산 심리치료 애플리케이션 개발 연구 또한 현재 활발하게 진행하고 있다.
2019.09.16
조회수 12483