연구
음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
< (왼쪽부터) 카네기 멜런대 크리스 도너휴 교수, 전기및전자공학부 김예원 박사과정, 이성주 교수 >
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
< 그림. 어뮤즈(Amuse)의 시스템 구성. 사용자 입력으로부터 음악 키워드를 추출한 뒤, 대형 언어 모델 기반 코드 진행을 생성하고 리젝션 샘플링으로 정제한다(왼쪽). 오디오 입력으로부터 코드 추출도 가능하다(오른쪽). 하단은 생성된 코드의 화성 구조를 시각화한 예시이다. >
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
-
연구 정보는 있는데 AI가 못 찾는다?...데이터 바뀌어도 최신 정보 놓치지 않는다
회사 규정이 바뀌어 새 문서가 올라왔는데도 사내 AI가 예전 규정을 찾아 답한다면 어떨까. 새로운 정보가 계속 추가되고 오래된 정보가 사라지면, AI는 정답이 되는 자료가 있어도 이를 제대로 찾지 못할 수 있다. 우리 대학 연구진이 데이터가 계속 바뀌어도 필요한 정보까지 찾아가는 ‘검색 길’을 유지해, AI가 최신 정보를 더 정확하고 빠르게 찾는 기술을 개발했다. 우리 대학은 전산학부 김민수 교수 연구팀이 데이터가 지속적으로 추가되고 삭제되는 환경에서도 높은 검색 정확도를 안정적으로 유지하는 동적 벡터 검색 기술인 ‘콘다(CONDA, Connectivity-Aware Dynamic Index)’를 개발했다고 5일 밝혔다. 생성형 AI는 학습이 끝난 뒤 새롭게 등장한 정보를 스스로 알지 못한다. 이를 보완하기 위해 최신 뉴스나 기업 내부 문서 등을 검색해 답변에 활용하는 ‘검색증강생성(RAG·Retrieval-A
2026-10-06 -
연구 움직임의 흐름 읽는 AI 반도체 개발…웨어러블 기기 활용 기대
몸에 착용하는 기기가 걷는 동작과 잠깐 팔을 흔드는 동작을 구별하려면 움직임의 흐름을 읽어야 한다. 한국 연구진은 반응 속도가 다른 반도체를 층층이 쌓아 방금 일어난 변화와 앞선 변화를 함께 읽는 기술을 개발했다. 향후 몸에 붙이거나 착용하는 작은 기기가 움직임과 몸의 신호를 분석하는 데 활용될 수 있다. 우리 대학은 AI시스템학과 권지민 교수 연구팀이 UNIST(총장 박종래), POSTECH(총장 김성근) 연구진과 함께 이온을 담은 소재를 단단한 얇은 막으로 만들고, 이를 이용해 반응 속도가 다른 반도체 소자를 여러 층으로 쌓는 데 성공했다고 29일 밝혔다. 이 반도체는 전기를 가하면 소재 안의 ‘이온’이 움직이면서 전류의 흐름이 바뀐다. 전기를 끊어도 이온이 원래 상태로 돌아오는 데는 시간이 걸린다. 종을 친 뒤 소리가 잠깐 남듯, 반도체에도 앞서 들어온 신호의 흔적이 잠시 남는 것이다. 연구팀은 그동안 단점으로 여겨졌던 이온의 느린 움직임을 지난
2026-09-29 -
행사 KAIST, 국내 최초 범용인공지능(AGI) 연구소 출범
학습한 문제를 잘 푸는 현재의 인공지능을 넘어, 처음 접하는 문제와 환경에서도 스스로 판단하고 적응할 수 있는 범용인공지능(Artificial General Intelligence, AGI) 원천기술 개발을 위해 우리 대학이 AGI 전담 연구소를 출범했다. 우리 대학은 지난 18일 내부 승인 절차를 마치고 AI연구원 산하에 AGI 연구소(AGI Research Institute)를 공식 출범했다고 밝혔다. 전산학부, AI컴퓨팅학과, 김재철AI대학원, 전기및전자공학부 소속 교수 11명이 참여하며, 김태균 전산학부 교수가 초대 소장을 맡았다. 연구진은 향후 참여 범위를 점차 확대할 계획이다. AGI 연구소는 기초연구를 통해 범용인공지능의 과학과 공학을 발전시키고 그 성과와 혜택을 사회에 환원하는 것을 목표로 한다. 특히 기존에 접하지 않은 과제와 환경, 데이터에서도 학습한 지식을 활용할 수 있는 AI의 ‘일반화(Generalization)’ 능력을 핵심
2026-09-22 -
연구 한 번 배운 풀이 기억…스마트폰 AI가 비슷한 문제 스스로 푼다
어려운 문제를 풀 때마다 전문가에게 다시 묻는 대신, 한 번 배운 풀이를 공책에 적어두고 비슷한 문제에 활용하는 AI 기술이 나왔다. 우리 대학 연구진은 스마트폰 속 소형 AI가 서버의 대형 AI에게서 얻은 지식을 기기에 쌓아두고 재사용하도록 해, 높은 정확도를 유지하면서 서버 호출을 평균 55.61% 줄였다. 비슷한 문제를 만날수록 서버에 덜 의존하고 더 빠르게 판단하는 모바일 AI의 가능성을 제시한 것이다. 우리 대학은 전산학부 이재길 교수 연구팀이 기기의 소형 AI와 서버의 대형 AI를 효율적으로 연결하는 기기-서버 협업 기술 ‘CURE(Cumulative Knowledge Reuse, 누적 지식 재사용)’를 개발했다고 21일 밝혔다. 스마트폰과 같은 기기는 계산 능력과 메모리가 제한돼 가벼운 소형 AI 모델을 주로 사용한다. 소형 모델은 간단한 문제는 빠르게 처리하지만, 복잡하거나 낯선 이미지를 구분할 때는 정확도가 떨어질 수 있다. 반대로 모든
2026-09-21 -
행사 KAIST-POSTECH ‘사이언스 워’…AI가 마리오 카트 몰고, 생성형 AI로 해킹
AI가 직접 ‘마리오 카트’를 몰고, 학생들은 생성형 AI까지 활용해 8시간 동안 해킹 실력을 겨룬다. 대한민국을 대표하는 두 이공계 대학 KAIST와 POSTECH 학생들이 과학기술과 스포츠를 넘나들며 자존심을 건 승부를 펼친다. 우리 대학과 POSTECH(총장 김성근)은 양교 간 정기 교류전인 ‘제23회 KAIST-POSTECH 학생대제전(이하 카포전)’을 오는 18일부터 19일까지 이틀간 POSTECH에서 개최한다고 18일 밝혔다. 2002년 시작된 카포전은 양교 학생들이 과학경기와 운동경기, 공연 등 다양한 프로그램을 통해 경쟁하고 교류하는 학생 축제다. 매년 9월 대전과 포항을 번갈아 개최하며, 원정 대학의 명칭을 앞에 표기하는 원칙에 따라 올해는 ‘카포전’으로 불린다. 이공계 학생들이 과학기술 역량까지 겨룬다는 점에서 ‘사이언스 워(Science War)’라는 별칭으로도 잘 알려져
2026-09-18