연구
음악 창작자가 초기 아이디어를 생각하거나 창작 중간 막힐 때, 이를 같이 해결해 주고 다양한 음악적 방향 탐색에 실질적인 도움을 주는 동료가 있다면 얼마나 좋을까? KAIST 연구진이 이런 음악 창작을 돕는 동료 작가와 같은 AI 기술을 개발했다.
KAIST(총장 이광형)는 전기및전자공학부 이성주 교수 연구팀이 AI 기반 음악 창작 지원 시스템 어뮤즈(Amuse)를 개발하였다. 이 연구 결과는 4월 26일부터 5월 1일까지 일본 요코하마에서 열린 인간-컴퓨터 상호작용 분야 세계 최고 권위의 국제학술대회인 CHI(ACM Conference on Human Factors in Computing Systems)에서 전체 논문 중 상위 1%에게만 수여되는 최우수 논문상(Best Paper Award)을 수상했다고 7일 밝혔다.
< (왼쪽부터) 카네기 멜런대 크리스 도너휴 교수, 전기및전자공학부 김예원 박사과정, 이성주 교수 >
이성주 교수 연구팀이 개발한 어뮤즈(Amuse) 시스템은 텍스트, 이미지, 오디오와 같은 다양한 형식의 영감을 입력하면 이를 화성 구조(코드 진행)로 변환해 작곡을 지원해 주는 AI 기반 시스템이다.
예를 들어, 사용자가 ‘따뜻한 여름 해변의 기억’과 같은 문구나 이미지, 사운드 클립을 입력하면, 어뮤즈는 해당 영감에 어울리는 코드 진행을 자동으로 생성해 제안한다.
기존의 생성 AI와 달리, 어뮤즈는 사용자의 창작 흐름을 존중하고, AI의 제안을 유연하게 통합·수정할 수 있는 상호작용 방식을 통해 창의적 탐색을 자연스럽게 유도한다는 점에서 차별성을 갖는다.
어뮤즈 시스템의 핵심 기술은 대형 언어 모델의 이용해 사용자의 영감으로 프롬프트에 입력한 글자 따라 이에 어울리는 음악 코드를 생성하고, 실제 음악 데이터를 학습한 AI 모델이 부자연스럽거나 어색한 결과는 걸러내는(리젝션 샘플링) 과정을 거쳐 결합한 두 가지 방법을 자연스럽게 이어 재현하는 하이브리드 생성 방식이다.
< 그림. 어뮤즈(Amuse)의 시스템 구성. 사용자 입력으로부터 음악 키워드를 추출한 뒤, 대형 언어 모델 기반 코드 진행을 생성하고 리젝션 샘플링으로 정제한다(왼쪽). 오디오 입력으로부터 코드 추출도 가능하다(오른쪽). 하단은 생성된 코드의 화성 구조를 시각화한 예시이다. >
연구팀은 실제 뮤지션들을 대상으로 한 사용자 연구를 수행하여, 어뮤즈가 단순한 음악 생성 AI가 아닌, 사람과 AI가 협업하는 창작 동반자(Co-Creative AI)로서의 가능성이 높다는 평가를 받았다.
KAIST 전기 및 전자공학부 박사과정 김예원, 이성주 교수, 카네기 멜런 대학의 크리스 도너휴(Chris Donahue) 교수가 참여한 해당 논문은 학계 및 산업계 모두의 창의적 AI 시스템 설계의 가능성을 보여주었다.
※ 논문명 : Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations DOI : https://doi.org/10.1145/3706598.3713818
※ 연구 데모 영상: https://youtu.be/udilkRSnftI?si=FNXccC9EjxHOCrm1
※ 연구 홈페이지: https://nmsl.kaist.ac.kr/projects/amuse/
이성주 교수는 “ 최근 생성형 AI 기술은 저작권이 있는 콘텐츠를 그대로 모방하여 창작자의 저작권을 침해하거나, 창작자의 의도와는 무관하게 일방향으로 결과물을 생성한다는 점에서 우려를 낳고 있다. 이에 연구팀은 이러한 흐름에 문제 의식을 가지고, 창작자가 실제로 필요로 하는 것이 무엇인지에 주목하며 창작자 중심의 AI 시스템 설계에 주안점을 두었다.”라고 말했다.
이어 ”어뮤즈는 창작자의 주도권을 유지한 채, 인공지능과의 협업 가능성을 탐색하는 시도로, 향후 음악 창작 도구와 생성형 AI 시스템의 개발에 있어 보다 창작자 친화적인 방향을 제시하는 출발점이 될 것으로 기대된다.“라고 설명했다.
이 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행되었다.(RS-2024-00337007)
-
행사 ‘AI 시대 외로움 글로벌 컨퍼런스’ 개최
우리 대학은 오는 8월 18일(화) 오전 9시 30분부터 오후 6시까지 대전 본원 정근모콘퍼런스홀(E9)에서 ‘AI 시대 외로움 글로벌 컨퍼런스: AI 기반 외로움 측정 지표 AI-LOVI 출범(Global Conference on Loneliness in the Age of AI: Launching the AI Loneliness Vital Index)’을 개최한다고 12일 밝혔다. 이번 컨퍼런스에는 OECD와 WHO를 비롯해 영국·일본·태국·독일 등 국내외 정책·연구 전문가들이 참여해 AI 시대에 심화되는 외로움과 사회적 고립 문제를 과학적으로 측정하고 대응하기 위한 국제협력 방안을 논의한다. 우리 대학은 인공지능(AI), 음성·텍스트 분석, 바이오센싱, 웨어러블 기술 등 교내 연구 역량을 결집한 차세대 외로움 측정 체계 ‘AI 기반 외로움 측정 지표(AI-LOVI, AI Lon
2026-08-12 -
연구 1억 1천만 뉴스 댓글서 ‘외국발 여론 흔들기’ 찾는 AI 기술 개발
선거철마다 반복되는 온라인 갈등 뒤에 조직적인 여론 개입이 숨어 있다면 어떨까. 우리 대학 연구진이 20년간 축적된 1억 1,000만 건의 뉴스 댓글을 AI로 분석해, 외국 연계 영향력 활동으로 의심되는 흔적과 그 판단 근거까지 찾아내는 기술을 개발했다. 우리 대학은 문화기술대학원 이원재 교수, 전산학부 차미영 교수(독일 막스플랑크 연구소 단장 겸임), 오혜연 교수 공동연구팀이 막스플랑크 연구소 토르스텐 홀츠 교수와 국제 공동연구를 통해 온라인 뉴스 댓글에서 외국 연계 영향력 활동으로 의심되는 패턴을 자동으로 탐지하고, 그 판단 근거까지 제시하는 ‘설명 가능한 AI 기술’을 개발했다고 12일 밝혔다. 특정 세력이 댓글이나 게시물을 조직적으로 확산해 사람들의 인식이나 여론에 영향을 미치려는 활동을 ‘온라인 영향력 공작’이라고 한다. 기존 AI 탐지 기술은 특정 계정을 의심 계정으로 분류하더라도 “왜 이 계정을 의심하는가&
2026-08-12 -
연구 데이터 속도 맞춰 스스로 반응하는 '카멜레온 AI 반도체' 개발
AI 반도체도 이제‘눈치'를 본다. 기존 AI 반도체는 입력 신호에 반응하는 속도와 정보를 기억하는 시간이 한 번 정해지면 바꿀 수 없는‘고정된 반응 특성'을 가졌지만, 이제는 데이터의 변화 속도에 맞춰 스스로 반응하는 시대가 열렸다. 우리 대학 연구진은 이 기술로 시간에 따라 변하는 데이터의 예측 오류를 기존보다 최대 40배 줄였다. 자율주행차와 로봇, 웨어러블 기기의 실시간 AI 성능을 높일 핵심 원천기술로 기대된다. 우리 대학은 전기및전자공학부·반도체공학대학원 최신현 석좌교수 연구팀이 입력되는 데이터의 변화 속도에 따라 반응 특성을 자유롭게 바꿀 수 있는 새로운 AI 반도체 소자‘프로그래머블 동적 멤트랜지스터(Programmable Dynamic Memtransistor, PDM)'와 이를 집적한 어레이를 개발했다고 7일 밝혔다. 멤트랜지스터(Memtransistor)는 정보를 저장하는 메모리(Memory)와 계산을 수행하
2026-08-07 -
연구 AI 데이터센터 시대 '거대한 배터리' 상용화 앞당긴다
폭발적으로 늘어나는 AI 데이터센터 시대를 뒷받침할‘거대한 배터리'의 상용화가 한층 가까워졌다. 우리 대학 연구진이 대용량 배터리의 핵심 소재 생산 시간을 67% 줄이는 공정 기술을 개발해 상용화의 가장 큰 생산 병목을 해결했다. 우리 대학은 생명화학공학과 김희탁 교수 연구팀이 대용량 에너지저장장치(ESS)의 유력 후보인 바나듐 레독스 흐름전지(VRFB)의 핵심 전해질을 빠르고 안정적으로 생산하는 공정을 개발했다고 5일 밝혔다. 최근 24시간 끊임없이 가동되는 AI 데이터센터가 급증하면서 태양광과 풍력 등 재생에너지로 생산한 전기를 대량으로 저장했다가 필요할 때 안정적으로 공급하는 대용량 ESS의 중요성이 커지고 있다. 특히 바나듐 레독스 흐름전지는 화재 위험이 거의 없고, 전해질을 담는 탱크만 크게 만들면 저장 용량도 쉽게 늘릴 수 있어 AI 데이터센터와 재생에너지용 초대형 배터리로 주목받고 있다. 그러나 배터리의‘연료' 역할을 하는 바나듐 전해질
2026-08-05 -
행사 피지컬 AI 인재 키운다…KAIST·서울대 100시간 로봇 해커톤 개최
AI가 글을 쓰고 그림을 그리던 화면 밖으로 나와 현실 세계를 보고 움직이는 피지컬 AI(Physical AI) 시대가 열리고 있다. 우리 대학이 학생들의 상상을 실제 움직이는 로봇으로 구현하는 100시간의 도전을 통해 피지컬 AI 인재 양성에 나선다. 우리 대학은 우리 대학과 서울대학교 학생들이 만든 연합단체 로보틱어스(RoboticUS)가 8월 3일부터 8일까지 KAIST에서 ‘제1회 로봇 해커톤’을 개최한다고 4일 밝혔다. 배충식 KAIST 총장은 “피지컬 AI 시대에는 AI를 잘 만드는 것을 넘어 AI를 기반으로 실제 세상을 움직이는 로봇과 시스템을 설계하고 구현할 수 있는 융합형 인재가 필요하다”며 “학생들이 스스로 기획하고 운영한 이번 해커톤은 KAIST의 도전과 협업 문화를 보여주는 좋은 사례이며, 미래 기술을 현실로 구현하는 새로운 교육 모델이 될 것으로 기대한다”고 말했다. 이번 해커톤은 이러한
2026-08-04