3D+%EC%8A%A4%EC%BC%80%EC%B9%AD
-
생성형 인공지능·가상현실 결합한 3D 스케칭 연구 본격화
우리 대학이 생성형 인공지능(generative AI)과 가상현실(VR)을 활용하여 초고속 생산성 시대를 열어가기 위한 본격적인 도전을 시작한다.
27일 대전 본원에 문을 연 'DRB-KAIST 스케치더퓨처 연구센터(센터장 배석형)'는 생성형 인공지능과 가상현실을 3D(3차원) 스케칭과 결합한 미래형 제품 개발 프로세스를 연구하기 위해 설립됐다.
로봇, 모빌리티, 인공 단백질과 같은 첨단 제조 산업 분야는 제품 개발 주기가 매우 길 뿐만 아니라, 설계 결함이 발견되면 다시 아이디어 발상 단계로 돌아가 실물 제작과 테스트까지의 모든 과정을 반복해야 한다. 또한, 복잡한 3차원 구조체가 한데 맞물려 움직이면서 고도의 기능을 수행하기 때문에, 기존 2차원 스크린 작업 환경에서는 설계 의도를 입력하거나 결과물을 해석하는 데 한계가 있었다.'DRB-KAIST 스케치더퓨처 연구센터'는 사람의 의도를 가장 빠르고 효과적으로 생성형 인공지능에 전달하는 수단으로 최신 가상현실 3D 스케칭 기술을 활용할 계획이다. 가상현실 몰입 공간 안에서 사람이 아이디어를 떠올리는 즉시 3D 스케칭으로 시각화하면, 인공지능이 이를 뼈대 삼아 구체화함으로써 실물을 제작하지 않고도 반복적으로 문제점을 수정해 점진적으로 완성도를 높일 수 있다.
이를 위해, ▴로봇 디자인 ▴모빌리티 디자인 ▴단백질 디자인을 3개 혁신 전략 분야로 삼고, 3D 스케칭 전문가인 배석형(산업디자인학과) 교수를 필두로 명현(전기및전자공학부), 박대형·성민혁(전산학부), 김경수·박해원·황보제민(기계공학과), 김호민(생명과학과) 교수 등 5개 학과 8명의 연구진과 KIST 박한범(뇌과학연구소) 박사가 범학제적으로 연구를 수행할 예정이다.
동일고무벨트 주식회사(대표 이윤환, 이하 DRB)는 연구센터를 통해 ▴정기 학술 워크숍 및 데모데이 개최 ▴DRB 연구원의 산학 교류 ▴DRB 매칭 조직의 신제품·신사업 탐색, ▴대규모 국가 연구개발 지원사업 합동 유치 추진 등을 진행한다. 기술혁명의 시대를 맞는 21세기 중후반에 대비한 새로운 기업 운영 체제를 만들어 가겠다는 포부다.
27일 오후 우리 대학 대전 본원 산업디자인학과동(N25)에서 개최된 개소식에는 이광형 총장, 배석형 센터장 등 KAIST 보직교수 및 센터 참여교수와 DRB 김세연 전략고문 및 임원진 등 30여 명이 참석했으며, 현판식이 함께 진행됐다.배석형 DRB-KAIST 스케치더퓨처 연구센터장은 "인공지능의 잠재력을 사람이 의도에 따라 자유자재로 부릴 수 있는 것이 핵심"이라며, "사람이 가진 고도의 창의성을 스케칭을 통해 자유롭게 발상하고 표현하는 연구는 앞으로 더욱 중요해질 것"이라고 강조했다.
2024.02.29 조회수 4403 -
디지털 펜으로 ´쓱쓱´ 그려 움직이는 3D 형상 ´뚝딱´ 만드는 시스템 개발
우리 대학 산업디자인학과 배석형 교수 연구팀이 종이 위에 그림을 그리는 듯한 펜 드로잉과 장난감을 손으로 다루는 듯한 멀티터치 제스처만으로 `움직이는 3D 스케치'를 쉽고 빠르게 만들 수 있는 새로운 시스템을 개발했다고 18일 밝혔다.
한때 공상과학 영화의 전유물이었으나 기술의 발전 덕분에 일상에서도 접할 수 있게 된 접이식 드론, 변신형 자동차, 다족 보행 로봇처럼 여러 움직이는 부분과 관절로 이뤄진 제품은 디자인할 때 형태뿐만 아니라 구조, 자세, 동작까지 동시에 고려해야 하므로 전문가도 많은 어려움을 겪는다.
기존의 3D 캐드(CAD) 소프트웨어는 정교한 형상 작업에 특화돼 있어 움직이는 모델 하나를 제작하는 데에도 많은 시간과 노력을 요구하는데, 특히 이는 다양한 가능성을 넓고 빠르게 탐색해야 하는 디자인 초기 과정에서 심각한 병목과 비용을 초래한다.
반면, 배 교수 연구팀은 모든 디자인은 종이 위에 펜으로 빠르게 그린 2D 스케치로부터 출발한다는 점에 주목하고 디자이너가 디지털 태블릿 위에 디지털 펜으로 자유롭게 표현한 2D 스케치로부터 입체 형상을 생성하는 `3D 스케칭' 기술을 개발해 왔다.
이번 연구에서 연구팀은 생성 중인 3D 스케치를 마치 장난감을 다루듯 두 손으로 조작할 수 있는 직관적인 멀티터치 제스처를 설계 및 구현함으로써 순식간에 살아 움직이는 입체 형상을 만들 수 있는 `움직이는 3D 스케칭' 기술을 완성했다(그림 1, 2).
우리 대학 산업디자인학과 이준협 박사과정 학생이 제1 저자로 참여한 해당 연구는 컴퓨터 그래픽스 분야 제1위 국제 학술지인 `ACM 트랜잭션 온 그래픽스(ACM Transactions on Graphics, 피인용지수: 7.403)'에 게재됐으며, 이와 연동돼 8월 초 캐나다 밴쿠버에서 개최된 최대 규모의 국제학술대회인 ACM 시그래프 2022(ACM SIGGRAPH 2022, h5-색인: 103)에 발표됐다(논문명: Rapid Design of Articulated Objects).
이번 시그래프(이하 SIGGRAPH)에는 전 세계 유수의 대학교 연구진, 마블(Marvel), 픽사(Pixar), 블리자드(Blizzard)와 같은 세계적인 애니메이션 사, 영화사, 게임사, 록히드 마틴(Lockheed Martin), 보스턴 다이내믹스(Boston Dynamics)와 같은 첨단 제조사를 비롯해, 메타(Meta), 로블록스(Roblox)와 같은 메타버스 관련 기업 관계자 1만여 명이 참가한 것으로 알려졌다.
배 교수 연구팀의 기술 논문(Technical Paper) 성과는 SIGGRAPH에서 유망한 신기술을 현장에서 시연하는 `이머징 테크놀로지(Emerging Technologies)' 프로그램에 초청됐을 뿐만 아니라, 그중에서도 Top 3 우수 기술로 선정, 특별 강연으로 소개됐다. 제2 저자인 KAIST 산업디자인학과 김한빛 박사과정 학생이 불과 10분 만에 유려한 형태의 동물 로봇을 그리고 움직여서 입체 동영상을 완성하는 모습은 현장에 모인 청중의 감탄을 자아냈고 심사위원단이 선정한 우수 전시상(Honorable Mention)을 수상하는 영광을 얻었다(그림 3).
이번 SIGGRAPH에서 기조연설을 맡은 에드윈 캐트멀(Edwin Catmull) 픽사 공동 창업자 / 前 회장도 이 연구를 두고 "매우 훌륭한 업적이자(really excellent work), 픽사의 창의력 넘치는 디자이너들에게 필요한 도구(the kind of tool that would be useful to Pixar's creative model designers)ˮ라며 높이 평가했다.
연구를 지도한 배석형 교수는 "디자이너가 생각하고 작업하는 방식에 가까이 다가갈수록 효과적인 디자인 도구를 만들 수 있다ˮ며, "직관적인 상호작용 방식을 통해 여러 상이한 알고리즘을 하나의 조화로운 시스템으로 통합하는 것이 핵심ˮ이라고 강조했다. 또한 "학생 개개인이 디자이너인 동시에 엔지니어를 지향하는 KAIST 산업디자인학과만의 융합적인 토양이기에 가능한 연구였다ˮ고 덧붙였다.
3D 공간에서 자유자재로 움직이는 입체 형상과 같은 수준 높은 창의적 결과물을 기존 방식에 비교할 수 없을 만큼 쉽고 빠르게 생성할 수 있어서 가까운 미래에 콘텐츠 산업, 제조 산업, 나아가 메타버스 산업의 디자인 실무 혁신에 크게 기여할 것으로 기대된다.
한편, 이번 연구는 과학기술정보통신부 및 한국연구재단의 지원을 받아 수행됐다.
- 웹사이트(다양한 움직이는 3D 스케치 예시 수록): https://sketch.kaist.ac.kr/publications/2022_siggraph_rapid_design
- ACM SIGGRAPH 2022 특별 강연(한글 자막 있음): https://www.youtube.com/watch?v=rsBl0QvSDqI
2022.08.18 조회수 9945 -
김용관 박사, BK21 사업 20주년 기념행사에서 3D 스케칭 공연 선보여
〈 김용관 박사의 3D 스케칭 시연 장면 〉
우리 대학 산업디자인학과 김용관 박사가 지난 6월 28일 서울 코엑스에서 열린 BK21 사업 20주년 기념 심포지엄 개막 무대에서 3D 스케칭 공연을 선보였다.
이날 공연은 유은혜 사회부총리 겸 교육부 장관을 비롯한 1천여 명의 정부 및 대학 관계자 앞에서 비상(飛上)이라는 제목으로 15분간 진행됐다. 김용관 박사는 디지털 펜과 태블릿을 이용해 다양한 3차원 형상의 비행기가 줄지어 날아오르는 장면을 연출해 20년 역사의 BK21 사업을 발판 삼아 앞으로 나아가는 대한민국 인재들의 미래를 표현했다.
현장에서 김용관 박사는 “BK21 사업의 지원으로 국내외 많은 산업 및 학계 종사자에게 최신 연구 성과를 적극적으로 홍보할 수 있었다”라며 “앞으로도 후배 연구자들에게 많은 도움 부탁드린다”고 말했다.
현재 KAIST 산업디자인학과 스케치랩(배석형 교수)에서 박사후연구원으로 재직 중인 김용관 박사는 2017년 손 자세 정보를 3D 스케칭에 활용하는 융합적 연구 성과를 인정받아 BK21 사업의 우수 연구 인력으로 부총리 표창을 받았다.
김용관 박사는 작년 8월 산업디자인학과에서 박사학위를 취득했으며, 같은 해 손 움직임 정보를 결합한 쾌속 3D 스케칭 기술로 ACM CHI 국제학술대회에서 최우수논문상을 수상한 바 있다.
2019.07.08 조회수 6756 -
배석형 교수, 3D 스케칭 통해 디자인 과정 획기적 단축 기술 개발
〈배석형 교수 연구팀. 왼쪽부터 이준협 석사, 배석형 교수, 김용관 박사, 안상균 석사과정〉
한 번쯤 자신의 그림이 종이에서 튀어나와 현실이 되는 것을 상상해봤을 것이다. 대부분 사람들에게는 단순히 즐거운 상상이지만 현장의 디자이너에게는 꼭 실현돼야 할 절실한 기술이다. 가전제품, 자동차, 게임 컨트롤러 등 장난감부터 일상 속 필수품까지 모든 입체 형상 디자인은 디자이너의 펜 끝에서 시작되기 때문이다.
디자이너의 그림이 현실로 나오기 위해서는 평면적 그림을 입체적 형상으로 바꾸는 작업이 반드시 필요하다. 화려해 보이지만 이 과정은 힘겨운 반복의 연속이다.
3D 형상을 머릿속으로 생각하며 여러 각도에서 바라본 그림을 수십 장 그린 뒤, 수정 및 보완을 거쳐 시제품을 만들어도 제품의 크기나 비율 등에서 원하는 결과가 나오지 않으면 처음부터 같은 과정을 반복해야 한다. 이는 제품 개발 과정에서 심각한 병목과 마찰을 일으켜 시간과 비용의 상승 원인이 된다.
우리 대학 산업디자인학과 배석형 교수 연구팀이 디자인 과정에서 발생하는 반복적인 작업을 획기적으로 단축시킬 수 있는 3D 스케칭 기술 ‘에어 스캐폴딩(air scaffolding)’을 개발했다.
연구팀의 기술은 지난 4월 캐나다 몬트리올에서 열린 ‘미 컴퓨터협회 인간-컴퓨터 상호작용 학회(ACM CHI 2018)’에서 전체 2천 500여 편의 논문 중 상위 1퍼센트에게만 주어지는 최우수 논문상을 수상했다.
평면 그림을 입체 형상으로 변환하는 과정은 왜 어려운 것일까. 입체 형상을 카메라로 찍거나 그림으로 표현하면 깊이 정보의 손실이 발생한다. 반대로 평면 그림, 사진으로부터 입체 형상을 만들 때는 존재하지 않는 정보가 추가적으로 필요하다. 특히 직접 그린 부정확한 그림에서 의도에 부합하는 입체 형상을 유추하는 것은 매우 어렵다.
3D 스케칭 기술은 이러한 어려움을 극복하기 위해 활발히 연구된 기술이다. 가상의 3차원 공간 안에 스케치한 그림을 돌려보거나 앞뒤로 이동하며 평면 그림에서 얻을 수 없던 입체 형상 정보를 채울 수 있다. 결과적으로 복잡한 3D 캐드 모델링 소프트웨어를 사용하지 않아도 펜과 종이를 사용하듯 입체 형상을 곧바로 그릴 수 있다.
그러나 가상현실 기술의 대중화와 더불어 주목받고 있는 기존의 공중 3D 스케칭 기술은 전체 스케칭 과정을 공중에서의 부정확한 손 움직임에 의존하기 때문에 정교한 결과물을 생성하지 못하고 장시간 사용 시 피로를 유발한다는 단점이 있었다.
배 교수 연구팀은 기존 기술의 단점을 보완해 2016년 ‘스케칭위드핸즈(SketchingWithHands)’라는 3D 스케칭 기술을 개발한 바 있다. 공중의 손 자세 정보와 태블릿 상 펜 드로잉 기법을 결합한 것으로, 적외선 손 추적 센서로 손 모양을 캡처한 뒤 그 손 정보를 3D 캔버스 안에 넣어 정보를 토대로 스케치를 할 수 있는 기술이다.
디자인 초기 단계에서부터 정확한 3차원 손 정보가 입력됐기 때문에 이를 여러 각도로 관찰해가며 아이디어를 빠르게 표현할 수 있고 즉각적인 수정 보완이 가능하다. 위에서 언급한 수 없이 반복되는 디자인 과정을 대폭 줄일 수 있다.
연구팀은 2018년 이 기술을 발전시켜 ‘에어 스캐폴딩(air scaffolding)’을 개발했다. 이전 버전이 손 정보 기반 기술이기 때문에 손으로 쥐는 제품에 국한됐다면 에어 스캐폴딩 기술은 손의 움직임 정보까지 함께 활용함으로써 한 손에 쥐기 힘든 더 큰 규모의 제품에도 적용할 수 있다.
가령 디자이너가 인라인 스케이트 제품을 디자인한다고 가정했을 때, 상상 속의 스케이트를 쓰다듬듯이 공중에서 손을 움직여 대략적 크기와 비율을 나타내면 적외선 손 추적 센서가 측정한 손 관절의 3D 이동 경로로부터 입체 그물망 형태의 밑그림(scaffolding)이 실시간으로 추출되는 것이다. 이를 통해 정확한 크기와 비율의 인라인 스케이트의 입체적 형상 디자인을 완성할 수 있다.
이 프로그램을 통해 대략적인 정보는 손으로 신속하게 입력한 뒤 세밀한 부분은 태블릿에 펜으로 채워 넣음으로써 상호 보완적인 디자인 작업이 가능해진다. 컴퓨터 소프트웨어를 아이디어 개발 과정에서부터 사용함으로써 종이에 그린 아이디어를 모델링 소프트웨어에서 다시 만들어내는 번거로운 과정을 없앤 것이다.
연구팀의 기술은 디자인 실무에 3D 스케칭의 적용 가능성을 높였을 뿐 아니라, 모두가 일상에서 손쉽게 입체적으로 아이디어를 표현하고 공유할 수 있는 기반을 제공했다. 더 나아가 3D 프린팅 등 스마트 생산 기술과 연계돼 빠르고 유연한 제조 혁신에 기여할 수 있을 것으로 기대된다.
연구를 주도한 김용관 박사는 “인간-컴퓨터 상호작용(HCI) 분야 최고의 국제 학회에서 최고의 상을 받아서 기쁘다”며 “학문적인 성공에 그치지 않고 다양한 디자인 현장에서 모든 디자이너가 직관적으로 사용하는 성공적인 제품을 만들고 싶다”고 말했다.
배 교수 연구팀은 디자인 중심의 연구실임에도 불구하고 2016년 ‘스케칭위드핸즈’ 이전에도 아이러브스케치(2008), 에브리바디러브스케치(2009) 등 지속적으로 소프트웨어를 개발하고 있다. 끊임없이 실용적인 3D 스케칭 기술 개발을 통해 디자인 프로세스의 유용성을 찾고 혁신을 시도하는 것이 연구팀의 궁극적 지향점이다.
배석형 교수는 “진보한 컴퓨터 기술을 활용해 다양한 분야의 창의적인 활동을 돕기 위한 시도들이 이뤄지고 있다. 앞으로도 디자이너에 대한 깊은 이해를 바탕으로 첨단 기술을 적용해 디자인 프로세스 혁신에 주도적 역할을 해 나갈 것이다”고 말했다.
□ 그림 설명
그림1. 연구팀이 개발한 에어 스캐폴딩 기술
그림2. ACM CHI 2018에서 시연 중인 에어 스캐폴딩 기술
2018.08.09 조회수 10159