본문 바로가기
대메뉴 바로가기
KAIST
뉴스
유틸열기
홈페이지 통합검색
-
검색
ENGLISH
메뉴 열기
%EB%B9%84%EB%94%94%EC%98%A4
최신순
조회순
세계 최고 수준의 이벤트 카메라 기반 비디오 보간 기술 개발
비디오 보간은 비디오 사이의 새로운 프레임을 생성하여 프레임률을 높이고 비디오 내 부드러운 모션을 구현하는 기술이다. 전 세계적으로 많은 연구진이 RGB 카메라만을 사용하여 비디오 보간을 수행하였다. 하지만, 프레임 사이의 움직임 정보의 부재로 인하여 복잡한 상황에서 비디오 보간 성능의 한계를 지닌다. 특히, 현실적인 상황에서 발생하는 비선형적인 움직임에 대해서는 비디오 보간 성능이 크게 하락하는 문제점이 존재한다. 우리 대학 기계공학과 윤국진 교수팀은 인간의 시신경을 모방한 이벤트 카메라와 RGB 카메라를 동시에 사용할 수 있는 하이브리드 카메라 시스템을 구축하고 세계 최고 수준의 이벤트 카메라 기반 초고속 비디오 보간 기술을 개발했다. 본 연구는 기존의 비디오 보간 방법 대비 35% 이상의 세계 최고 성능을 달성하였고, 복잡하고 극심한 움직임 속에서도 높은 성능으로 30FPS 비디오를 10000FPS 이상의 초고속 비디오로 합성할 수 있다. 이벤트 카메라는 인간의 시신경을 모방한 카메라로서, 영상의 밝기 변화만을 감지한다. 이러한 특성으로 인하여 이벤트 카메라는 micro 초 단위의 시간 해상도와 높은 dynamic range의 정보를 제공하여 기존의 RGB 카메라가 가지지 못하는 장점을 가지고 있다. 따라서, 이벤트 카메라는 RGB video 프레임 사이의 정확한 움직임 정보를 포착할 수 있어 일반 RGB 카메라와 이벤트 카메라를 동시적으로 사용하면 정확도 높은 초고속 비디오를 생성할 수 있다. 기존의 이벤트 카메라 기반 비디오 보간 연구는 이벤트 카메라에서 나오는 이벤트 정보만을 사용하여 프레임 사이의 광학 흐름을 추정하거나 프레임 사이의 움직임을 근사하는 방법을 사용하였다. 하지만, 이벤트 정보는 공간적으로 희박하고 밝기 정보만을 기록하기 때문에 이벤트만을 사용한 광학 흐름 추정 방법의 결과가 좋지 못한 점을 연구팀은 주목했다. 이를 극복하기 위해 연구팀은 기존의 RGB 이미지와 이벤트 정보를 동시적으로 사용하는 이미지-이벤트 비대칭 양방향 움직임 추정 기법을 제안하였다. 이벤트는 풍부한 움직임의 궤적정보를 제공하는 장점과 이미지의 풍부한 시각 정보의 각 장점을 잘 융합하여 서로 다른 정보의 장단점을 보완 및 융합한 광학 흐름 추정 방법을 제안하여 그 우수성을 입증하였다. 또한, 설계 및 제작한 빔 스플리터 기반 이벤트-RGB 하이브리드 카메라 시스템을 사용하여 이벤트 카메라를 이용한 모션-기반 비디오 보간 기술 데이터셋을 구축하였다. 기존의 이벤트 카메라를 이용한 비디오 보간 데이터셋의 경우, 카메라 움직임이 존재하지 않는 문제와 낮은 프레임 레이트/해상도로 인하여 딥러닝 알고리즘의 학습 및 이벤트 카메라 기반 비디오 보간 기술 개발 및 평가에 한계점을 지닌다. 제안된 데이터셋의 경우 이벤트 카메라 기반 비디오 향상 연구 커뮤니티에 큰 기여를 할 수 있을 것으로 예상된다. 이번 연구는 고품질의 높은 프레임률을 가지는 비디오 생성이 가능하여, 기존의 초고속 카메라로 비디오 촬영이 어려운 광량이 부족한 환경 및 아주 빠른 물체의 움직임을 분석이 필요한 여러 상황 등에서 널리 사용될 수 있을 것으로 기대된다. 이번 연구는 윤국진 교수 연구실의 김태우 박사과정(제1 저자), 채유정 박사과정(제2 저자), 장현걸 석사과정(제3 저자)이 참여하였고, 올해 캐나다 밴쿠버에서 6월 18일에 열릴 컴퓨터 비전 및 패턴인식 분야의 국제 저명학술지인 CVPR 2023(IEEE Conference on Computer Vision and Pattern Recognition)에 highlight 논문(2.5% acceptance rate)으로 게재될 예정이다. 이 연구는 중견 연구자개발 과제의 지원을 받아 수행되었다. 윤국진 교수 연구팀은 다년간 이벤트 카메라에 관련된 연구를 수행해오면서 이벤트 카메라를 이용한 여러 가지 컴퓨터 비전 분야에 핵심 연구 들을 수행하여 오고 있으며, 앞으로도 이벤트 카메라 연구 커뮤니티에 이바지하기 위하여 지속적인 연구를 수행할 예정이다. ※ 논문명 : Event-based Video Frame Interpolation with Cross-Modal Asymmetric Bidirectional Motion Fields ※ 저자 정보 : 윤국진 (KAIST, 교신저자), 김태우(KAIST, 제1 저자), 채유정(KAIST, 제2 저자), 장현걸(KAIST, 제3 저자) - 총 4명
2023.04.05
조회수 3120
IPBC 아시아 2019 최고 지식재산 리더 선정
우리 대학이 지난 10월 29일 일본 도쿄에서 열린 ‘지식재산 전문가 연례행사(IPBC) 아시아 2019’에서 대학/R&D 분야 아시아 최고 지식재산 리더로 선정됐다. 또한, 특허청에서 선정한 2019년 기술이전 우수기관 경상 로열티 부문 대학 1위에 올랐다. 영국의 유명 지식재산 전문저널인 IAM 주관으로 개최된 IPBC 아시아 2019는 세계 지식재산(IP) 전문가들이 모여 개최하는 연례행사로 매년 지식재산 전문가들이 참여해 지식재산 관련 이슈를 공유·토론하는 자리이다. 이번 IPBC 아시아 2019에서는 11개의 분야에서 획기적인 지식재산 전략 및 경영을 통해 최고의 지적 재산 가치를 창출한 기업과 기관을 대상으로 시상이 이뤄졌다. (11개 분야 : 자동차, 전자, 의료 및 생명공학, 대학/R&D 기관, 인터넷 및 SW, 반도체, 산업, 이동통신, 지식재산 거래, 개인, 팀) 우리 대학은 지적 재산권 거래 및 라이센싱을 통해 지적 재산권 가치를 크게 높임으로써 아시아·태평양 지역에서 가장 활발한 대학 특허권자로 부상한 공을 인정받았다. 최경철 산학협력단장은 “이번 수상을 계기로 KAIST의 혁신적인 연구역량이 지식재산 및 기술사업화 가치 창출로 이어졌음을 입증했다”라며 “글로벌가치창출 선도대학이란 비전을 완성할 수 있도록 더욱 전략적인 핵심 지식재산 창출에 노력하겠다”라고 말했다. 우리 대학은 이와 함께 2018년 총 4억 5천만 원의 특허기술 경상 로열티를 받아 특허청에서 선정한 2019년 기술이전 우수기관 경상 로열티 부분 대학 1위를 차지했다. 주요 상용화 기술은 방송 표준특허인 고급 비디오 코딩(AVC) 및 고효율 비디오 코딩(HEVC) 동영상 압축기술로, 11월 현재 AVC 및 HEVC 표준특허로 등록된 기술은 모두 44건이며, 약 26억 원의 기술료 수익을 창출했다. 향후 5G 및 와이파이 등의 표준특허 창출을 통해 10년 이내에 100억 원 이상의 표준 기술료를 달성한다는 방침이다.
2019.11.27
조회수 8139
김문철 교수, 인공지능 통해 풀HD영상 4K UHD로 실시간 변환
〈 김 문 철 교수 〉 우리 대학 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다. 이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현했다. 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다. 이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다. 최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다. 기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다. 김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다. 연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다. 이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다. 김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다. 이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업의 지원을 받아 수행됐다. □ 그림 설명 그림1. 실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술 그림2.심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 (FPGA) 그림3. 심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 시연
2018.01.16
조회수 14577
우운택 교수, 스마트 관광 증강현실 어플리케이션 개발
〈 우 운 택 교수 〉 우리 대학 문화기술대학원 우운택 교수 연구팀이 스마트 관광 지원을 위한 증강 및 가상현실 어플리케이션을 개발했다. ‘케이 컬처 타임머신(K-Culture Time Machine)’ 어플리케이션은 창덕궁을 대상으로 한 시범 서비스로 iOS 앱스토어에 5월 23일 공개됐다. 개발된 케이 컬처 타임머신은 웨어러블 360도 비디오를 통해 문화유산이나 유적지에 대한 시공간을 넘는 원격 체험을 제공한다. 사용자는 VR기기에 스마트폰을 장착해 제공되는 360도 비디오로 문화 유적지를 원격으로 체험하고 해당 문화유산 및 연관관계가 있는 인물, 장소, 사건 등에 대한 정보를 확인할 수 있다. 또한 소실된 문화유산에 대한 3차원 디지털 복원도 체험할 수 있다. 웨어러블 기기 활용 없이도 모바일 모드를 통해 사용자 주변 유적지 확인, 카메라에 인식된 문화유산을 인식하고 관련된 정보와 콘텐츠를 제공하는 증강현실 기반의 문화유산 가이드가 가능하다. 사용자는 자신의 위치에서 창덕궁 돈화문을 시작으로 인정문, 인정전, 희정당에 이르는 창덕궁 내부를 이동하며 360도 파노라마 이미지나 비디오를 통해 현장을 가상체험 할 수 있다. 현재는 존재하지 않는 인정전 동쪽의 궐내 곽사 지역에는 3D모델을 통한 승정원의 가상 복원을 확인할 수 있다. 위 기능은 웨어러블 기기 없이 스마트폰 상에서도 체험 가능하며 개발 중인 증강현실 기능이 완성되면 현장에서 활용 가능한 수준의 어플리케이션이 될 것으로 기대된다. 우 교수 연구팀은 문화유산 데이터베이스와 증강-가상현실 콘텐츠의 표준화된 메타데이터를 구축하고 이를 적용했다. 이를 활용해 일시적으로 개발 후 소비되는 기존 어플리케이션과는 달리 추가적인 콘텐츠 생성 및 추가가 가능하다. 우 교수는 “증강현실 콘텐츠의 상호 활용성과 재활용성을 증진해 스마트관광 분야의 새로운 시장을 선점할 수 있을 것이다”며 “콘텐츠 개발 비용 절감과 증강현실 콘텐츠 생태계 활성화를 가능하게 하는 다양한 부가 효과도 기대한다”고 말했다. 이번 연구는 ㈜포스트미디어(대표 홍승모)와 문화체육관광부 CT R&D 사업과의 공동 수행을 통해 이뤄졌으며, 관련 연구 성과는 올 7월 캐나다에서 진행되는 HCII 2017 학회를 통해 발표될 예정이다. □ 그림 설명 그림1. 360 VR 서비스 개념도 그림2. K-Culture Time Machine의 모바일 증강현실 기능 구동 화면 그림3. K-Culture Time Machine의 360도 파노라마 이미지-비디오 기능 화면
2017.05.23
조회수 14328
KAIST, 국내 통신3사와 콘텐츠전달망 연동기술 시연
- CDN 연동기술로 현재보다 2배 효과적인 콘텐츠유통 시장 진입 - - 방통위 지원 KT, LGU+, SKT 협력개발 KAIST에서 주관 -- APNOMS 2012 국제학회 CDN 연동기술 협력 시연 - 국내와 해외에서 인터넷의 홈페이지, 동영상, 음원 등 콘텐츠를 유통하는 CDN (Contents Delivery Network, 콘텐츠전달망) 서비스 인프라의 기술적, 사업적 진화가 빠르게 진행되고 있다. 우리 학교는 KT, LG유플러스, SK텔레콤 등 국내 통신3사와 CDN 연동 사업환경을 조성하기 위한 CDN 연동기술의 협력개발 성과를 25일부터 27일까지 코엑스에서 열리는 국제학회 ‘APNOMS 2012(아시아태평양 통신망운용관리심포지엄)’에서 시연한다. CDN 연동은 통신사가 각자 보유한 CDN 서비스를 상대방에게 교차 제공함으로써 네트워크 전달 경로를 최소화하고 사용자에게 최상의 품질로 콘텐츠를 제공하는 기술이다. 최근 IETF, ITU-T 등 국제 표준 기구에서 기술 표준화를 시작했고, 국내에서는 방송통신위원회의 지원으로 CDN 연동기술이 KAIST, KT, LG유플러스, SK텔레콤, 솔루션박스, 한국전자통신연구소, 연세대학교의 협력과제로 개발되고 있다. 향후 2~3년 안에 전체 인터넷 트래픽 가운데에서 비디오 트래픽이 80%이상 점유할 것으로 예상되며, CDN 연동을 통해 폭발적으로 증가하는 비디오 트래픽의 중복 전송 문제를 효과적으로 해소하고, 불필요한 인프라 투자비의 절감과 함께 콘텐츠 유통 사업자들에게 고품질 콘텐츠 전송을 보장해주기 위해서는 사업자간 CDNi 체계가 시급하다. 현재의 CDN 체계는 인터넷콘텐츠를 유통하기 위해 CDN 사업자가 세계 각국의 인터넷 통신사업자 데이터센터에 캐시 서버를 설치하고 콘텐츠를 유통하고자 하는 인터넷사업자의 콘텐츠를 캐시에 미리 저장했다가 인터넷 사용자의 콘텐츠의 요청이 들어오면 지역적으로 가까운 캐시 서버가 해당 콘텐츠를 제공하고 있다. 이러한 유통체계로 상당히 콘텐츠 트래픽을 저감시키고 콘텐츠 제공 품질을 향상시키고 있다. 하지만 사용자는 여러 인터넷 통신사업자를 통해 접속해 있기 때문에 인터넷의 실질적 트래픽은 여전히 기하급수적으로 증가하는 추세. CDN 연동 (CDNI)은 통신사업자가 자신의 통신망을 통해 접속하는 인터넷 사용자에게 최적화된 콘텐츠를 제공하는 통신사 CDN 서비스를 구축하고 기존 CDN 사업자, 경쟁 통신사 CDN과 연동을 하여 서비스를 상호 제공함으로써 콘텐츠의 다양화, 사용자 시장의 접근성 확대, 서비스 품질의 고급화의 효과를 얻을 수 있다. CDN연동 효과를 극대화하기 위해서 국내 통신사업자뿐만 아니라, 향후 해외 고객의 확대를 위하여 글로벌 통신사업자와의 연동 확대가 필요하다. 연동을 통한 국내 콘텐츠 해외 유통은 시장 진입 배용을 50% 이상 절감시킬 수 있을 것으로 기대한다. 이를 위해 국내 CDN 연동기술의 표준화 반영 및 글로벌 테스트 베드 구축이 필수적이다. CDN 연동 기술은 세계적으로 주요 통신사와 장비제조사의 협력으로 국제 인터넷표준화기구인 IETF에서 2013년 말 표준 제정을 목표로 활발한 연구 개발이 진행되고 있고 국내에서는 통신 3사, ETRI, 솔루션박스, KAIST가 협력과제를 통하여 지난 7월부터 서비스 리라우팅 분야 핵심기술 제안을 포함해 활발한 표준화 활동을 시작했다. 25일부터 27일까지 진행되는 APNOMS 2012에서 KAIST-솔루션박스의 CDN시험망과, KT, LG유플러스, SK텔레콤 삼사의 CDN시험망 연동이 시연된다. 본 CDN망 연동 시연을 통해 비디오스트리밍과 콘텐츠다운로드 서비스의 속도와 품질 개선을 체험할 수 있다. 아직은 기본기능의 시연이지만 2013년은 사업자의 CDN 연동 정책이 자동으로 반영되는 완성된 IETF 표준의 통신사 CDNI 시험사업 환경을 구축하게 된다. KAIST 인터넷협력에코시스템연구센터 이준구 교수는 "점점 어려워지고 있는 통신사업자 환경에서 경쟁구도의 통신3사가 모여 인터넷강국의 경쟁력 제고를 위한 공동의 사업 비전을 정립하고 협력 연구개발을 수행하는 것은 인터넷분야에서는 처음 있는 매우 중요한 대승적인 환경 변화이고 2014년 연구 개발의 성과로 국내외 CDN 연동 사업이 전개될 것으로 기대한다"고 말했다.
2012.09.25
조회수 12222
<<
첫번째페이지
<
이전 페이지
1
>
다음 페이지
>>
마지막 페이지 1