%EB%94%A5%EB%9F%AC%EB%8B%9D
-
초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발
우리 대학 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 GIST 최종현 교수 공동 연구팀과의 2건의 공동 연구를 통해 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다.
연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도/초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용하여 고화질 및 고해상도 영상을 생성할 수 있고, 특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있다고 밝혔다.
이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하기 때문에, 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.
하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다. 연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안하였다. 제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적하여 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식으로, 두 공동 연구에서 각각 교사 학습/비교사 학습 기반의 알고리즘을 제안하였는데, 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능하여 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.
윤국진 교수는 “본 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술로서, 기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고, 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다.”고 말했다.
Mohammad Mostafavi 박사과정(GIST)이 1저자로 참여한 공동 연구와 Wang Lin 박사과정(KAIST)이 1저자로 참여한 공동 연구 논문들은 오는 6월에 개최 예정인 컴퓨터 비전/기계학습 분야의 국제 학술대회인 ‘IEEE Conference on Computer Vision and Pattern Recognition (CVPR)에 각각 구술/포스터 논문으로 발표될 예정이다. (논문명: (1) Learning to Super Resolve Intensity Images from Events, 이벤트를 활용한 초고해상도 이미지 생성 학습법, (2) EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning, 적대적 신경망 학습을 통한 비동기적 이벤트의 이미지로의 재구성, 복원 및 초해상도 연구)
한편, 이번 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행됐다.
2020.05.12 조회수 10459 -
딥러닝 통해 MRI 다중 대조도 영상 복원 기법 개발
바이오및뇌공학과 박성홍 교수 연구팀이 자기공명영상장치(MRI)의 다중 대조도 영상을 복원하기 위한 새로운 딥러닝 네트워크를 개발했다. 이번 연구를 통해 병원에서 반복적으로 획득하는 다중 대조도 MRI 영상을 얻는 시간이 크게 줄어 편의성 증대, 촬영비용 절감 등의 효과를 볼 것으로 기대된다.
도원준 박사가 1 저자로, 서성훈 박사과정이 공동 1 저자로 참여한 이번 연구는 우수성을 인정받아 국제 학술지 ‘메디컬 피직스 (Medical Physics)’ 2020년 3월호 표지 논문으로 게재됐다.
일반적으로 임상적 환경에서 MRI 촬영은 정확한 진단을 위해 두 개 이상의 대조도로 진행돼 촬영시간이 길어진다. 이에 따라 MRI 촬영비용도 비싸지며 환자들의 불편함을 유발하고, 영상의 품질 역시 환자의 움직임 등으로 인해 낮아질 수 있다.
문제 해결을 보완하기 위해 박 교수 연구팀은 다중 대조도 획득의 특징을 활용한 새로운 딥러닝 기법을 개발해 기존 방식보다 데이터를 적게 수집하는 방식으로 MRI 영상획득 시간을 크게 단축했다. MRI 영상에서 데이터를 적게 수집하는 것은 영상의 주파수 영역에서 이뤄지며, 일반적으로 위상 인코딩의 개수를 줄이는 것으로 영상획득 시간을 감소시키는 것을 뜻한다. 영상획득 시간은 줄어든 인코딩 개수의 비율만큼 줄어들게 되며, 이번 연구에서는 촬영시간을 최대 8배까지 줄여 영상을 복원했다.
연구팀은 임상에서 정확한 진단을 위해 MRI 영상을 다중 대조도로 얻는다는 점을 활용해 복원의 효율을 높였으며, 실제로 데이터를 얻을 당시의 전략을 고려해 네트워크들을 따로 개발했다. 구체적으로 ▲다중 대조도 전체 프로토콜의 촬영시간을 모두 줄이는 네트워크(X-net)와 ▲하나의 프로토콜은 전체 인코딩 데이터를 획득하고 나머지 프로토콜들은 촬영시간을 크게 줄이는 네트워크(Y-net)를 따로 개발해 MRI 다중 대조도 영상을 촬영하는 목적에 맞춰 다르게 최적화했다.
박성홍 교수는 “병원에서 반복적으로 시행하는 다중 대조도 MRI 촬영의 특성을 잘 살려서 성능을 극대화한 딥러닝 네트워크의 개발에 의의가 있다”라며, “병원에서 환자의 MRI 촬영시간을 줄이는 데 도움을 줄 것으로 기대한다”라고 말했다.
서울대학교병원 최승홍 교수와 공동연구로 진행한 이번 연구는 한국연구재단과 한국보건산업진흥원의 지원을 받아 수행됐다.
2020.03.27 조회수 11356 -
5개 AI 대학원, 국내 첫 공동 설명회 15일 개최
우리대학을 포함해 고려대·성균관대·포스텍(POSTECH), 광주과기원(GIST) 등 과학기술정보통신부가 선정한 국내 5개 AI 대학원이 오는 15일 처음으로 공동 설명회를 개최한다.
과학기술정보통신부(이하 과기정통부)는 AI 핵심 지식과 융합 역량을 갖춘 선도 연구자 양성을 위해 지난 3월 KAIST와 고려대·성균관대 등 3개 대학을 국내 최초의 AI 대학원으로 선정한 데 이어 9월에는 포스텍(POSTECH)과 광주과기원(GIST) 등 2곳을 추가로 선정했다.
1차 선정된 3개 대학은 첫 신입생을 모집한 결과, 80명 정원에 모두 497명이 지원했는데 대학별 경쟁률은 KAIST가 9대 1의 경쟁률을, 성균관대와 고려대가 각각 8대 1과 7대 1에 육박한 경쟁률을 보인 것으로 알려졌다.
2차로 선정된 포스텍과 광주과기원 등 2개 대학은 올 하반기에 신입생을 모집하고 내년 3월부터 교육과정을 본격 운영할 예정이다.
(사)한국인공지능학회(회장 유창동, KAIST 전기및전자공학부 교수)는 인공지능 분야에 대한 학생들의 관심에 갈수록 높아지자 오는 15일 더케이호텔 서울에서 열리는 추계학술대회에서 KAIST·고려대·성균관대·포스텍·GIST 등 5개 AI대학원이 모두 참여하는 설명회를 갖기로 했다.
14일부터 16일까지 3일간 서울 양재동 더케이호텔에서 열리는 이번 추계학술대회는 과기정통부·한국연구재단·브레인코리아21플러스가 후원하고 한국인공지능학회·한국블록체인학회·소프트웨어정책연구소가 주최한다.
이 학술대회에서는 5개 AI 대학원 공동 설명회 외에 KAIST 김준모·김광수·문일철, 성균관대의 문태섭, 중앙대 권준석 교수 등이 발표자로 나서 딥러닝·확률적 그래픽 모델(PGM)·뉴럴네트워크 기반 연속학습(Continual learning)·적대적 생성망(GAN) 등에 관한 다양한 학술 주제를 다룰 예정이다.
특히 올 12월 8일부터 14일까지 캐나다 벤쿠버에서 열리는 NeurIPS 2019의 Spotlight 부분에 발표될 유창동 KAIST 전기및전자공학부 교수의 논문 등 인공지능 분야의 최신 연구 성과들도 함께 공개될 예정이다.
차별화된 특성을 앞세워 인재 양성을 계획하고 있는 KAIST 등 5개 AI 대학원은 이번 행사를 통해 각각의 비전, 운영방식 그리고 지향하는 인재상을 공유할 예정이다. AI대학원 진학을 희망하는 학생들에게는 대학원 선택에 도움을 주고 기업에는 사업 방향을 설정에 도움이 되는 정보를 제공하려는 취지다.
우선 KAIST에서는 정송 대학원장이 나서 독보적인 연구 역량을 강조한다. 최근 6년간 AI 분야의 최고 학회에서 101편의 논문을 발표한 평균 연령 41세의 젊은 교수진을 앞세워 AI와 머신러닝 분야를 심층적으로 다루는 핵심 연구와 헬스케어·자율주행·제조·보안·이머징 등 5대 연구 분야를 중심으로 하는 융합 연구 등을 소개할 계획이다.
특히, 경기도 판교에 AI 대학원 산학협력센터를 설치해 판교를 아시아 최고 인공지능 밸리로 육성하는 정책 등을 추진하고 2023년 이후에는 학부를 포함한 교육과 연구의 역량을 고루 갖춘 단과대 수준의 인공지능대학(College of AI)으로의 발전 계획도 함께 설명한다.
이성환 고려대 AI 대학원 주임교수는 산업체와 현장에서 투입될 고급인력을 키우는 데 중점을 둔 교과 과정을 중점 소개한다. 기초전공-기반전공-심화전공-산학 및 창업 연계 수업 등으로 구성된 체계적인 AI 핵심 교육을 시행하고 우수 AI 박사들의 기술창업 활성화를 독려해 오는 2028년까지 10건의 기술창업 계획도 공유할 예정이다.
성균관대에서는 이지형 AI 학과장이 나서 현장 중심의 AI 혁신 연구를 앞세운 특·장점을 소개한다. 삼성전자 등 39개 기업과 협업해 산업 중심의 산학협력 체계를 갖추고 제조업·헬스케어·비즈니스 분야에 집중한 연구 역량을 강조한다. 이밖에 이공계가 아닌 인문·사회학 계열 학생에게도 입학의 기회를 열어 다양한 전공 분야로 AI 연구를 이식하겠다는 포부도 밝힌다.
내년 교과 과정 운영을 앞둔 포스텍은 서영주 주임교수가 미디어 AI·데이터 AI·AI 이론을 중심으로 한 핵심 3개 분야 및 9대 융합(AI+X) 연구를 통한 AI 핵심인재 양성 과정을 소개한다.
또 현재 11명인 전임 교원 수를 2023년까지 26명으로 확충하고 포항에 조성되는 포스코-지곡 벤처밸리 및 판교 소재 포스텍 정보통신연구소와 연계해 창업을 지원하는 AI 벤처 생태계 구축을 통해 세계 최고 수준의 교육·연구·산학협력 기관으로 성장한다는 계획을 설명한다.
광주과기원(GIST)은 김종원 AI 대학원장이 헬스케어·자동차·에너지 등 지역 3대 분야에 특화된 AI 인재육성 정책을 공유한다. 산업밀착형 글로벌 AI 혁신인재 양성을 위해 실증 데이터와 인프라에 바탕을 둔 AI 소프트웨어/하드웨어 핵심 교육과 기술실증-창업지향에 중점을 둔 현장 연구 등을 수행하는 전주기형 5년 석박사 통합과정을 중점 소개한다.
김 대학원장은 이밖에 대학 산하 AI 연구소·SW 교육센터·과학기술응용연구단 등과의 협력을 통해 대학 내 AI 연구 문화 확산을 위한 정책들도 소개할 계획이다.
각 대학 AI 대학원 책임자들은 발표 후에 청중들과의 Q&A 시간을 마련해 AI 핵심 지식 및 각 분야의 융합 역량을 갖춘 선도 연구자를 양성하기 위한 공감대를 조성할 예정이다.
AI 대학원 설명회는 인공지능 분야에 관심 있는 사람이라면 누구나 참여 가능하다. 한국인공지능학회 홈페이지( http://aiassociation.kr/ )를 통해 추계학술대회 사전 신청이 가능하며, 행사 당일 현장에서도 참여 접수를 받는다.
다만 학술대회 기간 중 AI 대학원 설명회만 참여하고자 하는 경우에는 이메일( kaia@aiassociation.kr )로 접수하면 된다.
2019.11.04 조회수 16167 -
이상엽 특훈교수, 김현욱 교수, 인공지능 이용한 효소기능 예측 기술 개발
우리 대학 생명화학공학과 이상엽 특훈교수와 김현욱 교수의 초세대 협업연구실 공동연구팀이 딥러닝(deep learning) 기술을 이용해 효소의 기능을 신속하고 정확하게 예측할 수 있는 컴퓨터 방법론 DeepEC를 개발했다.
공동연구팀의 류재용 박사가 1 저자로 참여한 이번 연구결과는 국제학술지 ‘미국 국립과학원 회보(PNAS)’ 6월 20일 자 온라인판에 게재됐다. (논문명 : Deep learning enables high-quality and high-throughput prediction of enzyme commission numbers)
효소는 세포 내의 생화학반응들을 촉진하는 단백질 촉매로 이들의 기능을 정확히 이해하는 것은 세포의 대사(metabolism) 과정을 이해하는 데에 매우 중요하다.
특히 효소들은 다양한 질병 발생 원리 및 산업 생명공학과 밀접한 연관이 있어 방대한 게놈 정보에서 효소들의 기능을 빠르고 정확하게 예측하는 기술은 응용기술 측면에서도 중요하다.
효소의 기능을 표기하는 시스템 중 대표적인 것이 EC 번호(enzyme commission number)이다. EC 번호는 ‘EC 3.4.11.4’처럼 효소가 매개하는 생화학반응들의 종류에 따라 총 4개의 숫자로 구성돼 있다.
중요한 것은 특정 효소에 주어진 EC 번호를 통해서 해당 효소가 어떠한 종류의 생화학반응을 매개하는지 알 수 있다는 것이다. 따라서 게놈으로부터 얻을 수 있는 효소 단백질 서열의 EC 번호를 빠르고 정확하게 예측할 수 있는 기술은 효소 및 대사 관련 문제를 해결하는 데 중요한 역할을 한다.
작년까지 여러 해에 걸쳐 EC 번호를 예측해주는 컴퓨터 방법론들이 최소 10개 이상 개발됐다. 그러나 이들 모두 예측 속도, 예측 정확성 및 예측 가능 범위 측면에서 발전 필요성이 있었다. 특히 현대 생명과학 및 생명공학에서 이뤄지는 연구의 속도와 규모를 고려했을 때 이러한 방법론의 성능은 충분하지 않았다.
공동연구팀은 1,388,606개의 단백질 서열과 이들에게 신뢰성 있게 부여된 EC 번호를 담고 있는 바이오 빅데이터에 딥러닝 기술을 적용해 EC 번호를 빠르고 정확하게 예측할 수 있는 DeepEC를 개발했다.
DeepEC는 주어진 단백질 서열의 EC 번호를 예측하기 위해서 3개의 합성곱 신경망(Convolutional neural network)을 주요 예측기술로 사용하며, 합성곱 신경망으로 EC 번호를 예측하지 못했을 경우 서열정렬(sequence alignment)을 통해서 EC 번호를 예측한다.
연구팀은 더 나아가 단백질 서열의 도메인(domain)과 기질 결합 부위 잔기(binding site residue)에 변이를 인위적으로 주었을 때, DeepEC가 가장 민감하게 해당 변이의 영향을 감지하는 것을 확인했다.
김현욱 교수는 “DeepEC의 성능을 평가하기 위해서 이전에 발표된 5개의 대표적인 EC 번호 예측 방법론과 비교해보니 DeepEC가 가장 빠르고 정확하게 주어진 단백질의 EC 번호를 예측하는 것으로 나타났다”라며 “효소 기능 연구에 크게 이바지할 것으로 기대한다”라고 말했다.
이상엽 특훈교수는 “이번에 개발한 DeepEC를 통해서 지속해서 재생되는 게놈 및 메타 게놈에 존재하는 방대한 효소 단백질 서열의 기능을 보다 효율적이고 정확하게 알아내는 것이 가능해졌다”라고 말했다.
이번 연구는 과학기술정보통신부가 지원하는 기후변화대응기술개발사업의 바이오리파이너리를 위한 시스템대사공학 원천기술개발 과제 및 바이오·의료기술 개발 Korea Bio Grand Challenge 사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 인공지능 기반의 DeepEC를 이용한 효소 기능 EC 번호 예측
2019.07.03 조회수 17470 -
KAIST-한국테크놀로지그룹 미래기술 연구 협약식 개최
〈신성철 총장(왼쪽)과 조현식 한국테크놀로지그룹 부회장이 ‘한국테크놀로지그룹-KAIST 미래기술 연구 협약'을 맺었다. 〉
우리 대학이 한국 테크놀로지그룹과 15일 ‘한국테크놀로지그룹-KAIST 미래기술 연구 협약식’을 개최했다.
양 기관은 지난해 11월 '한국타이어-KAIST 디지털 미래혁신 연구센터' 설립 후 ▲공장 물류자동화시스템 최적화 ▲고정 스케줄링 고도화 ▲인공지능(AI) 활용 불량검수 자동화 ▲빅데이터 기술활용 품질향상을 위한 설비 최적화 ▲딥러닝 활용 소재 특성 예측 ▲사물인터넷(IoT)과 AI 기반 모니터링 등의 연구 협력을 진행해왔다.
이번 협약을 통해 디지털 기술 역량 확보를 위해 혁신적 공동연구를 지속하고 기술 협약 및 성공적인 산학협력으로 미래 디지털 산업을 선도할 혁신 기술을 발굴해 나갈 계획이다.
2019.04.16 조회수 6491 -
이상완 교수, 신경과학-인공지능 융합으로 공학적 난제 해결
〈 (왼쪽부터) 안수진 박사과정, 이지항 박사, 이상완 교수 〉
우리 대학 바이오및뇌공학과 이상완 교수 연구팀이 영국 케임브리지 대학, 구글 딥마인드와의 공동 연구를 통해 차세대 뇌 기반 인공지능 시스템 설계의 방향을 제시했다.
이번 연구는 인간의 두뇌가 기존의 인공지능 알고리즘이 해결하지 못하는 부분을 해결할 수 있다는 사실에 기반한 신경과학-인공지능 융합 연구이다.
성능, 효율, 속도의 균형적 설계와 같은 다양한 공학적 난제를 해결할 수 있는 신경과학 기반 강화학습 이론을 제안한 것으로 새로운 인공지능 알고리즘 설계에 긍정적인 영향을 줄 것으로 기대된다.
이상완 교수와 함께 이지항 박사, 안수진 박사과정이 주도한 이번 연구는 국제 학술지 사이언스의 자매지 ‘사이언스 로보틱스(Science Robotics)’ 1월 16일 자 온라인판에 포커스 형식으로 게재됐다.
최적제어 이론에서 출발한 강화학습은 기계 학습의 한 영역으로 지난 20여 년 동안 꾸준히 연구된 분야이다. 특히 지난 5년 동안은 딥러닝 기술을 발전과 맞물려 급격한 성장을 이뤘다.
딥러닝 기반 강화학습 알고리즘은 최근 알파고와 같은 전략 탐색 문제, 로봇 제어, 응급실 비상 대응 시스템과 같은 의료 진단 등 다양한 분야에 적용되고 있다. 그러나 주어진 문제에 맞게 시스템을 설계해야 하는 점, 불확실성이 높은 환경에서는 성능이 보장되지 않는 점 등이 근본적인 해결책으로 남아있다.
강화학습은 의사 결정 및 계산신경과학 분야에서도 지난 20년간 꾸준히 연구되고 있다. 이상완 교수는 2014년 인간의 전두엽-기저핵 뇌 회로에서 이종 강화학습을 제어한다는 신경과학적 증거를 학계에 발표한 바 있다. 2015년에는 같은 뇌 회로에서 고속 추론 과정을 제어한다는 연구를 발표했다.
연구팀은 이번 연구에서 강화학습 등의 개별 인공지능 알고리즘이 해결하지 못하는 공학적 문제를 인간의 두뇌가 이미 해결하고 있다는 사실에 기반한 ‘전두엽 메타 제어’ 이론을 제안했다.
중뇌 도파민-복외측전전두피질 네트워크에서 외부 환경에 대한 학습의 신뢰도를 스스로 평가할 수 있는 보상 예측 신호나 상태 예측 신호와 같은 정보를 처리하며, 인간의 두뇌는 이 정보들을 경쟁적-협력적으로 통합하는 프로세스를 통해 외부 환경에 가장 적합한 학습 및 추론 전략을 찾는다는 것이 이론의 핵심이다.
이러한 원리를 단일 인공지능 알고리즘이나 로봇설계에 적용하면 외부 상황변화에 강인하게 성능, 효율, 속도 세 조건(performance-efficiency-speed tradeoff) 사이의 균형점을 유지하는 최적의 제어 시스템을 설계할 수 있다. 더 나아가 다수의 인공지능 개체가 협력하는 상황에서는 서로의 전략을 이용함으로 협력-경쟁 사이의 균형점을 유지할 수 있다.
1 저자인 이지항 박사는 “현대 인공지능의 우수한 성능은 사람의 행동 수준 관찰뿐 아니라 두뇌의 저수준 신경 시스템을 알고리즘으로 구현해 적극적으로 발전시킨 결과라고 보고 있다”라며 “이번 연구는 계산신경과학에 기반한 결과로 현대 딥러닝과 강화학습에서 겪는 성능, 효율, 속도 사이의 난제를 해결하는 실마리가 될 수 있고, 새로운 인공지능 알고리즘 설계에 많은 영감을 줄 것이다”라고 말했다.
이상완 교수는 “연구를 하다 보면 우리의 두뇌는 공학적 난제를 의외로 쉽게 해결하고 있음을 알 수 있다. 이 원리를 인공지능 알고리즘 설계에 적용하는 뇌 기반 인공지능 연구는 구글 딥마인드, MIT, 캘리포니아 공과대학, UCL 등 해외 유수 기관에서도 관심을 두는 신경과학-인공지능 융합 연구 분야이다”라며 “장기적으로는 차세대 인공지능 핵심 연구 분야 중의 하나로 자리를 잡을 것으로 기대한다”라고 말했다.
이번 연구는 과학기술정보통신부 및 정보통신기술진흥센터 연구개발 사업, 삼성전자 미래기술육성센터의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 외부 환경에 따라 성능-효율-속도 문제 균형점을 찾는 뇌기반 강화학습 이론 (좌), 이를 최적 제어하는 ‘전두엽 메타 제어’(중) 및 로보틱스 분야 문제 해결 적용 사례 (우)
2019.01.24 조회수 9452 -
한동수, 신진우 교수, 느린 인터넷 환경에서도 고화질 영상 감상 기술 개발
〈 (왼쪽부터) 김재홍, 정영목 석사과정, 여현호 박사과정, 한동수, 신진우 교수 〉
우리 대학 전기및전자공학부 신진우, 한동수 교수 연구팀이 딥러닝 기술을 이용한 인터넷 비디오 전송 기술을 개발했다.
여현호, 정영목, 김재홍 학생이 주도한 이번 연구 결과는 격년으로 개최되는 컴퓨터 시스템 분야의 유명 학술회의인 ‘유즈닉스 OSDI(USENIX OSDI)’에서 10월 10일 발표됐고 현재 국제 특허 출원을 완료했다.
이 기술은 유튜브, 넷플릭스 등에서 비디오를 사용자에게 전송할 때 사용하는 적응형 스트리밍(HTTP adaptive streaming) 비디오 전송기술과 딥러닝 기술인 심층 콘볼루션 신경망(CNN) 기반의 초해상화를 접목한 새로운 방식이다.
이는 열악한 인터넷 환경에서도 고품질, 고화질(HD)의 비디오 시청이 가능할 뿐 아니라 4K, AV/VR 등을 시청할 수 있는 새로운 기반 기술이 될 것으로 기대된다.
기존의 적응형 스트리밍은 시시각각 변화하는 인터넷 대역폭에 맞춰 스트리밍 중인 비디오 화질을 실시간으로 조절한다. 이를 위해 다양한 알고리즘이 연구되고 있으나 네트워크 환경이 좋지 않을 때는 어느 알고리즘이라도 고화질의 비디오를 감상할 수 없다는 한계가 있다.
연구팀은 적응형 스트리밍에 초해상화를 접목해 인터넷 대역폭에 의존하는 기존 적응형 스트리밍의 한계를 극복했다. 기존 기술은 비디오를 시청 시 긴 영상을 짧은 시간의 여러 비디오 조각으로 나눠 다운받는다. 이를 위해 비디오를 제공하는 서버에서는 비디오를 미리 일정 시간 길이로 나눠 준비해놓는 방식이다.
연구팀이 새롭게 개발한 시스템은 추가로 신경망 조각을 비디오 조각과 같이 다운받게 했다. 이를 위해 비디오 서버에서는 각 비디오에 대해 학습이 된 신경망을 제공하며 또 사용자 컴퓨터의 사양을 고려해 다양한 크기의 신경망을 제공한다.
제일 큰 신경망의 크기는 총 2메가바이트(MB)이며 비디오에 비해 상당히 작은 크기이다. 신경망을 사용자 비디오 플레이어에서 다운받을 때는 여러 개의 조각으로 나눠 다운받으며 신경망의 일부만 다운받아도 조금 떨어지는 성능의 초해상화 기술을 이용할 수 있도록 설계했다.
사용자의 컴퓨터에서는 동영상 시청과 함께 병렬적으로 심층 콘볼루션 신경망(CNN) 기반의 초해상화 기술을 사용해 비디오 플레이어 버퍼에 저장된 저화질 비디오를 고화질로 바꾸게 된다. 모든 과정은 실시간으로 이뤄지며 이를 통해 사용자들이 고화질의 비디오를 시청할 수 있다.
연구팀이 개발한 시스템을 이용하면 최대 26.9%의 적은 인터넷 대역폭으로도 최신 적응형 스트리밍과 같은 체감 품질(QoE, Quality of Experience)을 제공할 수 있다. 또한 같은 인터넷 대역폭이 주어진 경우에는 최신 적응형 스트리밍보다 평균 40% 높은 체감 품질을 제공할 수 있다.
이 시스템은 딥러닝 방식을 이용해 기존의 비디오 압축 방식보다 더 많은 압축을 이뤄낸 것으로 볼 수 있다. 연구팀의 기술은 콘볼루션 신경망 기반의 초해상화를 인터넷 비디오에 적용한 차세대 인터넷 비디오 시스템으로 권위 잇는 학회로부터 효용성을 인정받았다.
한 교수는 “지금은 데스크톱에서만 구현했지만 향후 모바일 기기에서도 작동하도록 발전시킬 예정이다”며 “이 기술은 현재 유튜브, 넷플릭스 등 스트리밍 기업에서 사용하는 비디오 전송 시스템에 적용한 것으로 실용성에 큰 의의가 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) 방송통신연구개발 사업의 지원을 받아 수행됐다.
비디오 자료 링크 주소 1.
https://www.dropbox.com/sh/z2hvw1iv1459698/AADk3NB5EBgDhv3J4aiZo9nta?dl=0&lst =
□ 그림 설명
그림1. 기술이 적용되기 전 화질(좌)과 적용된 후 화질 비교(우)
그림2. 기술 개념도
그림3. 비디오 서버로부터 비디오가 전송된 후 저화질의 비디오가 고화질의 비디오로 변환되는 과정
2018.10.30 조회수 10017 -
서창호 교수, IT 젊은 공학자상 수상
우리 대학 전기및전자공학부 서창호 교수가 미국전기전자학회(IEEE)와 대한전자공학회(IEIE)가 공동 주관하고 해동과학문화재단이 후원하는 ‘IT 젊은 공학자상’ 수상자로 선정됐다.
시상식은 6월 28일 오후 6시 제주롯데호텔에서 열렸다.
2006년부터 시작해 13회째 진행되는 ‘IT 젊은 공학자상’은 만 40세 이하 의 3년 이상 국내에서 연구를 수행한 연구자에게 주어진다. 기술적 실용성, 사회 및 환경에의 공헌도 및 창의성 등을 중심으로 심사가 이뤄진다.
올해의 수상자로 선정된 서창호 교수는 통신시스템, 분산저장시스템, 인공지능 분야 등의 연구를 통해 SCI급 논문 23편, 신경정보처리시스템학회(NIPS)와 머신러닝국제학회(ICML) 등 최상위 국제학회 논문 10편, 국제특허등록 30건 이상의 연구 성과를 보이고 있다.
서 교수의 논문은 4천 100회 이상 인용되는 등 학문 및 기술 발전, 벤처창업지원을 통한 기술상용화에 크게 기여하고 있다. 최근에는 인공지능을 교육에 접목시킨 AI-튜터(AI-tutor)와 딥러닝 기술을 활용한 자율주행시스템을 개발 중이다.
서창호 교수는 “IT 젊은공학자상을 받게 돼 영광으로 생각한다. 앞으로도 학생 지도와 연구에 몰두해 IT/인공지능 분야에 기여할 수 있도록 최선을 다하겠다”고 말했다.
2018.07.05 조회수 10441 -
김성태 박사과정, 로버트와그너 최우수 학생 논문상 수상
〈 김 성 태 박사과정 〉
우리 대학 전기및전자공학부 김성태 박사과정(지도교수: 노용만)이 지난달 10일~15일 미국 휴스턴에서 열린 국제광자공학회 (SPIE: The International Society for Optics and Photonics)의 의료영상 학술대회 (Medical Imaging Conference)에서 로버트와그너 최우수 학생 논문상 (Robert F. Wagner All-Conference Best Student Paper Award Finalist)에 선정됐다.
국제광학회 의료영상 학술대회는 의료영상 분야 세계 최대 규모 학술대회 중 하나로 올해 900 여편의 논문이 발표됐다. 그 중 로버트와그너 최우수 학생 논문 상은 의료영상 전분야 9개의 각 분과별로 1편씩 선정됐으며 김 박사과정의 논문은 컴퓨터 지원 진단 (Computer-Aided Diagnosis) 분과에서 최우수 학생 논문상을 수상했다.
수상 논문은 '해석 가능한 딥러닝 연구'의 결과로 딥러닝 기반 컴퓨터 지원 진단에서 의사들의 용어로 유방암 진단의 근거를 제공하는 기술에 대한 논문이다. (논문명: ICADx: Interpretable computer aided diagnosis of breast masses)
김성태 박사과정은 “이번 학술대회에서 컴퓨터 지원 진단 분과 최우수 학생 논문상에 입상하게 돼 영광이며 지도교수님의 훌륭한 지도와 연구를 도와준 동료들이 있었기에 가능했다고 말하며 감사하다” 고 말했다.
2018.03.13 조회수 11907 -
유회준 교수, 딥러닝용 AI 반도체 개발
우리대학 전기및전자공학부 유회준 교수 연구팀이 스타트업 '유엑스 팩토리'와 함께 가변 인공신경망 기술을 적용해 딥러닝을 효율적으로 처리하는 AI 반도체를 개발했다. 딥러닝이란 컴퓨터가 마치 사람처럼 스스로 학습할 수 있도록 인공신경망을 기반으로 구축한 '기계 학습' 기술이다.
유 교수 연구팀이 개발한 새로운 칩은 반도체 안에서 인공신경망의 무게 정밀도를 조절함으로써 에너지 효율과 정확도를 조절한다. 1비트부터 16비트까지 소프트웨어로 간편하게 조절하면서 상황에 맞춰 최적화된 동작을 얻어낸다. 하나의 칩이지만 '콘볼루션 신경망'(CNN)과 '재귀 신경망'(RNN)을 동시에 처리할 수 있다. CNN은 이미지를 분류나 탐지하는 데 쓰이며, RNN은 주로 시간의 흐름에 따라 변화하는 영상과 음성 등 데이터 학습에 적합하다. 또 통합 신경망 프로세서(UNPU)를 통해 인식 대상에 따라 에너지효율과 정확도를 다르게 설정하는 것도 가능하다.
모바일에서 AI 기술을 구현하려면 고속 연산을 '저전력'으로 처리해야 한다. 그렇지 않으면 한꺼번에 많은 정보를 처리하면서 발생하는 발열로 인해 배터리 폭발 등의 사고가 일어날 수 있기 때문이다. 연구팀에 따르면 이번 칩은 세계 최고 수준 모바일용 AI 칩 대비 CNN과 RNN 연산 성능이 각각 1.15배, 13.8배이 달한다. 에너지효율도 40% 높은 것으로 나타났다.
스마트폰 카메라를 통해 사람의 얼굴 표정을 인식해 행복, 슬픔, 놀람, 공포, 무표정 등 7가지의 감정을 자동으로 인식하는 감정인식 시스템도 개발됐다. 이 시스템은 감정 상태를 스마트폰 상에 실시간으로 표시한다. 유 교수 연구팀의 이번 연구는 지난 13일 미국 샌프란시스코에서 열린 국제고체회로설계학회(ISSCC)에서 발표됐다.
유회준 교수는 "기술 상용화에는 1년 정도 더 걸릴 전망"이라며 " 모바일에서 AI를 구현하기 위해 저전력으로 가속하는 반도체를 개발했으며, 향후 물체인식, 감정인식, 동작인식, 자동 번역 등 다양하게 응용될 것으로 기대된다"고 설명했다.
2018.02.26 조회수 13208 -
김문철 교수, 인공지능 통해 풀HD영상 4K UHD로 실시간 변환
〈 김 문 철 교수 〉
우리 대학 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다.
이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현했다. 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다.
이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다.
최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다.
기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다.
김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다.
연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.
이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다.
김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술
그림2.심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 (FPGA)
그림3. 심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 시연
2018.01.16 조회수 15568 -
유회준 교수, 인공지능 얼굴인식 시스템 K-EYE 개발
우리 대학 전기및전자공학과 유회준 교수 연구팀이 딥러닝 알고리즘을 세계 최소 전력으로 구현하는 인공지능 반도체 칩 CNNP를 개발했다. 그리고 이를 내장한 얼굴인식 시스템 K-Eye 시리즈를 개발했다.
연구팀이 개발한 K-Eye 시리즈는 웨어러블 디바이스와 동글 타입 2가지로 구성된다. 웨어러블 타입인 K-Eye는 블루투스로 스마트폰과 연동 가능하다.
봉경렬 박사과정이 주도하고 ㈜유엑스팩토리(대표 박준영)과 공동으로 개발한 이번 연구는 지난 2월 미국에서 열린 국제고체회로설계학회(ISSCC)에서 세계 최저전력 CNN칩으로 발표돼 주목을 받았다.
최근 글로벌 IT 기업들이 알파고를 비롯한 인공지능 관련 기술들을 경쟁적으로 발표하고 있다. 그러나 대부분은 소프트웨어 기술이라 속도가 느리고 모바일 환경에서는 구현이 어렵다는 한계가 있다.
따라서 이를 고속 및 저전력으로 구동하기 위해 인공지능 반도체 칩 개발이 필수적이다.
연구팀의 K-Eye 시리즈는 1mW 내외의 적은 전력만으로도 항상 얼굴 인식을 수행하는 상태를 유지하면서 사람의 얼굴을 먼저 알아보고 반응할 수 있다는 특징을 갖는다.
K-Eye의 핵심 기술인 얼웨이즈 온(Always-On) 이미지 센서와 CNNP라는 얼굴 인식 처리 칩이 있었기 때문에 위와 같은 세계 최저전력 기술이 가능했다.
첫 번째 칩인 얼웨이즈 온(Always-On) 이미지 센서는 얼굴이 있는지 없는지 스스로 판단할 수 있어 얼굴 인식이 될 때에만 작동하게 해 대기 전력을 대폭 낮출 수 있다.
얼굴 검출 이미지 센서는 아날로그 프로세싱으로 디지털 프로세싱을 제어해 센서 자체의 출력 소모를 줄였다. 픽셀과 결합된 아날로그 프로세서는 배경 부분과 얼굴 부분을 구분하는 역할을 하고 디지털 프로세서는 선택된 일부 영역에서만 얼굴 검출을 수행하면 돼 효율적인 작업이 가능하다.
두 번째 칩인 CNNP는 딥러닝을 회로, 구조, 알고리즘 전반에 도입하고 재해석을 진행해 최저 수준의 전력을 구현하는 역할을 했다.
특히 CNNP칩은 3가지의 핵심 기술을 사용했는데 ▲알파고 인공지능 알고리즘에서 사용하는 2차원 계산을 1차원 계산으로 바꿔 고속 저전력화 ▲분산형으로 배치된 칩 내 메모리가 가로방향 뿐 아니라 세로방향도 읽어낼 수 있는 특수 저전력 분산 메모리로의 설계 ▲1024개의 곱셈기와 덧셈기가 동시에 구동돼 막강한 계산력을 가지면서 외부 통신망을 거치지 않고 직접 계산 결과를 주고받을 수 있게 한 점이다.
CNNP는 97%의 인식률을 가지면서도 알파고에 사용된 GPU에 비해 5천분의 1정도의 낮은 전력인 0.6mW만을 소모한다.
K-Eye를 목에 건 사용자는 앞에서 다가오는 상대방의 얼굴이 화면에 떠오르면 미리 저장된 정보와 실시간으로 찍힌 사진을 비교해 상대방의 이름 등 정보를 자연스럽게 확인할 수 있다.
동글 타입인 K-EyeQ는 스마트폰에 장착해 이용할 수 있는데 사용자를 알아보고 반응하는 기능을 한다. 미리 기억시킨 사용자의 얼굴이 화면을 향하기만 하면 스마트폰 화면이 저절로 켜지면서 그와 관련된 정보를 제공한다.
또한 입력된 얼굴이 사진인지 실제 사람인지도 구분할 수 있어 사용자의 얼굴 대신 사진을 보여주면 스마트폰은 반응하지 않는다.
유 교수는 “인공지능 반도체 프로세서가 4차 산업혁명시대를 주도할 것으로 기대된다”며 “이번 인공지능 칩과 인식기의 개발로 인해 세계시장에서 한국이 인공지능 산업의 주도권을 갖길 기대한다”고 말했다.
□ 사진 설명.
사진1. K-EYE 사진
사진2. K-EYEQ 사진
사진3. CNNP 칩 사진
2017.06.14 조회수 14338