%EA%B3%A0%ED%99%94%EC%A7%88
-
새로운 인공지능 형광 현미경 적용, 뇌 신경세포 등 3차원 고화질 영상기술 개발
우리 대학 김재철 AI 대학원 예종철 교수 연구팀이 서울대학교 장성호 교수팀, 포스텍 김기현 교수팀과 공동연구를 통해 형광 현미경의 오랜 문제인 이방성(Anisotropy)을 해결해, 3차원 영상 화질을 획기적으로 끌어올리는 인공지능 기술을 개발했다고 29일 밝혔다.
이방성 문제란 형광 현미경으로 3차원 영상을 획득하는 데 있어 빛의 성질로 인해 영상 공간 방향 간에 적게는 2~3배, 많게는 10배까지도 화질 차이가 발생하는 문제를 뜻한다. 예를 들면 3차원 영상을 보는 각도마다 화질의 차이가 발생하는 것이다.
연구팀은 수학적 기법인 최적 수송이론 기반을 둔 새로운 인공지능 시스템을 개발해 공초점 현미경과 광 시트 현미경에 적용했다. 기존 인공지능 기법들과는 다르게, 인공지능 학습 데이터가 따로 필요하지 않고, 하나의 3차원 영상만으로도 인공지능 학습에 적용할 수 있다는 점에서 획기적이라 볼 수 있으며, 생물학 연구자들에게 생물 표본의 3차원 고화질 영상 획득에 큰 도움을 줄 것으로 기대된다.
예종철 교수는 "3차원 영상 획득에 있어 극복하기 어려웠던 현미경의 물리적 한계를 인공지능 기술을 통해 뛰어넘었다는 점에서 의미가 있고, 비지도 학습 기반으로 훈련이 진행되기 때문에, 다양한 많은 종류의 3차원 영상 촬영 기법에도 확장 적용 가능하며, 또한 인공지능 연구의 새로운 응용을 개척했다는 데 의미가 있다ˮ 고 말했다.
김재철 AI 대학원의 예종철 교수가 주도하고, 박형준 연구원이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)' 6월 8일 字 온라인판에 게재됐다.
*논문명 : Deep learning enables reference-free isotropic super-resolution for volumetric fluorescence microscopy
논문 링크: https://www.nature.com/articles/s41467-022-30949-6
2022.06.29 조회수 10413 -
초저조도/초고조도 환경에서도 모션 블러 없는 고화질 및 고해상도 영상 생성이 가능한 알고리즘 개발
우리 대학 기계공학과 윤국진 교수 연구팀이 영국 임페리얼 칼리지 김태균 교수 연구팀과 GIST 최종현 교수 공동 연구팀과의 2건의 공동 연구를 통해 이벤트 카메라를 활용한 고화질 및 고해상도 영상 생성 알고리즘들을 개발했다.
연구팀은 이번에 개발한 알고리즘들을 통해 기존의 RGB 기반 카메라가 영상을 획득하지 못하는 초저조도/초고조도 환경에서도 이벤트 카메라(Event Camera)를 활용하여 고화질 및 고해상도 영상을 생성할 수 있고, 특히 이벤트 카메라의 장점을 살려 초고속의 움직임에도 모션 블러(motion blur, 빠른 움직임에 의한 영상 열화) 없는 고프레임율의 영상을 생성할 수 있다고 밝혔다.
이벤트 카메라는 카메라 각 화소에 입사하는 빛의 세기의 변화에 반응하여 광역동적범위(High Dynamic Range)에서 매우 짧은 지연 시간을 갖는 비동기적 이벤트 데이터를 영상 정보로 제공하기 때문에, 기존 RGB 카메라가 영상을 획득할 수 없었던 고조도/저조도 환경에서도 영상 데이터 획득이 가능하고 또한 초고속 움직임을 갖는 피사체에 대한 영상 데이터 획득이 가능하다는 장점이 있다.
하지만 기존의 영상과는 다른 형태의 영상 정보를 제공하기 때문에 기존의 영상 이해 기술을 접목시키기 어렵고 또한 센서의 제약으로 인해 영상의 해상도가 낮다는 단점이 있다. 연구팀은 이벤트 카메라의 장점을 유지하면서 이와 같은 문제를 해결하기 위해 이벤트 데이터로부터 고화질의 초고해상도의 영상을 생성해 내기 위한 최적화된 심층 신경망과 학습 알고리즘들을 제안하였다. 제안된 알고리즘들은 이벤트 카메라로부터 획득된 이벤트 데이터를 일정 시간 동안 누적하여 딥러닝 기반의 합성곱 신경망을 통해 영상을 생성하는 방식으로, 두 공동 연구에서 각각 교사 학습/비교사 학습 기반의 알고리즘을 제안하였는데, 제안된 두 알고리즘들 모두 이벤트 카메라의 장점을 유지할 수 있어 초당 최대 100만 프레임의 영상 생성이 가능하여 조명의 변화가 극심한 환경이나 고속 움직임에 대한 분석이 필요한 다양한 분야에 적용 가능할 것으로 기대된다.
윤국진 교수는 “본 기술은 이벤트 카메라를 활용한 영상 기반 상황 인식을 위한 기술로서, 기존 RGB 카메라로는 검출이 어려운 조명 변화가 극심한 상황에서 사용될 수 있고, 초고속 움직임에 대한 분석이 가능하기 때문에 자율주행 자동차, 드론, 로봇 등에 다양하게 활용될 것으로 기대한다.”고 말했다.
Mohammad Mostafavi 박사과정(GIST)이 1저자로 참여한 공동 연구와 Wang Lin 박사과정(KAIST)이 1저자로 참여한 공동 연구 논문들은 오는 6월에 개최 예정인 컴퓨터 비전/기계학습 분야의 국제 학술대회인 ‘IEEE Conference on Computer Vision and Pattern Recognition (CVPR)에 각각 구술/포스터 논문으로 발표될 예정이다. (논문명: (1) Learning to Super Resolve Intensity Images from Events, 이벤트를 활용한 초고해상도 이미지 생성 학습법, (2) EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning, 적대적 신경망 학습을 통한 비동기적 이벤트의 이미지로의 재구성, 복원 및 초해상도 연구)
한편, 이번 연구는 한국연구재단 중견연구자지원사업(NRF-2018R1A2B3008640)과 차세대정보・컴퓨팅기술개발사업(NRF-2017M3C4A7069369)의 지원을 받아 수행됐다.
2020.05.12 조회수 13413 -
2018 KAIST 핵심 특허기술 이전 설명회 개최
KAIST(총장 신성철)가 환자의 면역반응을 활성화시켜 인체 본연의 면역 시스템이 암세포를 사멸시키도록 유도하는 ‘면역 활성화 항암치료제’와 실시간 AI(딥러닝) 기술을 활용해 저해상도 영상을 고해상도 영상(4K UHD)으로 즉시 변환시키는 ‘초고화질 영상변환 하드웨어기술’ 등 당장 사업화 가능성이 높은 6개의 핵심 특허기술을 소개한다.
KAIST는 10일 오후 1시부터 서울 삼성동 코엑스에서 산학협력단(단장 최경철) 주관으로 ‘2018 KAIST 핵심 특허기술 이전 설명회’를 개최한다고 3일 밝혔다. 이 설명회는 KAIST 연구진이 보유한 우수 기술을 기업에게 이전해 일자리 창출은 물론 기업 경쟁력을 높이는 산학협력 모델을 조성키 위해 마련됐다.
산학협력단 관계자는 “지난 3월 KAIST가 오는 2031년까지 세계 10위권 선도대학으로의 진입을 선포한 ‘KAIST 비전 2031’의 5대 혁신분야 중 하나인 기술사업화 혁신방안의 일환으로 이번 설명회를 준비했다”며 “핵심 특허기술을 선정해 기업에게 이전하는 설명회를 매년 개최할 방침”이라고 밝혔다.
KAIST는 선정된 기술을 이전받는 기업들에게는 기술보증기금과 협력을 통해 기업금융연계 지원서비스를 제공할 계획이다. 이들 기업은 또 KAIST로부터 비즈니스 모델 개발과 특허-R&D 연계 전략분석, 국내·외 마케팅 우선 추진 등 다양한 서비스를 지원을 받게 된다.
올해 KAIST가 선보이는 기술은 4차 산업혁명의 중심이 되는 바이오, 나노, 인공지능, 반도체 분야의 핵심 특허기술로 ①새로운 방식의 나노 패터닝 플랫폼 기술(정희태 교수·생명화학공학과) ②면역 활성화 항암치료제후보 물질 확보(최병석 교수·화학과) ③미생물을 이용해 바이오연료 등을 대량생산할 수 있는 기술(이상엽 특훈교수·생명화학공학과) 등 이다.
이밖에 ④컴팩트한 싱글샷 초분광 카메라 기술(김민혁 교수·전산학부) ⑤AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술(김문철 교수·전기및전자공학부) ⑥방사선에 강인한 모스펫 소자(이희철 교수·전기및전자공학부)도 6개 핵심 특허기술에 포함됐다.
특히, 김문철 교수와 김민혁 교수의 특허기술은 지난 8월 31일부터 9월 5일까지 독일 베를린에서 열린‘국제 가전 박람회(IFA 2018)’에서도 전시, 소개돼 참가자들로부터 많은 주목을 받은 기술이다.
KAIST가 올해 선정한 6개 핵심기술은 산업계에 파급 효과가 큰 기술로 향후 다양한 분야로의 응용 가능성과 시장규모·기술혁신성 등을 고려해 선정됐다.
KAIST는 이를 위해 지난 4월부터 교수들이 직접 연구·개발해 특허를 보유한 교내 우수 기술을 대상으로 공모를 진행하고 접수된 특허기술을 대상으로 변리사·벤처 투자자·사업화 전문가 등 15명 내외로 구성된 심사단의 자문과 평가를 거쳤다.
9월 10일 진행되는 설명회에는 기술개발 및 기술이전을 포함한 상호 협력방안을 논의하기 위해 기업 관계자 및 투자자 등 200여 명이 초청될 예정이다. 연구자인 이상엽 특훈 교수 등 교수 6인도 모두 참석해 각 특허기술별로 15분씩 발표와 함께 현장에서 기술이전에 관한 상담 등도 진행한다.
이와 함께 신성철 총장을 비롯해 강낙규 기술보증기금 이사장 직무대행, 이준표 한국소프트뱅크 대표이사, 차기철 KAIST 동문회장 등 내·외빈이 참석해 4차 산업혁명 시대를 맞아 대학이 보유 중인 첨단기술에 관한 기술사업화의 중요성을 강조할 계획이다.
최경철 KAIST 산학협력단장은“이번 기술이전 설명회를 계기로 KAIST가 보유한 핵심 특허기술을 기업에게 적극적으로 소개하고, 양질의 일자리 창출과 함께 글로벌화 등 기업발전의 기회가 될 수 있는 산학협력의 성공적인 모델로 발전시켜 나갈 것”이라고 말했다.
최 단장은 이어“아직 발굴되지 않은 핵심 특허기술과 각종 사업추진 관련 아이디어 등을 지속적으로 발굴해 대학의 핵심기술을 활용한 기술사업화를 활성화하고 산학협력 사업을 적극적으로 추진해나갈 계획”이라고 밝혔다.
2018.09.03 조회수 14221 -
김문철 교수, 인공지능 통해 풀HD영상 4K UHD로 실시간 변환
〈 김 문 철 교수 〉
우리 대학 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다.
이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현했다. 초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다.
이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다.
최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다.
기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다.
김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했다.
연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.
이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다.
김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다.
이번 연구는 과학기술정보통신부 정보통신기술진흥센터(IITP) ICT 기초연구실지원사업의 지원을 받아 수행됐다.
□ 그림 설명
그림1. 실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 기술
그림2.심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 (FPGA)
그림3. 심층 신경망 AI 기반 4K UHD 60fps 실시간 초해상화 하드웨어 시연
2018.01.16 조회수 20270