%eb%9d%bc%ec%9d%b4%ed%8a%b8%ed%95%84%eb%93%9c%20%ec%b9%b4%eb%a9%94%eb%9d%bc
-
3차원 표정인식용 인공지능 라이트필드 카메라 개발
우리 대학 바이오및뇌공학과 정기훈, 이도헌 교수 공동연구팀이 근적외선 기반 라이트필드 카메라와 인공지능기술을 융합하여 얼굴의 감정표현을 구분하는 기술을 개발했다고 7일 밝혔다.
라이트필드 카메라는 일반적인 카메라와 다르게 미세렌즈 배열(Microlens arrays)을 이미지센서 앞에 삽입해 손에 들 수 있을 정도로 작은 크기이지만 한 번의 촬영으로 빛의 공간 및 방향 정보를 획득한다. 이를 통해 다시점 영상, 디지털 재초점, 3차원 영상 획득 등 다양한 영상 재구성이 가능하고 많은 활용 가능성으로 주목받고 있는 촬영 기술이다.
그러나 기존의 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크(Optical crosstalk)에 의해 이미지의 대비도 및 3차원 재구성의 정확도가 낮아지는 한계점이 있다.
연구팀은 라이트필드 카메라에 근적외선 영역의 수직 공진형 표면 발광 레이저(VCSEL) 광원과 근적외선 대역필터를 적용해 기존 라이트필드 카메라가 갖는 조명 환경에 따라 3차원 재구성의 정확도가 낮아지는 문제를 해결했다. 이를 통해 얼굴 정면 기준 0도, 30도, 60도 각도의 외부 조명에 대해, 근적외선 대역필터를 사용한 경우 최대 54%까지 영상 재구성 오류를 줄일 수 있었다. 또한, 가시광선 및 근적외선 영역을 흡수하는 광 흡수층을 미세렌즈 사이에 제작하면서 광학 크로스토크를 최소화해 원시 영상의 대비도를 기존 대비 약 2.1배 정도로 획기적으로 향상하는 데 성공했다.
이를 통해 기존 라이트필드 카메라의 한계를 극복하고 3차원 표정 영상 재구성에 최적화된 근적외선 기반 라이트필드 카메라(NIR-LFC, NIR-based light-field camera) 개발에 성공했다. 연구팀은 개발한 카메라를 통해 피험자의 다양한 감정표정을 가진 얼굴의 3차원 재구성 이미지를 조명 환경과 관계없이 고품질로 획득할 수 있었다.
획득한 3차원 얼굴 이미지로부터 기계 학습을 통해 성공적으로 표정을 구분할 수 있었고, 분류 결과의 정확도는 평균 85% 정도로 2차원 이미지를 이용했을 때보다 통계적으로 유의미하게 높은 정확도를 보였다. 이뿐만 아니라, 연구팀은 표정에 따른 얼굴의 3차원 거리 정보의 상호의존성을 계산한 결과를 통해, 라이트필드 카메라가 인간이나 기계가 표정을 판독할 때 어떤 정보를 활용하는지에 대한 단서를 제공할 수 있음을 확인했다.
정기훈 교수는 "연구팀이 개발한 초소형 라이트필드 카메라는 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것으로 기대된다ˮ며 "모바일 헬스케어, 현장 진단, 사회 인지, 인간-기계 상호작용 등의 분야에서 활용될 것ˮ이라고 연구의 의미를 설명했다.
우리 대학 바이오및뇌공학과 배상인 박사과정 졸업생이 주도한 이번 연구 결과는 국제저명학술지 `어드밴스드 인텔리전트 시스템즈(Advanced Intelligent Systems)'에 2021년 12월 16일 온라인 게재됐다. (논문명: Machine-Learned Light-Field Camera that Reads Facial Expression from High-Contrast and Illumination Invariant 3D Facial Images).
한편 이번 연구는 과학기술정보통신부 및 산업통상자원부의 지원을 받아 수행됐다.
2022.01.07 조회수 12978 -
해상도 높인 초박형 4D 카메라 개발
우리 대학 바이오및뇌공학과 정기훈 교수 연구팀이 금속 나노 광 흡수층을 통해 고해상도 4D 영상 구현이 가능한 초박형 라이트필드 카메라를 개발했다고 4일 밝혔다.
`라이트필드 카메라'는 곤충의 시각 구조에서 발견되는 형태에 착안해 미세렌즈와 대물렌즈를 결합한 진보된 형태의 카메라다. 한 번의 2차원 촬영으로 빛의 공간 뿐만 아니라 방향까지 4차원 정보를 동시에 획득한다. 그러나 기존 라이트필드 카메라는 미세렌즈 배열의 *광학 크로스토크(Optical crosstalk)로 인한 해상도 저하와 대물렌즈의 위치로 인한 크기의 한계가 존재한다.
☞ 광학 크로스토크(Optical Crosstalk): 어떤 통신회선의 전기 신호가 다른 통신회선과 전자기적으로 결합해 혼선을 일으키는 통신 용어를 크로스토크라고 하며, 광학에서는 한 렌즈를 통과한 빛이 다른 렌즈로부터 들어온 빛과 겹쳐 생기는 현상으로 영상이 중첩되어 촬영되는 것을 의미한다.
연구팀이 개발한 `4D 카메라'는 나노 두께의 광 흡수 구조를 미세렌즈 배열(Microlens arrays) 사이에 삽입해 대비도 및 해상도를 높였으며, 기존의 카메라가 가지는 외부 광원, 추가 센서 부착의 한계를 극복할 수 있다. 이러한 특징을 이용해 의료영상, 생체인식, 모바일 카메라 또는 다양한 가상현실/증강현실 카메라 분야에 적용 가능할 것으로 기대된다.
연구팀은 미세렌즈 배열의 광학 크로스토크를 제거하기 위해 200나노미터(nm) 두께 수준의 금속-유전체-금속 박막으로 이루어진 광 흡수층을 렌즈 사이에 배치하고, 대물렌즈와 미세렌즈 사이의 간격을 일정 수준으로 줄여 초박형 라이트필드 카메라를 개발하는 데 성공했다.
높은 광학적 손실성과 낮은 분산성을 갖는 크로뮴(Cr) 금속과 높은 투과율을 갖는 유리층을 나노미터 두께로 적층한 구조(Cr–SiO2–Cr)는 가시광선 영역의 빛을 완전히 흡수할 수 있다. 나노 광 흡수층을 미세렌즈 배열 사이에 배치해 미세렌즈들 사이의 광학 크로스토크를 제거하고 고 대비 및 고해상도 3차원 영상을 획득하는 데 도움을 준다.
연구팀은 광 흡수 구조를 갖는 미세렌즈 배열을 포토리소그래피(Photolithography), 리프트 오프(Lift-off), 열 재유동(Thermal reflow) 공정을 통해 양산 제작했다. 또한, 라이트필드 카메라의 전체 두께를 최소화하기 위해 미세렌즈의 방향을 이미지센서 방향의 역방향으로 배치하고 대물렌즈와 미세렌즈 사이 거리를 2.1mm 수준으로 줄여, 전체 5.1mm의 두께를 갖는다. 이는 현재까지 개발된 라이트필드 카메라 중 가장 얇은 두께다.
나노 광 흡수 구조를 갖는 미세렌즈에 의해 이미지센서에 기록되는 원시 영상은 기존 미세렌즈를 통한 영상에 비해 높은 대비도와 해상도를 가지며, 연구팀은 이를 영상처리 기법을 통해 시점 영상 및 3차원 영상으로 재구성했을 때 향상된 정확도를 가짐을 확인했다.
정기훈 교수는 "초박형이면서 고해상도의 라이트필드 카메라를 제작하는 새로운 방법을 제시했다ˮ며 "이 카메라는 생체인식, 의료 내시경, 휴대폰 카메라와 같이 다시점(Multi-view), 재초점(Refocusing)을 요구하는 초소형 영상장치로 통합돼, 초소형 4D 카메라의 새로운 플랫폼으로 활용될 것ˮ이라고 말했다.
우리 대학 바이오및뇌공학과 배상인 박사과정이 주도한 이번 연구 결과는 국제 학술지 `어드밴스드 옵티컬 머티리얼즈(Advanced Optical Materials)'에 1월 20일 字 게재됐다. (논문명: High Contrast Ultrathin Light-field Camera using inverted Microlens arrays with Metal-Insulator-Metal Optical Absorber)
한편 이번 연구는 과학기술정보통신부의 개인연구지원사업, 산업 통산 자원부의 기술혁신프로그램, 보건복지부의 보건의료기술연구개발사업으로 수행됐다.
2021.02.04 조회수 85883