%EC%9D%B4%EC%9D%98%EC%A7%84
-
감정노동 근로자 정신건강 살피는 AI 나왔다
감정노동이 필수적인 직무를 수행하는 상담원, 은행원 근로자들은 실제로 느끼는 감정과는 다른 감정을 표현해야 하는 상황에 자주 놓이게 된다. 이런 감정적 작업 부하에 장시간 노출되면 심각한 정신적, 심리적 문제뿐만 아니라 심혈관계 및 소화기계 질환 등 신체적 질병으로도 이어질 수 있어 이는 심각한 사회 문제로 여겨지고 있다. 한미 공동 연구진은 인공지능을 활용해서 근로자의 감정적 작업 부하를 자동으로 측정하고 실시간으로 모니터링할 수 있는 새로운 방법을 제시했다.
우리 대학 전산학부 이의진 교수 연구팀은 중앙대학교 박은지 교수팀, 미국 애크런 대학교의 감정노동 분야 세계적인 석학인 제임스 디펜도프 교수팀과 다학제 연구팀을 구성해 근로자들의 감정적 작업 부하를 실시간으로 추정해 심각한 정신적, 신체적 질병을 예방할 수 있는 인공지능 모델을 개발했다고 11일 밝혔다.
연구팀은 이번 연구를 통해 근로자가 감정적 작업 부하가 높은 상황과 그렇지 않은 상황을 87%의 정확도로 구분해 내는데 성공했다. 이 시스템은 기존의 설문이나 인터뷰 같은 주관적인 자기 보고 방식에 의존하지 않고도 감정적 작업 부하를 실시간으로 평가할 수 있어 근로자들의 정신건강 문제를 사전에 예방하고 효과적으로 관리할 수 있다는 장점이 있다. 또한, 이 시스템은 콜센터뿐만 아니라 고객 응대가 필요한 다양한 직종에 적용될 수 있어 감정 노동자들의 장기적인 정신건강 보호에 크게 기여할 것으로 기대된다.
기존 연구는 주로 사무실에서 컴퓨터를 사용해 서류 업무를 주로 다루는 직장인의 인지적 작업 부하(정보를 처리하고 의사결정을 내리는 데 필요한 정신적 노력)를 다뤘으며, 고객을 상대하는 감정 노동자들의 작업 부하를 추정하는 연구는 전무한 상황이었다.
감정 노동자들의 감정적 작업 부하는 고용주로부터 요구되는 정서 표현 규칙과 관련이 깊다. 특히 감정노동이 요구되는 상황에서는 자신의 실제 감정을 억제하고 친절한 응대를 해야 하기 때문에 대체적으로 근로자의 감정이나 심리적 상태가 표면적으로 드러나 있지 않다.
기존의 감정-탐지 인공지능 모델들은 주로 인간의 감정이 표정이나 목소리에 명백하게 드러나는 데이터를 활용해 모델을 학습해왔기 때문에 자신의 감정을 억제하고 친절한 응대를 강요받는 감정 노동자들의 내적인 감정적 작업 부하를 측정하는 것은 어려운 일로 여겨져 왔다.
모델 개발을 위해서는 현실을 충실히 반영한 고품질의 상담 시나리오 데이터셋 구축이 필수적어서 연구팀은 현업에 종사 중인 감정 노동자들을 대상으로 고객상담 데이터셋을 구축했다. 일반적인 콜센터 고객을 응대 시나리오를 개발하여 31명의 상담사로부터 음성, 행동, 생체신호 등 다중 모달 센서 데이터를 수집했다.
연구팀은 인공지능 모델 개발을 위해 고객과 상담사의 음성 데이터로부터 총 176개의 음성특징을 추출했다. 음성 신호 처리를 통해서 시간, 주파수, 음조 등 다양한 종류의 음성특징이 추출하며, 대화 내용은 고객의 개인정보 보호를 위하여 사용하지 않았다. 정서 표현 규칙으로 인한 상담사의 억제된 감정 상태를 추정하기 위하여 상담사로부터 수집된 생체신호로부터 추가적인 특징을 추출했다.
피부의 전기적 특성을 나타내는 피부 전도도(EDA, Electrodermal activity) 13개의 특징, 뇌의 전기적 활성도를 측정하는 뇌파(EEG, Electroencephalogram) 20개의 특징, 심전도(ECG, Electrocardiogram) 7개의 특징, 그 외 몸의 움직임, 체온 데이터로부터 12개의 특징을 추출했다. 총 228개의 특징을 추출해 9종의 인공지능 모델을 학습하여 성능 비교 평가를 수행했다.
결과적으로, 학습된 모델은 상담사가 감정적 작업 부하가 높은 상황과 그렇지 않은 상황을 87%의 정확도로 구분해 냈다. 흥미로운 점은 기존 감정-탐지 모델에서 대상의 목소리가 성능 향상에 기여하는 주요한 요인이었지만 본인의 감정을 억누르고 친절함을 유지해야 하는 감정노동의 상황에서는 상담사의 목소리가 포함될 경우 오히려 모델의 성능이 떨어지는 현상을 보였다는 것이다. 그 외에 고객의 목소리, 상담사의 피부 전도도 및 체온이 모델 성능 향상에 중요한 영향을 미치는 특징으로 밝혀졌다.
이의진 교수는 "감정적 작업 부하를 실시간으로 측정할 수 있는 기술을 통해 감정노동의 직무 환경 개선과 정신건강을 보호할 수 있다”며 "개발된 기술을 감정 노동자의 정신건강을 관리할 수 있는 모바일 앱과 연계하여 실증할 예정이다”고 말했다.
중앙대학교 박은지 교수(KAIST 전산학부 박사 졸업)가 제1 저자이며 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 「Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies」 2024년 9월호에 게재됐다. 또한, 이 연구는 인간-컴퓨터 상호작용 분야의 최우수 학술대회인 ACM UbiComp 2024에서 발표됐다. (논문제목: Hide-and-seek: Detecting Workers’ Emotional Workload in Emotional Labor Contexts Using Multimodal Sensing, https://doi.org/10.1145/3678593)
이번 연구는 과학기술정보통신부 정보통신기획평가원 ICT융합산업혁신기술개발사업의 지원을 받아 수행됐다.
2025.02.11 조회수 2291 -
이의진 교수, 미국컴퓨터협회 최우수논문상 수상
우리 대학 전산학부 이의진 교수 연구팀이 지난 10월 8일 호주 멜버른에서 미국컴퓨터협회(ACM) 주최로 개최된 유비쿼터스 컴퓨팅 학회(Ubicomp/ISWC)에서 최우수 논문상을 받았다고 25일 밝혔다.
ACM 유비쿼터스 컴퓨팅 학회는 전 세계 유수 대학 및 글로벌 기업들이 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction) 분야의 유비쿼터스 컴퓨팅 및 웨어러블 기술에 관한 최신 연구 결과를 발표하는 최고 권위의 국제학회다.
학술대회 프로그램은 유비쿼터스 및 웨어러블 컴퓨팅 분야의 최신 연구를 다루는 ACM 논문집(PACM) IMWUT(Interactive, Mobile, Wearable and Ubiquitous Technologies)에 출판된 논문을 초청해 구성된다.
우수 논문상 선정 위원회는 ACM 논문집인(PACM IMWUT) 학술지 7권에 게재된 205편의 논문 중에서 연구 커뮤니티에 탁월하고 모범적인 기여를 한 8편의 논문을 선정했다. 위원회는 학술지 편집위원회의 현직 및 전직 위원 16명의 저명한 전문가들로 구성됐으며 전체 논문에 대한 까다로운 심사를 한 달 이상 거쳐 결정된다.
최우수 논문상을 받은 논문은 KAIST 데이터 사이언스 대학원을 졸업한 박준영 박사가 주저자로 수행한 연구로 ‘적시 모바일 건강 중재의 참여도 저하에 관한 이해’에 관한 내용이다.
이의진 교수 연구팀은 건강 관리 앱도 사용해야 효과를 거둘 수 있다는 전제 하에 앱에서 수집되는 데이터를 활용해 최적의 상황에 중재를 적극적으로 제공하는 ‘적시 모바일 건강 중재’를 제안했다.
연구팀은 적시 모바일 건강 중재에 대한 참여도 저하에 대한 체계적인 분석을 수행했다. 활동적 생활 습관 형성을 위한 신체활동 증진 앱인 비액티브(BeActive) 시스템을 개발해 사용자의 자가통제(Self-Control) 능력과 지루함 성향(Boredom-Proneness)이 적시 중재에 대한 순응도에 미치는 영향을 체계적으로 분석했다.
8주간의 실증 실험 결과, 사용자의 상황에 맞는 적시 중재를 제공하더라도 참여도 저하를 피할 수가 없는 것으로 드러났다. 다만 자가통제 능력이 높고 지루함 성향이 낮은 사용자의 경우, 앱을 통해 전달되는 적시 중재에 순응도가 다른 그룹의 사용자들보다 현저하게 높았다.
특히 지루함 성향이 높은 사용자는 반복적으로 전달되는 적시 중재에 싫증을 쉽게 느껴 앱의 순응도가 다른 그룹에 비해서 더 빨리 감소했다.
이의진 교수는 “적시 모바일 건강 중재를 활용하는 디지털 치료제 및 웰니스 서비스의 참여도에 관한 첫 연구 결과로 참여도 증진 방법 탐색에 대한 단초를 제공했다”라며 “대규모 언어모델(LLM) 및 복합상황인지 기술을 활용해 참여도를 증강하는 사용자 중심 인공지능 기술 개발이 가능할 것”이라고 설명했다.
이번 연구는 과기정통부의 재원으로 2021년도 한국연구재단 바이오․의료기술개발사업 (NRF-2021M3A9E4080780) 및 2022년도 한국연구재단 기초연구 개발사업(NRF-2022R1A2C2011536)의 지원을 받아 수행됐다.
2024.10.25 조회수 3363 -
지금 당신의 마음 건강은 어떠한가요?
최근 빠른 고령화 및 출산율 감소 등으로 1인 가구가 급속하게 증가하면서, 1인 가구의 정신건강 문제에 대한 관심도 함께 높아지고 있다. 서울시가 실시한 1인 가구 실태조사에 따르면, 1인 가구의 60% 이상이 외로움을 느끼고 있으며, 특히 사회적 고립과 함께 외로움을 겪는 비율이 상당히 높은 것으로 나타났다.
우리 대학 전산학부 이의진 교수 연구팀이 1인 가구의 정신건강 관리를 위해, 사용자 스스로가 자신의 심리 상태를 기록할 수 있도록 지원하는 상황 인식 기반 멀티모달 스마트 스피커 시스템을 개발했다고 24일 밝혔다.
연구팀은 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문하도록 이 시스템을 설계했고 기존의 무작위 설문보다 높은 응답률을 달성하는 것을 확인했다.
기존 스마트 스피커를 활용한 정신건강 자가 추적 연구에서 무작위 설문을 할 경우 사용자의 스트레스, 짜증 등 부정적인 감정이 유발시켜 설문 응답에 편향이 발생할 수 있어 각별한 주의가 필요했다.
이러한 문제 해결을 위해 이의진 교수 연구팀은 스마트 스피커에 멀티 모달 센서를 장착해, 사용자의 주변 상황의 변화를 감지해 스피커가 말 걸기 좋은 시점이 검출되면 정신건강 자가 추적 설문을 능동적으로 요청하는 상황 인식 기반 자가 추적 기술을 개발했다.
스피커는 실내 움직임, 조명, 소음, 이산화탄소 등 다양한 센서 데이터를 종합적으로 분석해 사용자의 존재 및 활동을 감지한 뒤, 사용자가 응답하기 적합한 시점에 자가 추적 설문을 능동적으로 요청함으로써, 설문 응답의 효율성을 극대화했다.
또한, 설문 입력 방식의 경우 최근 출시된 스마트 스피커는 명령뿐만 아니라 터치스크린도 지원하므로 사용자들이 음성 또는 터치 입력 방식을 자유롭게 선택할 수 있도록 해 상호작용의 폭을 넓혔다. 이를 통해 사용자는 상황에 맞는 최적의 인터페이스를 선택해 자가 추적을 쉽게 수행할 수 있도록 했다.
개발된 스피커의 사용자 경험을 평가하기 위해서 연구팀은 1인 가구 20세대에 자가 추적 스마트 스피커를 설치해, 한 달 동안 실증 연구를 수행해서 총 2,201개의 정신건강 설문 응답 데이터셋을 구축했다.
데이터셋 분석을 통해 설문 응답 시간, 활동 맥락에 따른 설문 응답 패턴 및 어떤 상황에서 음성 입력(VUI) 또는 터치 입력(GUI)이 더 선호되는지 파악했다.
특히, 스마트 스피커가 말로 사용자에게 요청을 하다 보니 스피커 근처에서 사용자의 활동을 감지하는 것이 정신건강 설문 응답률에 큰 영향을 미쳤다. 음성 입력의 편의성에도 불구하고 전반적으로 참가자들은 음성 입력보다는 빠른 응답이 가능한 터치 입력을 선호했다.
데이터 분석 결과, 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문을 할 경우 응답률이 더 높으며, 어떤 상황에서 음성 또는 터치 인터페이스를 선호하는지도 파악했다.
연구를 주도한 이의진 교수는 “이번에 개발한 스마트 스피커를 앞으로 수용전념치료 기법을 활용한 인간상담사와 같은 기능의 정신건강 관리 지원 스마트 스피커로 발전시키고자 한다. 나아가 실내에서 수집된 일상생활 데이터를 AI 모델로 학습해 사용자 정신건강 상태에 따라 라이프 스타일 패턴을 예측하는 시스템도 개발하여 향후 정신질환 조기 발견과 효율적인 관리를 가능케 할 인공지능 에이전트의 혁신을 이끌 것으로 기대된다” 라고 말했다.
한편 이 연구는 LG전자-KAIST 디지털 헬스케어 연구센터의 지원을 받아 수행됐고 인간 컴퓨터 상호작용(HCI) 분야 국제 최우수 국제학술대회인 미국컴퓨터협회(ACM) 소속 ‘Conference on Human Factors in Computing Systems (CHI)’에서 지난 2024년 5월에 발표됐다.
논문명: Exploring Context-Aware Mental Health Self-Tracking Using Multimodal Smart Speakers in Home Environments
2024.09.24 조회수 3237 -
전산학부 이의진 교수, ICMU 학회 기조 강연 진행
우리 대학 전산학부 이의진 교수가 11월 29~12월 1일 동안 일본 교토에서 열린 ICMU 학회(The 14th International Conference on Mobile Computing and Ubiquitous Networking)에서 “참여도 증강을 위한 데이터 기반의 디지털 헬스 및 웰빙(Towards Data-Driven Digital Health and Wellbeing for Engagement Enhancement)”라는 주제로 기조 강연을 진행했다.
올해 14회째를 맞는 ICMU 학회는 모바일 및 유비쿼터스 컴퓨팅을 다루는 국제학회로 사람, 스마트 센서, 기기가 초연결된 차세대 컴퓨팅환경에 관한 최신연구 성과를 공유하고 연구 방향을 모색하는 학술교류의 장이다. 이번 학회는 센싱, 소셜 응용, 보안, 통신 등을 주제로 32편의 학술논문과 11편의 포스터가 발표됐다.
이의진 교수는 모바일, 웨어러블, 사물 인터넷(IoT) 기술을 활용하여 인간의 웰빙과 잠재력 실현을 목표로 하는 긍정 컴퓨팅에 분야를 연구하고 있다. 특히 데이터를 활용하여 정신적, 사회적 웰빙(예: 스트레스 관리 및 사회적 정서적 학습), 신체적 웰빙(예: 운동, 수면 코칭), 업무 생산성(예: 주의력 관리) 등을 증진하는 응용 기술을 개발해왔다. 이번 기조 강연에서는 이의진 교수는 모바일, 웨어러블, IoT로부터 수집되는 다양한 센서 및 상호작용 데이터를 활용하여 건강 및 웰빙 문제를 자동으로 찾아내 사용자의 참여도와 치료의 효과성을 증진할 수 있는 데이터 기반 디지털 헬스케어 최적화 기법과 연구 방향에 대해서 논의했다. 기조강연에서 논의된 일부 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2022-0-00064, 감정노동자의 정신건강 위험 예측 및 관리를 위한 휴먼 디지털 트윈 기술 개발)
ICMU 학술대회 홈페이지: https://www.icmu.org/icmu2023/
2023.12.01 조회수 3797 -
이의진 교수, 미 컴퓨터협회 인간-컴퓨터 상호작용 학회 아카데미 회원 선임
우리 대학 전산학부 이의진 교수가 인간-중심의 컴퓨팅 기술을 연구하는 긍정 컴퓨팅 분야에 대한 기술적 사회적 공로를 인정받아 지난 4월 23일부터 4월 28일까지 독일 함부르크에서 열린 ACM SIGCHI 학술대회에서 아카데미 회원으로 선임됐다고 28일 밝혔다.
미국컴퓨터협회(ACM) 소속 SIGCHI (Special Interest Group on Computer-Human Interaction)는 인간과 컴퓨터가 상호작용하는 방식을 연구하고 이를 개선하는 기술과 방법을 발전시키기 위한 국제 최고권위의 학술단체다. SIGCHI 소속의 대표적인 최우수 학술대회로는 인간-컴퓨터 상호작용 학회(CHI, Conference on Human Factors in Computing Systems)가 있으며 KAIST의 실적은 글로벌 상위 10위안에 포함된다.
ACM SIGCHI 아카데미는 인간-컴퓨터 상호작용 분야에 괄목할 만한 기여를 한 명예로운 연구자 그룹으로 전 세계적으로 매년 8명 내외의 인사들이 선임된다. ACM SIGCHI 아카데미 회원 선임은 인간-컴퓨터 상호작용 분야의 선두 주자로, 학문과 산업을 혁신하고, 인간-컴퓨터 상호작용 분야의 연구를 국제적으로 주도하는 것을 인정받은 것이다. 아시아에서는 일본을 이어 대한민국 최초로 선정된 것이어서 더욱 의미가 크다. 아카데미 회원 선정은 장기간 연구 분야에 대한 누적 기여도, 새로운 연구 방향 또는 혁신을 통한 분야의 파급력, 다른 연구자의 연구에 미친 영향력과 ACM SIGCHI 연구 커뮤니티 참여도를 종합 평가한다.
수상 위원회는 긍정적 컴퓨팅 분야에서 파급력을 보인 이의진 교수의 연구를 높이 평가했다. 이 교수는 전산학, 인지심리학, 디자인 분야를 아우르는 진정한 학제 간 연구를 수행한 인간-컴퓨터 상호작용연구자로서 디지털 헬스와 웰빙 주제로 시스템 설계와 인간 행동 이해에서 모두 크게 기여했다. KAIST 부임 후 다 학제 공동연구 수행을 통해 160편 이상의 논문을 출판했고 국내외 특허도 다수 취득했다. 구글 스칼라의 피인용 지수도 1만 회를 상회한다.
이 교수는 디지털 웰빙 연구에서 문제 행동 중재에 대한 새로운 디자인 지침을 제시했고, 창의적인 응용 서비스 개발을 통해 스마트폰 사용에 관한 기술 기반 자기절제 지원방식을 실증했다. 무엇보다 대규모 필드 실험을 통해서 많은 사람들이 이 교수 연구팀이 개발한 긍정 컴퓨팅 앱을 통해 도움을 받았다. CHI 학술대회에서 최우수 논문상을 받은 연구인 Lock n’ LoL (스마트폰 잠그고 큰소리로 웃기) 시스템은 스마트폰으로 인한 사회적 배제를 완화하기 위한 이 교수의 혁신적인 실증연구의 좋은 사례다. 또한 수백 명의 학생을 대상으로 수행된 Let's FOCUS 시스템에 관한 장기 연구에서는 교실 학습 맥락에서 기술적 개입을 설계하는 중요한 기반을 제공했다. 그 외에 신체적, 정신적 웰빙을 증진하기 위한 디지털 헬스 중재 기술에 대한 응용 연구를 다수 수행했다. 건강과 웰빙 증진을 위한 적시 개입 기술을 설계하고 평가하는 선구자 중 한 명이다.
이 교수는 인간-컴퓨터 상호작용 최고권위의 학회인 ACM Ubicomp, CHI, CSCW의 편집위원으로 꾸준히 봉사를 해왔다. 국내 ACM SIGCHI 한국지부 위원장으로 다년간 봉사했고 2021년에는 한국HCI 학술대회 조직위원장을 선임했다. 연구재단 인정의 우수 학회에서 최우수 논문상(ACM CHI’16, AAAI ICWSM’13, IEEE CCGrid’11, IEEE PerCom’07)을 다수 수상했고, IEEE IoT Forum으로부터 최다피인용 논문상(2019)을 받은 바 있다.
현재 이 교수는 감정노동자를 위한 디지털 헬스케어 기술 개발과 스마트 홈 환경을 위한 정신건강 관리 시스템에 관한 연구를 활발히 수행하고 있다. 이 교수는 “모바일, 웨어러블, 사물인터넷(IoT) 등 디지털 기술을 활용하여 인간의 건강과 웰빙을 지원하는 현재 서비스를 데이터와 인공지능을 융합하는 개인화 서비스로 확장해 접근성과 효율성을 100배 이상 높이는 도전적인 미래 기술 연구를 수행해나갈 계획”이라고 말했다.
2023.05.02 조회수 5630 -
전산학부 이의진 교수, ICMU 21 학회 조직위원장 선임
우리 대학 전산학부 이의진 교수가 오는 11월 17-19일 동안 하이브리드로 열리는 ICMU 학회(The 13th International Conference on Mobile Computing and Ubiquitous Networking)의 조직위원장(General Chair)으로 선임되어 학술 행사 조직을 총괄하게 됐다.
올해 13회째를 맞는 ICMU 학회는 모바일 및 유비쿼터스 컴퓨팅을 다루는 국제학회로 사람, 스마트 센서, 기기가 초연결된 차세대 컴퓨팅환경에 관한 최신연구 성과를 공유하고 연구 방향을 모색하는 학술교류의 장이다. 이번 학회는 무선네트워크, 기계학습 및 센서, 애플리케이션 및 보안, 스마트 시티, 인지 컴퓨팅, 헬스케어 주제로 30편의 학술논문과 11편의 포스터가 발표된다. 또한, HCI 및 증강인간(Augmented Human)의 국제 권위자인 준 레키모토(Jun Rekimoto) 교수와 AR/VR 및 모바일컴퓨팅 분야의 국제 권위자인 판 후이(Pan Hui) 교수가 기조강연을 진행할 예정이다.
이의진 교수는 2015년도 ICMU학회에서 프로그램위원장을 역임하였으며 오랫동안 모바일 및 유비쿼터스 컴퓨팅 분야에 기여한 공로를 바탕으로 2021년도 조직위원장에 선임됐다.
홈페이지 : http://www.icmu.org/icmu2021/organizers.html
2021.11.02 조회수 5869 -
전산학부 이의진 교수, ACM UbiComp'21 학회 프로그램 위원장 선임
우리 대학 전산학부 이의진 교수가 오는 9월 21-26일 동안 온라인으로 열리는 ACM UbiComp 학회(International Joint Conference on Pervasive and Ubiquitous Computing)의 프로그램 위원장(Program Chair)으로 선임되어 학술 프로그램 조직을 총괄하게 됐다.
ACM UbiComp 학회는 모바일, 웨어러블, 사물인터넷(IoT), 가상/증강 현실(AR/VR)을 포함하는 차세대 컴퓨팅 환경을 위한 유비쿼터스 컴퓨팅 시스템 디자인, 개발, 실증, 이해에 관한 연구를 공유하는 국제 최고 권위의 학술대회다.
올해는 분야의 선구자인 고(故) 마크 와이저(Mark Weiser) 박사의 “유비쿼터스 컴퓨팅” 비전 선포 30주년을 맞이하여 노스웨스턴 대학의 Gregory Abowd 교수 등 주요학자들이 “미래 연구 방향”에 대해 논의를 진행할 예정이다. 230편 이상의 학술논문 발표, 38편의 포스터/데모, 11개의 워크샵, 4개의 튜토리얼, 박사 심포지움 등 다양한 학술교류 프로그램이 온라인으로 진행될 예정이다.
이의진 교수는 ACM UbiComp학회에 한국인으로서는 가장 많은 수의 논문을 출판하였으며 유비쿼터스 컴퓨팅 분야에 기여한 공로를 바탕으로 2021년도 프로그램위원장에 선임되었다.
UbiComp 학술대회 홈페이지: https://www.ubicomp.org/ubicomp2021/
2021.08.06 조회수 8637 -
언제 말 걸지 아는 스마트 스피커 개발 길 열어
우리 대학 전산학부 이의진 교수 연구팀이 스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 최적의 시점을 결정하는 중요한 상황맥락 요인을 찾아냈다고 28일 밝혔다.
기존에 개발되거나 시판 중인 스마트 스피커 인공지능 비서는 사용자가 먼저 요청한 서비스만 제공하는 반면 최근 스마트 스피커의 개발은 사용자의 상황에 맞춰 능동적인 서비스를 제공하는 형태로 진화하는 추세다. 똑똑한 음성비서가 사용자가 처해 있는 상황을 정확히 이해한 후에 선제적으로 일정 및 건강관리를 도와주는 방향으로 개발되고 있는 것이다. 하지만 아무 때나 눈치 없이 말을 건다면 도움은커녕 하는 일에 방해만 될 수 있다.
이의진 교수 연구팀은 스마트 스피커가 선제적으로 음성서비스를 제공하기 좋은 최적의 시점을 찾는 연구를 전산학부 이재길 교수를 비롯해 산업디자인학과 이상수 교수와 함께 다학제 연구팀을 구성해 공동연구를 수행했다. 그 결과 다학제 연구팀은 스마트 홈 환경에서의 최적의 발화(發話) 시점을 결정하는 중요한 사용자 상황맥락 요인을 찾았다.
최적의 발화 시점에 관한 추론은 인공지능 비서가 음성서비스를 시작하거나 중지 또는 재개를 스스로 결정하고 제어하기 위한 필수적인 기술이다. 연구팀이 찾아낸 중요한 상황맥락 요인은 최적의 발화 시점 추론 시 정확성을 높일 것으로 관계자들은 기대하고 있다.
스마트 스피커 인공지능 비서가 선제적으로 말 걸기 좋은 시점을 찾기 위해 연구팀은 실험용 스마트 스피커를 제작했다. 스마트 스피커는 사용자의 움직임이 감지되거나 일정한 시간이 지나면 주기적으로 "지금 대화하기 좋은가요ˮ라는 질문을 했다. 참가자는 대화하기 좋은지 아닌지, "네ˮ 또는 "아니요ˮ로 대답하고 무엇을 하고 있었는지 설명했다. 연구진은 이어 교내 기숙사에 거주하는 학생 40명(2인 1실)의 방에 스마트 스피커를 설치해 1주일간 총 3,500개의 사용자 응답 데이터를 수집했다.
데이터 분석 결과 전체 참가자 응답 중 47%는 대화하기 부적절한 것으로 드러났다. 연구진은 대화하기 좋은 시점을 결정하는 주요 상황 요인을 찾기 위해 19개의 실내 활동 범주를 만들었다. 이를 통해 연구팀은 적절한 시점을 결정하는 상황맥락 요인으로 크게 개인적 요인과 움직임 요인, 사회적 요인을 꼽았다.
개인적 요인은 크게 `활동 집중도', `긴급함과 바쁨 정도', `정신적·육체적 상태' 그리고 `다중 작업수행을 위한 듣기 또는 말하기 가능성' 등 4가지다. 예를 들면 집중해서 공부하고 있거나 드라이로 머리를 말리고 있을 때는 스피커와 대화가 어려웠다. 움직임 요인은 `외출', `귀가' 그리고 `활동 전환' 등 3가지다. 특히 사용자 움직임이 있을 때는 스피커와 대화 가능한 거리가 최적 시점 판단에 큰 영향을 미쳤다. 외출은 스피커와 대화 가능 범위 밖으로 나가는 움직임이고, 귀가는 범위 안으로 들어오는 움직임이다. 범위 안으로 들어오는 귀가(歸家) 상황일 때는 대부분 대화하기 좋은 시점으로 분류됐다.
일반적으로 스마트 스피커는 거실처럼 집 구성원이 함께 생활하는 공간에 설치된다. 수집된 사용자 응답 중 절반은 룸메이트가 함께 있을 때 수집됐다. 연구팀은 전화 대화뿐만 아니라 누군가와 함께 있다는 것 또한 스마트 스피커와 대화하기 좋은 시점에 영향을 끼친다는 현상을 발견했다. 룸메이트가 자고 있거나 어떤 활동에 집중하고 있을 때 스마트 스피커와의 대화로 인한 갈등을 최소화하고 싶기 때문이다.
이번 연구에 제1 저자로 참여한 차나래 학생은 "이번 연구가 미래 스마트 스피커 개발의 중요한 토대가 될 것ˮ이라면서 "앞으로는 센서 데이터로 감지된 상황맥락 정보를 활용해 스마트 스피커가 스스로 대화를 시작·중지, 또는 재개하기 좋은 타이밍을 선제적으로 감지해 지능적인 음성서비스를 제공할 수 있을 것ˮ이라고 밝혔다.
한편, 이 연구는 과학기술정보통신부의 재원으로 한국연구재단-차세대정보 컴퓨팅기술개발사업의 지원을 받아 수행됐고 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 `Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies' 9월호에 게재됐다.
(논문명 : Hello There! Is Now a Good Time to Talk?: Opportune Moments for Proactive Interactions with Smart Speakers)
2020.10.28 조회수 27032 -
이의진 교수, G20 정상회의 주관 〈국제 디지털 헬스 정상회의〉 초청 강연 진행
우리 대학 산업및시스템공학과 이의진 교수가 오는 8월11일~12일 동안 열리는 G20정상회의 주관 사우디아라비아 국가방위부(Ministry of National Guard-Health Affairs) 주최로 진행되는 리야드 국제 디지털 헬스 정상회의(Giyadh Global Digital Health Summit)에서 '팬데믹 상황에서 시민들의 순응도 향상을 위한 넛지 기술'이라는 주제로 초청 강연을 진행한다.
리야드 국제 디지털 헬스 정상회의에서는 현재와 미래의 팬데믹(질병 대유행)에 관한 디지털 헬스의 중추적인 역할에 대해서 전 세계 헬스케어, 공중보건, 디지털 헬스의 산학연 리더들이 참여해 디지털 역학, 예측 모델, 공중보건 소통 및 정책, 디지털 공중보건, 웰니스, 원격의료, AI와 로봇 기술 등에 관한 발표 및 토의를 진행할 예정이다. 디지털 기술과 혁신을 기반으로 팬데믹에 강인한 글로벌 헬스케어 시스템 구축에 관한 초석을 확립하기 위한 ‘리야드 선언(Riyadh Declaration)’ 또한 선포될 예정이다. 6만 명 이상의 전 세계 전문가나 일반인들이 온라인으로 참여 등록을 하여 사상 최대 규모의 디지털 헬스 행사가 온라인에서 열리게 된다.
이의진 교수의 초청 강연은 8월12일(수) 한국시간 0시30분에 진행될 예정이며, 인간의 행동이 감염병 전파와 차단에 어떠한 역할을 하며, 인간의 사고 행동 모델과 넛지 기반 디지털 시스템 디자인, 위기상황에서의 의사소통과 상호작용을 위한 다양한 디지털 기술 기반 방법론 및 사례에 대한 논의와 함께 디지털 공중보건을 위한 넛지 기술적용에 대한 핵심 이슈를 다룰 예정이다. 강연은 리야드 국제 디지털 헬스 정상회의 홈페이지(https://rgdhs2020.com)를 통해서 무료로 실시간 중계될 예정이며 추후 유튜브 채널 등을 통해 일반에게 공개될 예정이다.
2020.08.11 조회수 22027 -
이의진 교수, 차량 대화형서비스 안전성 향상 기술 개발
〈 이의진 교수, 김아욱 박사과정 〉
우리 대학 산업및시스템공학과 이의진 교수 연구팀이 차량용 인공지능이 능동적으로 운전자에게 대화 서비스를 어느 시점에 제공해야 하는지 자동으로 판단할 수 있는 기술을 개발했다.
연구팀은 차량에서 수집되는 다양한 센서 데이터와 주변 환경 정보를 통합 분석해 언제 운전자에게 말을 걸어야 하는지 자동 판단하는 인공지능 기술을 개발했다.
차량 대화형서비스가 가진 문제를 해결하는 데 중점을 둔 이번 연구는 인공지능의 자동판단 기술을 통해 대화형서비스로 인한 운전자 주의분산 문제를 해결함으로써, 부적절한 시점에 운전자에게 대화를 시도하다가 발생할 수 있는 교통사고 등을 방지하는 기반기술이 될 것으로 기대된다.
이번 연구결과는 유비쿼터스 컴퓨팅 분야 국제 최우수학회인 ACM 유비콤(UbiComp)에서 9월 13일 발표됐다. 김아욱 박사과정이 1저자로 참여하고 최우혁 박사과정, 삼성리서치 박정미 연구원, 현대자동차 김계윤 연구원과의 공동 연구로 이뤄졌다. (논문명: Interrupting Drivers for Interactions: Predicting Opportune Moments for In-vehicle Proactive Auditory-verbal Tasks)
차량 대화형서비스는 편의와 안전을 동시에 제공해야 한다. 운전 중에 대화형서비스에만 집중하면 전방 주시에 소홀하거나 주변 상황에 주의를 기울이지 못하는 문제가 발생한다. 이는 운전뿐만 아니라 대화형서비스 사용 전반에도 부정적인 영향을 줄 수도 있다.
연구진은 말 걸기 적절한 시점 판단을 위해 ▲현재 운전상황의 안전도 ▲대화 서비스 수행의 성공률 ▲운전 중 대화 수행 중 운전자가 느끼는 주관적 어려움을 통합적으로 고려한 인지 모델을 제시했다.
연구팀의 인지 모델은 개별 척도를 다양하게 조합해 인공지능 에이전트가 제공하는 대화형서비스의 유형에 따른 개입 시점의 판단 기준을 설정할 수 있다.
일기예보 같은 단순 정보만을 전달하는 경우 현재 운전상황의 안전도만 고려해 개입 시점을 판단할 수 있고, ‘그래’, ‘아니’ 같은 간단한 대답을 해야 하는 질문에는 현재 운전상황의 안전도와 대화 서비스 수행의 성공률을 함께 고려한다. 매우 보수적으로 세 가지 척도를 모두 함께 고려해 판단할 수 있다. 이 방식은 에이전트와 운전자가 여러 차례의 상호작용을 통해 의사결정을 할 때 사용한다.
정확도 높은 자동판단 인공지능 기술 개발을 위해서는 실제 도로 운전 중 에이전트와의 상호작용 데이터가 필요하기 때문에 연구팀은 반복적인 시제품 제작 및 테스트를 수행해 실제 차량 주행환경에서 사용 가능한 내비게이션 앱 기반 모의 대화형서비스를 개발했다.
자동판단을 위해 대화형서비스 시스템과 차량을 연동해 운전대 조작, 브레이크 페달 조작 상태 등 차량 내 센서 데이터와 차간거리, 차량흐름 등 주변 환경 정보를 통합 수집했다.
연구팀은 모의 대화형서비스를 사용해 29명의 운전자가 실제 운전 중에 음성 에이전트와 수행한 1천 3백 88회의 상호작용 및 센서 데이터를 구축했고, 이를 활용해 기계학습 훈련 및 테스트를 수행한 결과 적절 시점 검출 정확도가 최대 87%에 달하는 것을 확인했다.
연구팀의 이번 기술 개발로 대화형서비스로 인한 운전자 주의분산 문제를 해결할 수 있을 것으로 전망된다. 이 기술은 대화형서비스를 제공하는 차량 인포테인먼트 시스템에 바로 적용할 수 있다. 운전 부주의 실시간 진단 및 중재에도 적용될 수 있을 것으로 기대된다.
이의진 교수는 “앞으로의 차량 서비스는 더욱더 능동적으로 서비스를 제공하는 형태로 거듭나게 될 것이다”라며 “자동차에서 생성되는 기본 센서 데이터만을 활용해 최적 개입 시점을 정확히 찾을 수가 있어 앞으로는 안전한 대화 서비스 제공이 가능할 것이다”라고 밝혔다.
이번 연구는 한국연구재단 차세대정보컴퓨팅기술개발사업과 현대NGV의 지원을 통해 수행됐다.
□ 그림 설명
그림1. 실차 데이터 수집장비 및 실제 실험 모습
그림2. 모의 대화형서비스 개념도
그림3. 차량 대화형서비스의 안전성 증진 기술 개념도
2019.11.12 조회수 18030 -
이의진 교수, 스마트폰으로 문서 촬영 시 발생하는 회전 오류 문제 해결
〈 이의진 교수(좌)와 오정민 박사과정(우) 〉
우리 대학 산업및시스템공학과 이의진 교수 연구팀이 스마트폰 카메라로 문서를 촬영할 때 자동으로 발생하는 불규칙적인 회전 오류 현상의 원인을 밝히고 해결책을 개발했다.
연구팀은 스마트폰의 방위 추적 알고리즘의 한계가 회전 오류의 원인임을 규명했다.
이번 연구 결과는 인간-컴퓨터 상호작용 학회의 국제 학술지인 ‘인터내셔널 저널 오브 휴먼 컴퓨터 스터디(International Journal of Human-Computer Studies)’ 4월 4일자 온라인 판에 게재됐고 8월호 저널에 게재될 예정이다.
스마트폰을 통해 책자, 문서 등을 촬영해 업무에 활용하는 것은 자연스러운 일상이 됐다. 하지만 촬영한 문서가 자동으로 90도 회전하는 현상으로 인해 불편을 겪는 사람들이 많다.
특히 여러 장의 사진을 찍었을 때 각기 다른 방향으로 회전돼 일일이 스마트폰을 돌리거나 파일을 편집해야 하는 현상이 발생한다.
스마트폰으로 문서를 촬영할 때는 대부분 스마트폰과 책상 위 문서가 평행 상태이다.
이 때 스마트폰을 회전시키면 스마트폰의 방위 추적 알고리즘이 작동하지 않는다. 방위 추적 알고리즘은 기본적으로 사용자가 스마트폰을 세워서 사용한다는 가정 하에 한 방향으로 가해지는 중력가속도를 측정해 현재 방위를 추정하는 방식으로 설계됐기 때문이다.
연구팀은 실험을 통해 오류 발생 수치를 측정했다. 실험 결과 문서를 가로로 촬영 시 방위 추적 오류가 93%의 높은 확률로 발생함을 확인했다.
일반 사용자는 오류의 원인을 파악하기 어렵다. 대부분의 카메라 앱은 셔터 버튼에 있는 카메라 모양의 아이콘 방향을 통해 실시간 방위를 표시하고 있지만 이러한 기능에 대해서도 사용자들은 인지하지 못한 것으로 파악됐다.
연구팀은 스마트폰의 모션센서 데이터를 활용해 문서 촬영 중에 방위를 정확하게 추적해 문제를 해결했다.
모션센서 데이터의 핵심 기술은 두 가지로 구분할 수 있다. 일반적으로 스마트폰으로 문서를 촬영할 때는 스마트폰이 지면과 평행을 이루기 때문에 스마트폰에 장착된 중력 가속도 센서를 관측해 이러한 문서 촬영 의도를 쉽게 알 수 있다.
두 번째로 문서 촬영 중에 발생하는 스마트폰 회전은 회전 각속도를 측정하는 센서를 활용해 추적할 수 있다. 카메라 앱 실행 후에 문서 촬영을 위해 스마트폰을 회전시키기 때문에 이를 측정해 회전각이 일정 임계치를 넘으면 방위를 변경하는 것으로 파악할 수 있고 이를 통해 방향을 알 수 있는 것이다.
또한 연구팀은 문서 촬영 시 촬영자 쪽으로 스마트폰이 미세하게 기울어지는 마이크로 틸트(micro-tilt) 현상을 발견했다.
이 현상으로 인해 스마트폰으로 가해지는 중력가속도가 스마트폰 측면으로 분산된다. 눈에는 잘 보이지 않을 정도로 작은 기울기지만 모션센서 데이터를 활용해 마이크로 틸트 행동 패턴의 기계학습 알고리즘을 훈련시킬 수 있다. 이를 통해 정확한 방위 추적이 가능하다.
연구 팀의 실험 결과에 따르면 모션센서 데이터를 활용한 방위 추적 방식의 정확도는 93%로 매우 높아 안드로이드 및 iOS등 상용 스마트폰에도 적용 가능하다.
이 기술들은 기존 방위 추적 알고리즘의 사각지대였던 수평 촬영 상황에서 작동하기 때문에 기존 방위 추적 알고리즘과 겹치는 부분 없이 상호 보완적으로 작동할 수 있다.
이 교수는 “스마트폰을 활용한 문서 촬영은 필수가 됐지만 회전 오류의 원인 규명과 해결책이 어려워 불편함이 많았다”며 “모션센서 데이터를 통해 촬영의 의도를 파악하고 자동으로 오류를 바로잡는 기술은 사용자의 불편을 해결하고 문서 촬영에 특화된 다양한 응용서비스 개발의 기초가 될 것이다”고 말했다.
미래창조과학부의 지원을 통해 수행된 이번 기술 중 국내 특허 2건이 등록이 완료됐고 미국 특허가 3월 1일에 수락됐다.
□ 그림 설명
그림1. 방위 오류 발생으로 인해 생기는 불편함
그림2. 평면촬영시 발생하는 방위 오류 상태
그림3. 자이로스코프를 활용한 스마트폰 회전 추적 모식도
그림4. 마이크로틸트현상
2017.06.27 조회수 14970 -
이의진 교수, 美 인간-컴퓨터 상호작용 학회 최우수 논문상 수상
〈 이 의 진 교수 〉
우리 대학 산업및시스템공학과 이의진 교수가 지난 5월 9일 미국 산호세에서 열린 美 컴퓨터협회(ACM) 주최의 인간-컴퓨터 상호작용 학회(CHI, Conference on Human Factors in Computing Systems)에서 최우수 논문상을 수상했다.
미 컴퓨터협회 인간-컴퓨터 상호작용 학회(ACM CHI)는 세계 유수 대학 및 글로벌 기업들이 인간-컴퓨터 상호작용 분야의 최신 연구 결과를 발표하는 권위 있는 국제학회이다.
이 교수 연구팀의 논문은 학회에 제출된 약 2,400여 편의 논문 중 상위 1%에 선정돼 수상했다.
이번 논문의 연구는 동경대학교 야타니 교수와 공동으로 진행됐고 산업및시스템공학과 고민삼, 최승우 박사과정 학생의 주도로 수행됐다. 그룹 활동에서 스마트폰 과도사용 대응을 위한 모바일 상호작용 기술과 응용서비스에 관한 주제의 논문이다.
연구팀은 개발한 서비스를 이용해 약 한 달 간 교내에서 절제 캠페인을 실시했고, 1천 여 명의 학생들이 총 1만 시간 이상 스마트폰 사용을 절제하는 데 성공했다.
연구팀은 사용자 설문과 로그데이터 분석을 통해 응용서비스의 효용성을 검증했고 통계적 분석을 이용해 스마트폰 사용 절제와 관련한 정황적인 요인도 규명했다.
이 교수는 “기존 모바일 상호작용 기술 연구들은 사용성 및 접근성 향상 연구에 비해 문제적 사용을 대응하는 기술연구가 부족했다”며 “웨어러블 및 사물인터넷 기기가 범람하는 환경에서 디지털 기술의 폐해를 대응하는 상호작용 기술개발이 절실하며 이번연구가 중요한 사례가 될 것이다”고 말했다.
연구팀은 위치기반 상황인지 기술을 적용하는 서비스 고도화 후속 연구와 함께 청소년들의 스마트폰 사용 절제를 돕기 위한 가족참여형 어플리케이션과 온라인 교육 프로그램 출시를 계획 중이다.
이 연구는 KAIST 모바일 SW 플랫폼 연구 센터 및 마이크로소프트 애저(Microsoft Azure : 클라우드 컴퓨팅 플랫폼)의 지원을 받아 진행됐다.
2016.06.09 조회수 13234