KAIST

< 사진 1. (왼쪽부터) 이의진 교수, 이두리 박사과정, 박은지 교수, 한윤조 석사 >

감정노동이 필수적인 직무를 수행하는 상담원, 은행원 근로자들은 실제로 느끼는 감정과는 다른 감정을 표현해야 하는 상황에 자주 놓이게 된다. 이런 감정적 작업 부하에 장시간 노출되면 심각한 정신적, 심리적 문제뿐만 아니라 심혈관계 및 소화기계 질환 등 신체적 질병으로도 이어질 수 있어 이는 심각한 사회 문제로 여겨지고 있다. 한미 공동 연구진은 인공지능을 활용해서 근로자의 감정적 작업 부하를 자동으로 측정하고 실시간으로 모니터링할 수 있는 새로운 방법을 제시했다.

우리 대학 전산학부 이의진 교수 연구팀은 중앙대학교 박은지 교수팀, 미국 애크런 대학교의 감정노동 분야 세계적인 석학인 제임스 디펜도프 교수팀과 다학제 연구팀을 구성해 근로자들의 감정적 작업 부하를 실시간으로 추정해 심각한 정신적, 신체적 질병을 예방할 수 있는 인공지능 모델을 개발했다고 11일 밝혔다.

연구팀은 이번 연구를 통해 근로자가 감정적 작업 부하가 높은 상황과 그렇지 않은 상황을 87%의 정확도로 구분해 내는데 성공했다. 이 시스템은 기존의 설문이나 인터뷰 같은 주관적인 자기 보고 방식에 의존하지 않고도 감정적 작업 부하를 실시간으로 평가할 수 있어 근로자들의 정신건강 문제를 사전에 예방하고 효과적으로 관리할 수 있다는 장점이 있다. 또한, 이 시스템은 콜센터뿐만 아니라 고객 응대가 필요한 다양한 직종에 적용될 수 있어 감정 노동자들의 장기적인 정신건강 보호에 크게 기여할 것으로 기대된다.

< 감정적 작업 부하 (Emotional workload) 는 직장에서 요구되는 규칙에 따라 감정을 조절하는 과정에서 발생하는 심리적 부하를 의미한다. 감정적 작업 부하는 특히 콜센터 근무자와 같은 고객을 대면하는 근로자들 (주로 서비스 근로자) 에게 자주 발생한다. 이들의 직무는 ‘고객’과의 관계에서, 매일 반복적으로 본인의 감정을 조절하는 것으로, 이 과정에서 요구되는 감정적 작업 부하로 근로자에게 많은 정서적 자원의 사용을 요구하는 주요한 스트레스 원인이다. 과도한 정서적 자원의 사용은 장기적으로 근로자의 번아웃을 유발하는 것으로 알려져 있으며, 실제로 콜센터 근무자의 과도한 번아웃으로 인한 높은 우울감은 중요한 사회적 화두로 대두되고 있다. 기존의 연구들은 다양한 직종의 근로자들의 과도한 작업 부하에 따른 잠재적인 위험을 방지하기 위해서, 근로자의 안전을 보장하기 위한 다양한 인터벤션 기술 (예: 정서적 과부하 상황에서 디지털 치료제 중재 제공) 들을 연구 해 왔다. 그러나 기존 연구에서는 노동자의 인지적 작업 부하 (cognitive workload) 에 초점을 주로 맞추어 왔으며, 감정적 작업 부하 (emotional workload) 를 자동으로 측정하는 거의 수행되지 않았다. >

기존 연구는 주로 사무실에서 컴퓨터를 사용해 서류 업무를 주로 다루는 직장인의 인지적 작업 부하(정보를 처리하고 의사결정을 내리는 데 필요한 정신적 노력)를 다뤘으며, 고객을 상대하는 감정 노동자들의 작업 부하를 추정하는 연구는 전무한 상황이었다.

감정 노동자들의 감정적 작업 부하는 고용주로부터 요구되는 정서 표현 규칙과 관련이 깊다. 특히 감정노동이 요구되는 상황에서는 자신의 실제 감정을 억제하고 친절한 응대를 해야 하기 때문에 대체적으로 근로자의 감정이나 심리적 상태가 표면적으로 드러나 있지 않다.

기존의 감정-탐지 인공지능 모델들은 주로 인간의 감정이 표정이나 목소리에 명백하게 드러나는 데이터를 활용해 모델을 학습해왔기 때문에 자신의 감정을 억제하고 친절한 응대를 강요받는 감정 노동자들의 내적인 감정적 작업 부하를 측정하는 것은 어려운 일로 여겨져 왔다.

모델 개발을 위해서는 현실을 충실히 반영한 고품질의 상담 시나리오 데이터셋 구축이 필수적어서 연구팀은 현업에 종사 중인 감정 노동자들을 대상으로 고객상담 데이터셋을 구축했다. 일반적인 콜센터 고객을 응대 시나리오를 개발하여 31명의 상담사로부터 음성, 행동, 생체신호 등 다중 모달 센서 데이터를 수집했다.

< 연구에 사용된 이론적 배경과, 이를 측정하기 위한 데이터 수집에 대한 설명을 제공하는 그림이다. 상단의 그림은 감정적 작업 부하가 고객의 고함이나 욕설 등의 상황적 자극에 의해 발생하고, 그에 따른 두 가지 유형화된 반응 (조절된 반응 vs. 조절되지 않는 반응)으로 나타남을 보여준다. 하단의 그림은 이러한 요소들을 고려하여, 상황적 자극을 발생시키는 데이터 수집 시나리오의 설계와 두 가지 상이한 반응을 측정하는 데이터의 수집 장치를 시각적으로 보여준다. >

연구팀은 인공지능 모델 개발을 위해 고객과 상담사의 음성 데이터로부터 총 176개의 음성특징을 추출했다. 음성 신호 처리를 통해서 시간, 주파수, 음조 등 다양한 종류의 음성특징이 추출하며, 대화 내용은 고객의 개인정보 보호를 위하여 사용하지 않았다. 정서 표현 규칙으로 인한 상담사의 억제된 감정 상태를 추정하기 위하여 상담사로부터 수집된 생체신호로부터 추가적인 특징을 추출했다.

피부의 전기적 특성을 나타내는 피부 전도도(EDA, Electrodermal activity) 13개의 특징, 뇌의 전기적 활성도를 측정하는 뇌파(EEG, Electroencephalogram) 20개의 특징, 심전도(ECG, Electrocardiogram) 7개의 특징, 그 외 몸의 움직임, 체온 데이터로부터 12개의 특징을 추출했다. 총 228개의 특징을 추출해 9종의 인공지능 모델을 학습하여 성능 비교 평가를 수행했다.

결과적으로, 학습된 모델은 상담사가 감정적 작업 부하가 높은 상황과 그렇지 않은 상황을 87%의 정확도로 구분해 냈다. 흥미로운 점은 기존 감정-탐지 모델에서 대상의 목소리가 성능 향상에 기여하는 주요한 요인이었지만 본인의 감정을 억누르고 친절함을 유지해야 하는 감정노동의 상황에서는 상담사의 목소리가 포함될 경우 오히려 모델의 성능이 떨어지는 현상을 보였다는 것이다. 그 외에 고객의 목소리, 상담사의 피부 전도도 및 체온이 모델 성능 향상에 중요한 영향을 미치는 특징으로 밝혀졌다.

< 연구의 전체적인 수행과정을 설명하는 그림이다. 음성데이터와 신체반응 데이터의 수집, 인공지능 모델 학습 및 결과 분석의 과정을 시각적으로 보여준다. 성능 분석 결과는 감정노동 수행 중 표현을 억제하는 상담사 목소리의 경우, 감정적 작업 부하 측정에 낮은 영향을 주었지만, 다른 데이터들은 높은 영향을 주었음을 나타낸다. >

이의진 교수는 "감정적 작업 부하를 실시간으로 측정할 수 있는 기술을 통해 감정노동의 직무 환경 개선과 정신건강을 보호할 수 있다”며 "개발된 기술을 감정 노동자의 정신건강을 관리할 수 있는 모바일 앱과 연계하여 실증할 예정이다”고 말했다.

중앙대학교 박은지 교수(KAIST 전산학부 박사 졸업)가 제1 저자이며 유비쿼터스 컴퓨팅 분야 국제 최우수 학술지인 「Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies」 2024년 9월호에 게재됐다. 또한, 이 연구는 인간-컴퓨터 상호작용 분야의 최우수 학술대회인 ACM UbiComp 2024에서 발표됐다. (논문제목: Hide-and-seek: Detecting Workers’ Emotional Workload in Emotional Labor Contexts Using Multimodal Sensing, https://doi.org/10.1145/3678593)

이번 연구는 과학기술정보통신부 정보통신기획평가원 ICT융합산업혁신기술개발사업의 지원을 받아 수행됐다.