스트레스 많으면 냉장고 사용↑... IoT 센서로 정신건강 읽는다
국내 1인 가구가 800만 세대를 넘어 전체의 36%를 차지하며 역대 최고치를 기록했다. 서울시 조사에 따르면 1인 가구의 62%가 ‘외로움’을 느끼는 등 고립감과 정신건강 문제가 심화되고 있다. 우리 대학 연구진은 스마트폰·웨어러블의 한계를 넘어, 가정 내 IoT 데이터를 통해 일상 리듬이 흐트러질수록 정신건강이 악화되는 핵심 신호임을 밝혀냈다. 이번 연구는 개인 맞춤형 정신건강 관리 시스템 개발의 기반이 될 것으로 기대된다.
우리 대학은 전산학부 이의진 교수 연구팀이 가정 내 사물인터넷(IoT) 센서 데이터를 활용해 개인의 정신건강 상태를 정밀하게 추적할 수 있는 가능성을 입증했다고 21일 밝혔다.
정신건강 관리를 위해선 자신의 상태를 꾸준히 파악하는 것이 중요하지만, 기존의 스마트폰이나 웨어러블 기반 추적 방식은 사용자가 기기를 착용하거나 소지하지 않는 집 안에서는 데이터가 누락되는 한계가 있었다.
이에 연구팀은 가정 내 환경 데이터에 주목했다. 청년층 1인 가구 20세대를 대상으로 4주간 실증 연구를 진행하며, 가전제품과 수면 매트, 움직임 센서 등을 설치해 IoT 데이터를 수집하고, 스마트폰·웨어러블 데이터와 함께 분석했다.
그 결과, IoT 데이터를 함께 활용할 때 정신건강의 변화를 기존 방식보다 훨씬 정확하게 포착할 수 있음이 확인됐다. 예를 들어 수면 시간 감소는 우울·불안·스트레스 수준 증가와 밀접하게 연관됐으며, 실내 온도 상승 또한 불안 및 우울과의 상관관계를 보였다.
참가자들의 행동 패턴은 스트레스 상황에서 냉장고 사용이 늘어나는 ‘폭식형’, 활동량이 급감하는 ‘무기력형’ 등으로 다양했지만, 공통적으로 생활 패턴이 불규칙할수록 정신건강이 악화되는 경향이 뚜렷하게 나타났다.
특정 행동의 빈도보다 일상 패턴의 변동성이 더 중요한 요인으로 확인됐으며, 이는 규칙적인 생활이 정신건강 유지에 핵심적임을 시사한다.
연구 참여자들이 자신의 생활 데이터를 시각화 소프트웨어를 통해 확인한 결과 사생활 침해에 대한 우려보다, 데이터가 정신건강 이해에 실질적인 도움이 된다는 인식을 갖게 되었다. 이로 인해 연구 수용성과 참여 만족도가 크게 향상됐다.
이의진 교수는 “이번 연구는 가정 내 IoT 데이터가 개인의 생활 맥락 속에서 정신건강을 이해하는 중요한 단서가 될 수 있음을 보여주었다”며, “향후 AI를 활용해 개인별 생활 패턴을 예측하고 맞춤형 코칭이 가능한 원격 의료 시스템 개발로 발전시킬 계획”이라고 밝혔다.
이번 연구에는 고영지 박사과정 학생이 제 1저자로 참여했으며, 연구결과는 인간-컴퓨터 상호작용(HCI) 분야의 저명한 국제 학술지인 ACM 인터랙티브, 모바일, 웨어러블 및 유비쿼터스 기술 논문집(Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies)에 9월호에 게재되었다.
※ Harnessing Home IoT for Self-tracking Emotional Wellbeing: Behavioral Patterns, Self-Reflection, and Privacy Concerns DOI: https://dl.acm.org/doi/10.1145/3749485
※ 고영지(KAIST, 1저자), 이찬희 (KAIST, 2저자), 정은기(KAIST, 3저자), 이현수(KAIST, 교신저자), 이의진(KAIST, 교신저자)
한편 이번 연구는 LG전자-KAIST 디지털 헬스케어 연구센터와 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행됐다.
지금 당신의 마음 건강은 어떠한가요?
최근 빠른 고령화 및 출산율 감소 등으로 1인 가구가 급속하게 증가하면서, 1인 가구의 정신건강 문제에 대한 관심도 함께 높아지고 있다. 서울시가 실시한 1인 가구 실태조사에 따르면, 1인 가구의 60% 이상이 외로움을 느끼고 있으며, 특히 사회적 고립과 함께 외로움을 겪는 비율이 상당히 높은 것으로 나타났다.
우리 대학 전산학부 이의진 교수 연구팀이 1인 가구의 정신건강 관리를 위해, 사용자 스스로가 자신의 심리 상태를 기록할 수 있도록 지원하는 상황 인식 기반 멀티모달 스마트 스피커 시스템을 개발했다고 24일 밝혔다.
연구팀은 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문하도록 이 시스템을 설계했고 기존의 무작위 설문보다 높은 응답률을 달성하는 것을 확인했다.
기존 스마트 스피커를 활용한 정신건강 자가 추적 연구에서 무작위 설문을 할 경우 사용자의 스트레스, 짜증 등 부정적인 감정이 유발시켜 설문 응답에 편향이 발생할 수 있어 각별한 주의가 필요했다.
이러한 문제 해결을 위해 이의진 교수 연구팀은 스마트 스피커에 멀티 모달 센서를 장착해, 사용자의 주변 상황의 변화를 감지해 스피커가 말 걸기 좋은 시점이 검출되면 정신건강 자가 추적 설문을 능동적으로 요청하는 상황 인식 기반 자가 추적 기술을 개발했다.
스피커는 실내 움직임, 조명, 소음, 이산화탄소 등 다양한 센서 데이터를 종합적으로 분석해 사용자의 존재 및 활동을 감지한 뒤, 사용자가 응답하기 적합한 시점에 자가 추적 설문을 능동적으로 요청함으로써, 설문 응답의 효율성을 극대화했다.
또한, 설문 입력 방식의 경우 최근 출시된 스마트 스피커는 명령뿐만 아니라 터치스크린도 지원하므로 사용자들이 음성 또는 터치 입력 방식을 자유롭게 선택할 수 있도록 해 상호작용의 폭을 넓혔다. 이를 통해 사용자는 상황에 맞는 최적의 인터페이스를 선택해 자가 추적을 쉽게 수행할 수 있도록 했다.
개발된 스피커의 사용자 경험을 평가하기 위해서 연구팀은 1인 가구 20세대에 자가 추적 스마트 스피커를 설치해, 한 달 동안 실증 연구를 수행해서 총 2,201개의 정신건강 설문 응답 데이터셋을 구축했다.
데이터셋 분석을 통해 설문 응답 시간, 활동 맥락에 따른 설문 응답 패턴 및 어떤 상황에서 음성 입력(VUI) 또는 터치 입력(GUI)이 더 선호되는지 파악했다.
특히, 스마트 스피커가 말로 사용자에게 요청을 하다 보니 스피커 근처에서 사용자의 활동을 감지하는 것이 정신건강 설문 응답률에 큰 영향을 미쳤다. 음성 입력의 편의성에도 불구하고 전반적으로 참가자들은 음성 입력보다는 빠른 응답이 가능한 터치 입력을 선호했다.
데이터 분석 결과, 사용자의 주변 상황을 실시간으로 파악해 최적의 시점에 정신건강 관련 질문을 할 경우 응답률이 더 높으며, 어떤 상황에서 음성 또는 터치 인터페이스를 선호하는지도 파악했다.
연구를 주도한 이의진 교수는 “이번에 개발한 스마트 스피커를 앞으로 수용전념치료 기법을 활용한 인간상담사와 같은 기능의 정신건강 관리 지원 스마트 스피커로 발전시키고자 한다. 나아가 실내에서 수집된 일상생활 데이터를 AI 모델로 학습해 사용자 정신건강 상태에 따라 라이프 스타일 패턴을 예측하는 시스템도 개발하여 향후 정신질환 조기 발견과 효율적인 관리를 가능케 할 인공지능 에이전트의 혁신을 이끌 것으로 기대된다” 라고 말했다.
한편 이 연구는 LG전자-KAIST 디지털 헬스케어 연구센터의 지원을 받아 수행됐고 인간 컴퓨터 상호작용(HCI) 분야 국제 최우수 국제학술대회인 미국컴퓨터협회(ACM) 소속 ‘Conference on Human Factors in Computing Systems (CHI)’에서 지난 2024년 5월에 발표됐다.
논문명: Exploring Context-Aware Mental Health Self-Tracking Using Multimodal Smart Speakers in Home Environments
‘당신 우울한가요?’ 스마트폰으로 진단하다
요즘 현대인들에게 많이 찾아오는 우울증을 진단하기 위한 스마트폰으로 진단하는 연구가 개발되어 화제다.
우리 대학 전기및전자공학부 이성주 교수 연구팀이 사용자의 언어 사용 패턴을 개인정보 유출 없이 스마트폰에서 자동으로 분석해 사용자의 정신건강 상태를 모니터링하는 인공지능 기술을 개발했다고 21일 밝혔다. 사용자가 스마트폰을 소지하고 일상적으로 사용하기만 해도 스마트폰이 사용자의 정신건강 상태를 분석 및 진단할 수 있는 것이다.
연구팀은 임상적으로 이뤄지는 정신질환 진단이 환자와의 상담을 통한 언어 사용 분석에서 이루어진다는 점에 착안해 연구를 진행했다. 이번 기술에서는 (1) 사용자가 직접 작성한 문자 메시지 등의 키보드 입력 내용과, (2) 스마트폰 위 마이크에서 실시간으로 수집되는 사용자의 음성 데이터를 기반으로 정신건강 진단을 수행한다.
이러한 언어 데이터는 사용자의 민감한 정보를 담고 있을 수 있어 기존에는 활용이 어려웠다. 이러한 문제의 해결을 위해 이번 기술에는 연합학습 인공지능 기술이 적용됐는데, 이는 사용자 기기 외부로의 데이터 유출 없이 인공지능 모델을 학습해 사생활 침해의 우려가 없다는 것이 특징이다.
인공지능 모델은 일상 대화 내용과 화자의 정신건강을 바탕으로 한 데이터셋을 기반으로 학습되었다. 모델은 스마트폰에서 입력으로 주어지는 대화를 실시간으로 분석하여 학습된 내용을 바탕으로 사용자의 정신건강 척도를 예측한다.
더 나아가, 연구팀은 스마트폰 위 대량으로 주어지는 사용자 언어 데이터로부터 효과적인 정신건강 진단을 수행하는 방법론을 개발했다. 연구팀은 사용자들이 언어를 사용하는 패턴이 실생활 속 다양한 상황에 따라 다르다는 것에 착안해, 스마트폰 위에서 주어지는 현재 상황에 대한 단서를 기반으로, 인공지능 모델이 상대적으로 중요한 언어 데이터에 집중하도록 설계했다. 예를 들어, 업무 시간보다는 저녁 시간에 가족 또는 친구들과 나누는 대화에 정신건강을 모니터링 할 수 있는 단서가 많다고 인공지능 모델이 판단해 중점을 두고 분석하는 식이다.
이번 논문은 전산학부 신재민 박사과정, 전기및전자공학부 윤형준 박사과정, 이승주 석사과정, 이성주 교수와 박성준 SoftlyAI 대표(KAIST 졸업생), 중국 칭화대학교 윤신 리우(Yunxin Liu) 교수, 그리고 미국 에모리(Emory) 대학교 최진호 교수의 공동연구로 이뤄졌다.
이번 논문은 올해 12월 6일부터 10일까지 싱가폴에서 열린 자연어 처리 분야 최고 권위 학회인 EMNLP(Conference on Empirical Methods in Natural Language Processing)에서 발표됐다.
※ 논문명(FedTherapist: Mental Health Monitoring with User-Generated Linguistic Expressions on Smartphones via Federated Learning)
이성주 교수는 "이번 연구는 모바일 센싱, 자연어 처리, 인공지능, 심리학 전문가들의 협력으로 이루어져서 의미가 깊으며, 정신질환으로 어려워하는 사람들이 많은데, 개인정보 유출이나 사생활 침범의 걱정 없이 스마트폰 사용만으로 정신건강 상태를 조기진단 할 수 있게 되었다ˮ라며, "이번 연구가 서비스화되어 사회에 도움이 되면 좋겠다ˮ라고 소감을 밝혔다.
이 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2022-0-00495, 휴대폰 단말에서의 보이스피싱 탐지 예방 기술 개발, No. 2022-0-00064, 감정노동자의 정신건강 위험 예측 및 관리를 위한 휴먼 디지털 트윈 기술 개발)