INTERACTIVE+COMPUTIng+lab
-
이의진 교수, 차량 대화형서비스 안전성 향상 기술 개발
〈 이의진 교수, 김아욱 박사과정 〉
우리 대학 산업및시스템공학과 이의진 교수 연구팀이 차량용 인공지능이 능동적으로 운전자에게 대화 서비스를 어느 시점에 제공해야 하는지 자동으로 판단할 수 있는 기술을 개발했다.
연구팀은 차량에서 수집되는 다양한 센서 데이터와 주변 환경 정보를 통합 분석해 언제 운전자에게 말을 걸어야 하는지 자동 판단하는 인공지능 기술을 개발했다.
차량 대화형서비스가 가진 문제를 해결하는 데 중점을 둔 이번 연구는 인공지능의 자동판단 기술을 통해 대화형서비스로 인한 운전자 주의분산 문제를 해결함으로써, 부적절한 시점에 운전자에게 대화를 시도하다가 발생할 수 있는 교통사고 등을 방지하는 기반기술이 될 것으로 기대된다.
이번 연구결과는 유비쿼터스 컴퓨팅 분야 국제 최우수학회인 ACM 유비콤(UbiComp)에서 9월 13일 발표됐다. 김아욱 박사과정이 1저자로 참여하고 최우혁 박사과정, 삼성리서치 박정미 연구원, 현대자동차 김계윤 연구원과의 공동 연구로 이뤄졌다. (논문명: Interrupting Drivers for Interactions: Predicting Opportune Moments for In-vehicle Proactive Auditory-verbal Tasks)
차량 대화형서비스는 편의와 안전을 동시에 제공해야 한다. 운전 중에 대화형서비스에만 집중하면 전방 주시에 소홀하거나 주변 상황에 주의를 기울이지 못하는 문제가 발생한다. 이는 운전뿐만 아니라 대화형서비스 사용 전반에도 부정적인 영향을 줄 수도 있다.
연구진은 말 걸기 적절한 시점 판단을 위해 ▲현재 운전상황의 안전도 ▲대화 서비스 수행의 성공률 ▲운전 중 대화 수행 중 운전자가 느끼는 주관적 어려움을 통합적으로 고려한 인지 모델을 제시했다.
연구팀의 인지 모델은 개별 척도를 다양하게 조합해 인공지능 에이전트가 제공하는 대화형서비스의 유형에 따른 개입 시점의 판단 기준을 설정할 수 있다.
일기예보 같은 단순 정보만을 전달하는 경우 현재 운전상황의 안전도만 고려해 개입 시점을 판단할 수 있고, ‘그래’, ‘아니’ 같은 간단한 대답을 해야 하는 질문에는 현재 운전상황의 안전도와 대화 서비스 수행의 성공률을 함께 고려한다. 매우 보수적으로 세 가지 척도를 모두 함께 고려해 판단할 수 있다. 이 방식은 에이전트와 운전자가 여러 차례의 상호작용을 통해 의사결정을 할 때 사용한다.
정확도 높은 자동판단 인공지능 기술 개발을 위해서는 실제 도로 운전 중 에이전트와의 상호작용 데이터가 필요하기 때문에 연구팀은 반복적인 시제품 제작 및 테스트를 수행해 실제 차량 주행환경에서 사용 가능한 내비게이션 앱 기반 모의 대화형서비스를 개발했다.
자동판단을 위해 대화형서비스 시스템과 차량을 연동해 운전대 조작, 브레이크 페달 조작 상태 등 차량 내 센서 데이터와 차간거리, 차량흐름 등 주변 환경 정보를 통합 수집했다.
연구팀은 모의 대화형서비스를 사용해 29명의 운전자가 실제 운전 중에 음성 에이전트와 수행한 1천 3백 88회의 상호작용 및 센서 데이터를 구축했고, 이를 활용해 기계학습 훈련 및 테스트를 수행한 결과 적절 시점 검출 정확도가 최대 87%에 달하는 것을 확인했다.
연구팀의 이번 기술 개발로 대화형서비스로 인한 운전자 주의분산 문제를 해결할 수 있을 것으로 전망된다. 이 기술은 대화형서비스를 제공하는 차량 인포테인먼트 시스템에 바로 적용할 수 있다. 운전 부주의 실시간 진단 및 중재에도 적용될 수 있을 것으로 기대된다.
이의진 교수는 “앞으로의 차량 서비스는 더욱더 능동적으로 서비스를 제공하는 형태로 거듭나게 될 것이다”라며 “자동차에서 생성되는 기본 센서 데이터만을 활용해 최적 개입 시점을 정확히 찾을 수가 있어 앞으로는 안전한 대화 서비스 제공이 가능할 것이다”라고 밝혔다.
이번 연구는 한국연구재단 차세대정보컴퓨팅기술개발사업과 현대NGV의 지원을 통해 수행됐다.
□ 그림 설명
그림1. 실차 데이터 수집장비 및 실제 실험 모습
그림2. 모의 대화형서비스 개념도
그림3. 차량 대화형서비스의 안전성 증진 기술 개념도
2019.11.12 조회수 13957 -
이의진 교수, 美 인간-컴퓨터 상호작용 학회 최우수 논문상 수상
〈 이 의 진 교수 〉
우리 대학 산업및시스템공학과 이의진 교수가 지난 5월 9일 미국 산호세에서 열린 美 컴퓨터협회(ACM) 주최의 인간-컴퓨터 상호작용 학회(CHI, Conference on Human Factors in Computing Systems)에서 최우수 논문상을 수상했다.
미 컴퓨터협회 인간-컴퓨터 상호작용 학회(ACM CHI)는 세계 유수 대학 및 글로벌 기업들이 인간-컴퓨터 상호작용 분야의 최신 연구 결과를 발표하는 권위 있는 국제학회이다.
이 교수 연구팀의 논문은 학회에 제출된 약 2,400여 편의 논문 중 상위 1%에 선정돼 수상했다.
이번 논문의 연구는 동경대학교 야타니 교수와 공동으로 진행됐고 산업및시스템공학과 고민삼, 최승우 박사과정 학생의 주도로 수행됐다. 그룹 활동에서 스마트폰 과도사용 대응을 위한 모바일 상호작용 기술과 응용서비스에 관한 주제의 논문이다.
연구팀은 개발한 서비스를 이용해 약 한 달 간 교내에서 절제 캠페인을 실시했고, 1천 여 명의 학생들이 총 1만 시간 이상 스마트폰 사용을 절제하는 데 성공했다.
연구팀은 사용자 설문과 로그데이터 분석을 통해 응용서비스의 효용성을 검증했고 통계적 분석을 이용해 스마트폰 사용 절제와 관련한 정황적인 요인도 규명했다.
이 교수는 “기존 모바일 상호작용 기술 연구들은 사용성 및 접근성 향상 연구에 비해 문제적 사용을 대응하는 기술연구가 부족했다”며 “웨어러블 및 사물인터넷 기기가 범람하는 환경에서 디지털 기술의 폐해를 대응하는 상호작용 기술개발이 절실하며 이번연구가 중요한 사례가 될 것이다”고 말했다.
연구팀은 위치기반 상황인지 기술을 적용하는 서비스 고도화 후속 연구와 함께 청소년들의 스마트폰 사용 절제를 돕기 위한 가족참여형 어플리케이션과 온라인 교육 프로그램 출시를 계획 중이다.
이 연구는 KAIST 모바일 SW 플랫폼 연구 센터 및 마이크로소프트 애저(Microsoft Azure : 클라우드 컴퓨팅 플랫폼)의 지원을 받아 진행됐다.
2016.06.09 조회수 10702 -
데이터 소비 없이 실시간으로 사진 공유한다
〈이 의 진 교수〉
우리 대학 지식서비스공학과 이의진 교수 연구팀이 실시간 사진 공유와 고용량 사진의 무료 고속 다운로드가 가능한 실시간 사진공유 시스템 ‘렛츠픽(LetsPic)’을 개발했다.
최근 스마트폰을 통해 시공간에 구애받지 않고 사진 촬영이 가능해져 여행, 현장학습, 레저 등의 그룹 활동에서 촬영과 동시에 SNS를 통해 함께 사진을 공유하는 문화가 보편화됐다.
하지만 그룹 활동 중 사진 촬영과 공유가 불편할 때도 있다. 예로 등산 동호회에서 등산 중 사진을 찍고 공유하는 과정을 살펴보면 개인이 찍은 사진을 일일이 선택하고 그룹 메신저나 SNS를 통해 전송하는 과정이 필요하다. 수신자도 원하는 사진을 수동으로 선별해서 다운로드해야한다.
또한 수십 장의 사진을 이동 중 전송하고 싶어도 데이터 요금 부담 때문에 현장에서 즉각적인 공유가 어렵다. 현장 체험 학습에서 실시간으로 사진을 공유하며 회의를 진행해야 할 때 데이터 소비의 부담은 더욱 커진다.
연구팀은 문제 해결을 위해 실시간 사진 공유와 고화질 사진의 무료 고속 다운로드가 가능한 렛츠픽(LetsPic) 시스템을 개발했다.
렛츠픽의 특징은 같은 그룹끼리 사진첩을 실시간 공유하는 커넥티드 그룹 카메라 기능에서 찾을 수 있다.
사진을 찍는 즉시 그룹 사진첩에 공유돼 그룹 활동 중 언제든 다 같이 사진을 감상할 수 있다. 그리고 구글 지도상에 사진 촬영한 흔적을 남겨 여행 경로를 공유할 수 있다.
무엇보다도 렛츠픽의 장점은 와이파이나 통신사를 거치지 않는 단말간 직접통신(D2D:device to device) 기술인 와이파이 다이렉트(Wi-Fi Direct) 기술에 최적화시켰다는 점이다.
이를 통해 200미터 이내 근거리에서는 데이터 소비 없이 고용량의 사진을 무료로 고속 다운로드할 수 있고, 통신망이 열악한 산악이나 통신비가 비싼 해외여행 중에도 부담 없이 사진을 주고받을 수 있다.
연구팀은 KAIST 캠퍼스 학생들 대상으로 기존 카메라와 커넥티드 그룹 카메라의 비교 평가를 실시했다. 그룹 카메라 앱이 다른 그룹원의 촬영 활동을 실시간으로 파악할 수 있고, 각자 원하는 사진을 D2D를 이용해 데이터 소비 없이 고속 다운로드 할 수 있어 흥미를 높여준다는 의견을 얻었다.
향후 연구팀은 고도화된 지능형 서비스 기술 개발을 통해 그룹의 상황을 인지해 촬영 결과물에서 유사 이미지를 자동 태그하거나 그룹에 맞는 베스트 사진을 자동 추출하는 등 맞춤형 서비스 기술을 추가 개발할 예정이다.
이의진 교수는 “기존 스마트폰에 존재하는 기술인 와이파이 다이렉트 기술을 최대한으로 활용한 차세대 커넥티드 그룹 카메라 시스템이다”며 “이를 통해 오프라인 그룹활동에 특화된 새로운 사용자 경험을 제공한다”고 설명했다.
이번 연구(총괄책임 KAIST 산업공학과 박준성 초빙교수)는 미래창조과학부 및 정보통신기술연구진흥센터의 정보통신-방송 연구개발사업의 지원을 받아 리코시스, 고려대, 명지대, 한경대, 경상대와 공동으로 진행됐다.
□ 그림 설명
그림1. 렛츠픽 시작화면
그림2. 와이파이 다이렉트 기술로 다른 그룹원과 직접 공유하기 위해 연결 설정하는화면
그림3. 와이파이 다이렉트 기술로 다른 그룹원의 사진을 무료 다운로드하는 사진
그림4. 사진 촬영하면서 동시에 그룹원의 사진을 실시간 공유하는 화면
그림5. 사진 촬영 한 장소를 구글맵 상에 표시해 여행 경로를 파악 가능
2016.01.13 조회수 12403 -
스마트폰 과다 사용 절제 가능 앱 개발
이 의 진 교수
스마트폰은 우리 일상에서 없어선 안 될 중요한 도구이다. 하지만 무분별하고 무절제한 사용으로 인해 회의, 모임, 각종 그룹 활동에 방해가 되는 사례가 많아지고 있다.
이러한 문제 해결을 위해 KAIST(총장 강성모) 지식서비스 공학과 이의진 교수 연구팀이 스마트폰 사용을 절제할 수 있는 ‘락앤롤(Lock n’LOL)’ 앱을 개발했다.
스마트폰의 과도한 사용 요인은 알림 메시지로 유발된 외부적 사용 요인과, 습관으로 인한 내부적 사용 요인 두 가지로 구분된다. 또한 단순 메시지 전송 외에도 사진 촬영, 정보 검색 등의 이유로 필요한 경우가 많아 스마트폰 사용 빈도를 줄이기 어려웠다.
연구팀은 이런 문제들은 감안해 스마트폰 사용을 공동으로 절제할 수 있는 그룹 중재 앱인 락앤롤을 개발했다.
락앤롤 앱은 ▲ 공동화면 잠금 및 알림 무음 기능 ▲ 잠깐 사용하기 기능▲ 근거리 사용자 탐지 및 알림 등 세 가지 주요 기능을 제공한다.
공동화면 잠금 및 알림 무음 기능은 그룹 스터디와 같은 단체 활동에 유용하다. 구성원들이 단체로 스마트폰을 잠금 모드로 바꿈으로써 그룹 활동이 원활하게 이뤄질 수 있도록 돕는다.
잠깐 사용하기 기능은 스마트폰 사용이 꼭 필요한 경우 제한된 시간에만 사용을 할 수 있는 기능이다. 한 시간에 5분 사용가능한 시간이 주어지고 추가 이용을 위해선 다른 사람의 허락을 받아야 한다.
마지막 근거리 사용자 탐지 기능은 근거리에 위치한 친구를 자동으로 탐지해 상호간 그룹 스마트폰 절제 수행을 추천하는 기능이다.
특히 근거리 사용자 탐지 기술은 GPS와 같은 위치 서비스가 없어도 와이파이 핫스팟 검색결과를 이용해 근거리에 위치한 친구를 찾아 그룹 절제를 실행할 수 있도록 돕는다.
연구팀은 개발된 앱을 기반으로 KAIST에서 지난 5월부터 25일 간 스마트폰 사용을 절제하는 ‘락앤롤 캠페인’을 진행했다. 캠페인 기간 동안 천 여 명의 학생이 참여해 누적 1만 시간 이상 스마트폰 사용을 절제한 것으로 조사됐다. 참여자들은 락앤롤을 통해 그룹 활동에 대한 방해가 줄고 효과적으로 집중할 수 있었다고 말했다.
이 교수는 “향후 사물인터넷 시대에서는 그룹 활동 방해와 같은 디지털 폐해가 더욱 심각해질 것이다”며 “우리 연구는 이러한 문제의 공학적 해결책을 제시했다는 의의가 있다”고 말했다.
향후 연구팀은 고도화된 상황인지 기술을 적용해 지능적인 사용 중재 서비스를 제공하는 후속 연구와, 청소년들의 스마트폰 사용 절제를 돕기 위한 가족 참여형 서비스 출시를 계획 중이다.
이번 연구는 KAIST 모바일 소프트웨어 플랫폼 연구 센터와 마이크로소프트 애저(Microsoft Azure)의 지원을 받아 진행됐다.
□ 사진 설명
사진 1. 스마트폰 사용 절제 어플리케이션 락앤롤앱 캡쳐화면
사진 2. 락앤롤 앱 누적사용자 및 누적절제시간 그래프
2015.07.29 조회수 8757 -
특정 1~2개 앱 많이 쓰면 스마트폰 중독될 가능성 높아
우리 학교 지식서비스공학과 이의진 교수 연구팀은 개인의 스마트폰 사용기록을 분석해 스마트폰 중독 행동패턴을 발견하고 중독 위험에 있는 사람을 자동으로 분류하는 시스템을 개발했다.
이 교수는 95명의 대학생을 한국정보화진흥원의 성인 스마트폰 중독 자가진단 척도를 바탕으로 중독 위험군(36명)과 비위험군(59명)으로 나눴다.
연구팀은 사용자 스마트폰의 전원, 화면, 배터리 상태, 앱 실행, 인터넷 이용, 전화 및 문자메시지 등 총 5만 시간 이상의 사용기록을 수집했다.
연구결과 위험군은 특정 1~2개 앱을 매우 한정적으로 사용했다. 대표적인 앱은 모바일 메신저(카카오톡 등)와 SNS(페이스북 등) 이었다.
알림 기능도 중독 행동과 밀접한 관련이 있었다. 카카오톡 메시지, SNS 댓글 등 알림기능을 설정했을 때 스마트폰 사용시간은 위험군이 하루 평균 38분 더 길었다. 알림메시지가 자기조절력이 낮은 위험군에게 외부 자극이 되어 더욱 빈번한 스마트폰 사용을 야기한 것이다.
위험군의 하루 평균 사용 시간은 4시간 13분으로, 3시간 27분으로 나타난 비위험군에 비해 약 46분 길었다. 특히 오전 6시에서 정오 사이와 오후 6시부터 자정사이에 사용량 차이가 두드러졌다. 사용횟수는 위험군이 11.4회 많았다.
이 교수는 이번에 수집한 자료를 기반으로 사용자를 위험군과 비위험군으로 자동으로 판별하는 시스템을 개발, 80%이상의 정확도를 보였다. 앞으로 스마트폰 중독 현상에 대한 행동을 조기에 발견하고 적절한 조치를 취할 수 있도록 보다 효과적인 서비스를 제공할 수 있을 것으로 기대 된다.
이의진 교수는 이번 연구에 대해 “기존 설문조사를 통한 자기보고기반 스마트폰 중독 분석은 실시간 데이터 확보가 어렵고 입력한 데이터가 정확하지 않을 수 있지만 실제 수집한 자료를 데이터 사이언스 기법과 퍼스널 빅데이터 분석으로 한계점을 극복했다”며 “스마트폰의 과도한 사용을 중재하는 앱을 개발 중”이라고 밝혔다.
지난 4월 말 캐나다 토론토에서 열린 디지털 분야 세계 최대 학술대회인 국제HCI학술대회(ACM SIGCHI CHI)에 출판된 이번 연구는 지식서비스공학과 권가진 교수, 전산학과 송준화 교수, 연세대학교 심리학과 정경미 교수, 마이크로소프트 연구소 코지 야타니 박사(Koji Yatani)가 참여했다.
그림 1. 실험에 참여한 95명 대학생의 스마트폰 사용시간(위) 및 사용횟수(아래). All: 전체 사용자, 위험군이 비위험군에 비해 평균 45.6분 정도 더 오래 쓰고, 평균 11.4회 더 자주 쓰는 것으로 나타남. 앱 카테고리별로 자세히 보면 모바일 메신저(예: 카카오톡), 웹, SNS(예: 페이스북) 등에서 대표적으로 차이가 나타났음.
그림 2. 하루 시간대별 스마트폰 사용 시간(위) 및 사용 횟수(아래). 오전 6~12시 사이 시간과 저녁 18~24시 사이 시간대에서 위험군과 비위험군의 차이가 두드러지게 나타났음.
2014.06.01 조회수 12168