DIGITAL LIBRARY ARCHIVE
HOME > DIGITAL LIBRARY ARCHIVE
< Previous   List   Next >  
Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services
Full-text Download
Kichun Lee (Hanyang University)
So Yun Choi (Graduate School of Business IT, Kookmin University)
Jae Kyeong Kim (Kyung Hee University)
Hyunchul Ahn (Kookmin University)
Vol. 20, No. 1, Page: 1 ~ 14
10.13088/jiis.2014.20.1.001
Keywords
Emotional state estimation model, Multimodal approach, Intelligent exhibition service, Kinect sensor, Stratified sampling
Abstract
Both researchers and practitioners are showing an increased interested in interactive exhibition services. Interactive exhibition services are designed to directly respond to visitor responses in real time, so as to fully engage visitors’ interest and enhance their satisfaction. In order to install an effective interactive exhibition service, it is essential to adopt intelligent technologies that enable accurate estimation of a visitor’s emotional state from responses to exhibited stimulus. Studies undertaken so far have attempted to estimate the human emotional state, most of them doing so by gauging either facial expressions or audio responses. However, the most recent research suggests that, a multimodal approach that uses people’s multiple responses simultaneously may lead to better estimation. Given this context, we propose a new multimodal emotional state estimation model that uses various responses including facial expressions, gestures, and movements measured by the Microsoft Kinect Sensor. In order to effectively handle a large amount of sensory data, we propose to use stratified sampling-based MRA (multiple regression analysis) as our estimation method. To validate the usefulness of the proposed model, we collected 602,599 responses and emotional state data with 274 variables from 15 people. When we applied our model to the data set, we found that our model estimated the levels of valence and arousal in the 10~15% error range. Since our proposed model is simple and stable, we expect that it will be applied not only in intelligent exhibition services, but also in other areas such as e-learning and personalized advertising.
Show/Hide Detailed Information in Korean
지능형 전시 서비스 구현을 위한멀티모달 감정 상태 추정 모형
이기천 (한양대학교 공과대학 산업공학과)
최소윤 (국민대학교 비즈니스IT전문대학원)
김재경 (경희대학교 경영대학)
안현철 (국민대학교 경영대학 경영정보학부)
Keywords
감정 상태 추정 모형, 멀티모달 접근법, 지능형 전시 서비스, 키넥트 센서, 계층화 샘플링
Abstract
최근 관람객의 반응에 따라 실시간으로 대응하여 관객의 몰입과 만족도를 증대시키는 인터랙티브 전시 서비스에 대한 학계와 산업계의 관심이 높아지고 있다. 이러한 인터랙티브 전시 서비스를 효과적으로 구현하기 위해서는 관객의 반응을 통해 해당 관객이 느끼는 감정 상태를 추정할 수 있는 지능형 기술의 도입이 요구된다. 인간의 감정 상태를 추정하기 위한 시도들은 많은 연구들에서 이루어져 왔고, 그 중 대부분은 사람의 얼굴 표정이나 소리 반응을 통해 감정 상태를 추정하는 방식을 도입하고 있다. 하지만, 최근 소개되고 있는 연구들에 따르면 단일 반응이 아닌 여러 반응을 종합적으로 고려하는 이른바 멀티 모달(multimodal) 접근을 사용했을 경우, 인간의 감정 상태를 보다 정확하게 추정할 수 있다. 이러한 배경에서 본 연구는 키넥트 센서를 통해 측정되는 관객의 얼굴 표정, 몸짓, 움직임 등을 종합적으로 고려한 새로운 멀티모달 감정 상태 추정 모형을 제안하고 있다. 제안모형의 예측 기법으로는 방대한 양의 데이터를 효과적으로 처리하기 위해, 몬테칼로(Monte Carlo) 방법인 계층화 샘플링(stratified sampling) 방법에 기반한 다중회귀분석을 적용하였다. 제안 모형의 성능을 검증하기 위해, 15명의 피실험자로부터 274개의 독립 및 종속변수들로 구성된 602,599건의 관측 데이터를 수집하여 여기에 제안 모형을 적용해 보았다. 그 결과 10~15% 이내의 평균오차 범위 내에서 피실험자의 쾌/불쾌도(valence) 및 각성도(arousal) 상태를 정확하게 추정할 수 있음을 확인할 수 있었다. 이러한 본 연구의 제안 모형은 비교적 구현이 간단하면서도 안정성이 높아, 향후 지능형 전시 서비스 및 기타 원격학습이나 광고 분야 등에 효과적으로 활용될 수 있을 것으로 기대된다.
Cite this article
JIIS Style
Lee, K., S. Y. Choi, J. K. Kim, and H. Ahn, "Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services", Journal of Intelligence and Information Systems, Vol. 20, No. 1 (2014), 1~14.

IEEE Style
Kichun Lee, So Yun Choi, Jae Kyeong Kim, and Hyunchul Ahn, "Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services", Journal of Intelligence and Information Systems, vol. 20, no. 1, pp. 1~14, 2014.

ACM Style
Lee, K., Choi, S. Y., Kim, J. K., and Ahn, H., 2014. Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services. Journal of Intelligence and Information Systems. 20, 1, 1--14.
Export Formats : BiBTeX, EndNote
Advanced Search
Date Range

to
Search
@article{Lee:JIIS:2014:558,
author = {Lee, Kichun and Choi, So Yun and Kim, Jae Kyeong and Ahn, Hyunchul},
title = {Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services},
journal = {Journal of Intelligence and Information Systems},
issue_date = {March 2014},
volume = {20},
number = {1},
month = Mar,
year = {2014},
issn = {2288-4866},
pages = {1--14},
url = {http://dx.doi.org/10.13088/jiis.2014.20.1.001 },
doi = {10.13088/jiis.2014.20.1.001},
publisher = {Korea Intelligent Information System Society},
address = {Seoul, Republic of Korea},
keywords = { Emotional state estimation model, Multimodal approach, Intelligent exhibition service, Kinect sensor and Stratified sampling },
}
%0 Journal Article
%1 558
%A Kichun Lee
%A So Yun Choi
%A Jae Kyeong Kim
%A Hyunchul Ahn
%T Multimodal Emotional State Estimation Model for Implementation of Intelligent Exhibition Services
%J Journal of Intelligence and Information Systems
%@ 2288-4866
%V 20
%N 1
%P 1-14
%D 2014
%R 10.13088/jiis.2014.20.1.001
%I Korea Intelligent Information System Society