Automatic Estimation of Action Unit Intensities and Inference of Emotional Appraisals

Artikel nur in englischer Sprache verfügbar.

Abstract:

The development of a two-stage approach for appraisal inference from automatically detected Action Unit (AUs) intensities in recordings of human faces is described. AU intensity estimation is based on a hybrid approach fusing information from individually fitted mesh model of the faces and texture information. Evaluation results for two datasets and a comparison against a state of the art system are provided. In the second stage, the emotional appraisals novelty, valence and control are predicted from estimated AU intensities by linear regressions. Prediction performance is evaluated based on face recordings from a market research study, which were rated by human observers in terms of perceived appraisals. Predictions of valence and control from automatically estimated AU intensities closely match those obtained from manually coded AUs in terms of agreement with human observers, while novelty predictions lag somewhat behind. Overall, results highlight the flexibility and interpretability of a two-stage approach to emotion inference.

Deutsche Zusammenfassung:

Wir präsentieren die Entwicklung eines zweistufigen Ansatzes zur Schätzung der Intensität von automatisch erkannten Gesichtsausdrücken (Action Units, AUs) in Videoaufnahmen. Die Schätzung der AU-Intensität basiert auf einem hybriden Ansatz, der Informationen aus individuell angepassten Netzmodellen der Gesichter und Texturinformationen zusammenführt. Es werden Evaluierungsergebnisse für zwei Datensätze und ein Vergleich mit einem State-of-the-Art-System vorgelegt. In der zweiten Stufe werden die emotionalen Appraisals Neuheit, Valenz und Kontrolle aus den geschätzten AU-Intensitäten durch lineare Regressionen vorhergesagt. Die Vorhersageleistung wird auf der Grundlage von Gesichtsaufnahmen aus einer Marktforschungsstudie bewertet, die von menschlichen Beobachtern im Hinblick auf die wahrgenommenen Einschätzungen bewertet wurden. Die Vorhersagen von Valenz und Kontrolle auf der Grundlage automatisch geschätzter AU-Intensitäten stimmen gut mit denen überein, die aus manuell kodierten AUs gewonnen wurden, während die Vorhersagen von Neuheit etwas hinter den menschlichen Beobachtern zurückbleiben. Insgesamt unterstreichen die Ergebnisse die Flexibilität und Interpretierbarkeit eines zweistufigen Ansatzes zur Emotionsinferenz.