Automatic multi-lingual arousal detection from voice applied to real product testing applications

Artikel nur in englischer Sprache verfügbar

Abstract:

A method is presented which applies Long Short-Term Memory Recurrent Neural Networks on real market-research voice recordings in order to automatically predict emotional arousal from speech. While most previous work has dealt with evaluations of algorithms within the same speech corpus, the novelty of this paper lies in an extensive evaluation across corpora and languages. The approach is evaluated on seven large data sets collected in real tests of TV commercials and new product concepts across four languages. We observe excellent performance within and between the different corpora when compared against the gold standard of arousal ratings by human annotators. Even in the cross-language validation the models show good performance which almost reaches human rater agreement.

Deutsche Zusammenfassung:

Es wird eine Methode vorgestellt, die Long Short-Term Memory Recurrent Neural Networks auf Sprachaufnahmen aus realen Marktforschungsstudien anwendet, um automatisch emotionale Erregung aus der Sprache vorherzusagen. Während sich die meisten früheren Arbeiten mit der Bewertung von Algorithmen innerhalb desselben Sprachkorpus befasst haben, liegt die Neuheit dieser Arbeit in einer umfassenden Bewertung über Korpora und Sprachen hinweg. Der Ansatz wird an sieben großen Datensätzen evaluiert, die in realen Tests von Fernsehwerbung und neuen Produktkonzepten in vier Sprachen gesammelt wurden. Wir beobachten eine ausgezeichnete Leistung innerhalb und zwischen den verschiedenen Korpora, wenn wir sie mit der Bewertung durch menschliche Annotatoren vergleichen. Sogar bei der sprachübergreifenden Validierung zeigen die Modelle eine gute Leistung, die fast die Übereinstimmung mit menschlichen Bewertern erreicht.