Sesin duygusal durumun ipuçlarını yansıttığı uzun zamandır bilinmektedir. Bu konudaki yorumlar çok eskilere dayanmaktadır. Örneğin, Çiçero ve Aristo, her duygunun farklı bir ses tonu ile ilişkili olduğunu belirtmişlerdir. Darwin, ses ve duygu arasındaki ilişkiyi açıklamaya çalışmıştır. Değişik hayvanlarda yapılan çalışmalar, ses üretenlerin türe özgü ses ile dinleyicilerin dikkatini çekmeye çalıştıklarını, ses sinyallerinin bireysel farklı özellikleri ile alıcılarda öğrenilmiş duygusal cevapları ortaya çıkardığını göstermiştir.

Duygusal prozodi, bilinçaltından otomatik olarak konuşmanın içine sokulan ve konuşmacının hislerini gösteren perde, entonasyon aralığı, tempo, duraklama, algı, stres ve ritim gibi parametrelerle açıklanmaktadır. Kelimelerle duygusal prozodi örtüşmediğinde, tıpkı depresyonda olan birisinin iyi olduğunu açıklaması gibi, sağlıklı sesin dilbilimsel içeriğinden çok tonuna dikkat edilebilir ve bilinçaltındaki bu bilgi değerlendirilerek sosyal yargılara varılabilir. Duygusal prozodik fonksiyonun sağ hemisfere lateralize olup orada dominant olduğu, yaş ile beraber azaldığı ve alkolizm, şizofreni veya sağ hemisfer kortikal lezyonları gibi klinik durumlarda tahrip edilebileceği bildirilmiştir.

Sesli iletişim veya duygusal prozodi mutluluk, neşe, kendine güven, sinirlilik, keder ve sıkıntı gibi birçok duygusal unsur içermektedir. İnsan sağ kalımı, bireylerin güvenlik ve korunma için birlikte yaşadığı topluluklarda, iletişim üzerine dayandırılmıştır. Farklı kültürel altyapılardan gelen bireylerin temel duygularının (sinirlilik, üzüntü, neşe, şakacılık, korku, iğrenme ve sürpriz) değerlendirilmesinde yüz ifadeleri ve ses ipuçları kullanılabilir. Bazı akustik ve algısal ses analizi çalışmaları ile bir duygusal durumun diğerinden perde, ünlü ve ünsüzlerin süresi, şiddet, konuşma hızı, 1., 2., 3., ve 4. formantların ortalamaları, bant genişlikleri ve spektral şekli kullanılarak ayrılabileceği gösterilmiştir.