Bewertungsmethoden für Audio- und Videoqualität

Für die Bewertung der audiovisuellen Qualität von Videokonferenzen können mehrere Testmethoden verwendet werden, welche durch die ITU-T (International Telecommunication Union 1998) definiert werden. Neben subjektiven Methoden zur Qualitätsbestimmung existieren auch objektive Testmethoden. Als Maß der Videoqualität eignen sich diese jedoch sehr schlecht, da zeitliche Beeinträchtigungen nicht verarbeitet werden können. Subjektive Methoden zur Qualitätsbestimmung sind daher deutlich besser geeignet (vgl. Möller 2010, S. 106 f.). Gleichzeitig spiegeln subjektive Tests die Funktionsweise des menschlichen Wahrnehmens besser wider (Lee et al. 2008, S. 120). Dabei ist zu beachten, dass Audio- und Videoqualität unterschiedliche Anforderungen besitzen können. Das Testverfahren sollte möglichst gut auf beide Anforderungen abgestimmt sein. Alternativ können Audio- und Videoqualität aber auch in separaten Tests bewertet werden.

Die Testsequenzen sind ca. zehn Sekunden lang und sollten alle zu erwartenden Inhalte umfassen (vgl. Möller 2010, S. 116 f.). Abhängig vom Inhalt können die Testsequenzen aber auch länger oder kürzer als die üblichen zehn Sekunden sein. Genaue Details zu den Inhalten hat die ITU-T gemäß Recommendation P.911 definiert:

Videoinhalte bei audiovisuellen Tests (International Telecommunication Union 1998, S. 13)

Audioinhalte bei audiovisuellen Tests (International Telecommunication Union 1998, S. 13)

Beim Absolute Category Rating (ACR) werden den Testpersonen alle Videosequenzen nacheinander vorgespielt. Um eine ausreichende Menge an Testergebnissen zu bekommen, werden alle Sequenzen mehrmals, an zufälligen Stellen im Test gezeigt. Zwischen den einzelnen Sequenzen findet eine ca. zehn Sekunden andauernde Pause statt, in welcher die Versuchspersonen die Qualität auf einer Skala bewerten. Da keine Referenz besteht, wird die Qualität absolut beurteilt. Als Skala wird häufig die MOS-Qualitätsskala (Mean Opinion Score) verwendet. Die fünfstufige Skale reicht von 1 (schlechtester Wert) bis 5 (bester Wert). Wenn eine bessere Unterscheidbarkeit notwendig ist können natürlich auch feiner aufgelöste numerische Skalen zum Einsatz kommen, wie z.B. eine 9-stufige Skala (vgl. Möller 2010, S. 111).

MOS-Qualitätsskala (International Telecommunication Union 1996, S. 18)

Beim Degradation Category Rating (DCR) werden die Testsequenzen jeweils in Paaren vorgeführt. Die erste Sequenz ist dabei immer die hochwertige Referenz, während die zweite Sequenz das zu bewertende Video darstellt. Diese Tatsache ist allen Versuchsteilnehmern bekannt. Der Unterschied zwischen den beiden Videosequenzen wird auf einer fünfstufigen Skala von 5 (nicht wahrnehmbar) bis 1 (sehr störend) beurteilt (vgl. Möller 2010, S. 112 f.).

Ebenso paarweise funktioniert die Paired Comparison (PC). Einziger Unterschied zu DCR ist, dass keine explizite Referenz genannt wird. Stattdessen werden alle möglichen Paarkombinationen aus den vorhandenen Sequenzen gebildet und den Testteilnehmern präsentiert (z.B. AB, BA). Nach jedem Paar müssen die Teilnehmer festlegen, welche Sequenz die bessere Qualität besitzt (vgl. Möller 2010, S. 114 f.).

Quellen

• International Telecommunication Union Methods for subjective determination of transmission quality // ITU-T Rec. P.800. – Genf : [s.n.], 1996.
• International Telecommunication Union Subjective audiovisual quality assessment methods for multimedia applications // ITU-T Rec. P.911. – Genf : [s.n.], 1998.
• Lee Jae-Beom und Kalva Hari The VC-1 and H.264 Video Compression Standards for Broadband Video Services – Heidelberg : Springer US, 2008.
• Möller Sebastian Quality Engineering [Buch]. – Heidelberg : Springer, 2010.