Forschung - Spracherkennung

Methoden der statistischen Sprachmodellierung

F. Wessel, S. Martin


Statistische Sprachmodelle dienen der linguistischen Bewertung von Wortfolgen in geschriebenen oder gesprochenen Texten. Während bestimmte Wortkombinationen typisch für eine Sprache oder konkrete Themengebiete sind, gibt es Wortkombinationen, die sehr unwahrscheinlich sind. Diese zusätzliche Information über die Struktur einer Sprache kann in der Spracherkennung und -übersetzung eingesetzt werden. Statistische Ansätze haben sich in der Vergangenheit gegenüber expliziten Repräsentationen von Syntax, Semantik und Pragmatik bewährt. Zur Zeit werden die folgenden Ansätze näher untersucht:

M-Gramm-Modelle. Die Wahrscheinlichkeit eines Wortes ergibt sich hier unmittelbar aus den (M-1) Vorgängern. Die Wahrscheinlichkeiten werden aus Zählwahrscheinlichkeiten auf den Wortfolgen eines Trainingskorpus berechnet, die jedoch durch Glättungsverfahren nachträglich verändert werden, um auch ungesehenen Wortfolgen eine Wahrscheinlichkeit zu geben.

Maximum Entropy. Dies ist ein in der Sprachmodellierung neuerer Ansatz zur Kombination mehrerer der oben genannten Modelle. Diese Methode bestimmt die Wortwahrscheinlichkeiten über ein log-lineares Modell, dessen Komponenten bestimmte Constraints, etwa die Zugehörigkeit des Wortes zu einem Wortpaar oder -tripel, ausdrücken und die mittels Generalized Iterative Scaling trainiert werden.

Dialogabhängige Sprachmodelle. Die Analyse von aufgenommenen Dialogen zwischen einem Anrufer und einem automatischen Fahrplanauskunftsystem zeigt, daß je nach Zustand, in dem sich der Dialog in seinem zeitlichen Ablauf befindet, die Antworten des Anrufers weitestgehend schematisch erfolgen. Diese sprachlichen Einschränkungen sind in den Erkennungsprozeß integriert worden, indem dialogzustandsabhängige Sprachmodelle implementiert worden sind, die den Zustand des Systems in die Vorhersage von Wörtern auf sprachlicher Ebene einbeziehen. Neben der Kombination dieser Sprachmodelle stand im Vordergrund, sprachliche Ähnlichkeiten zwischen verschiedenen Dialogzuständen automatisch zu erkennen und die Anzahl der unterschiedlichen Dialogzustände zu reduzieren.

Last modified: Tue Sep 21 15:43:06 CEST