Wie Sprache-zu-Text funktioniert: Von Audio-Wellenformen zu Log-Mel-Spektrogrammen
Eric King
Author
Speech-to-Text wird heute in Meeting-Transkription, Video-Untertiteln, Spracheingabe und intelligenten Assistenten eingesetzt. Wie „versteht“ ein Computer menschliche Sprache – ohne Ohren?
Die Antwort beginnt bei der vertrautesten Darstellung von Audio – der Wellenform – und führt schrittweise zum zentralen Merkmal moderner ASR-Systeme: dem Log-Mel-Spektrogramm.
Audio-Wellenform: Die vertrauteste Klangdarstellung
In Aufnahme- oder Bearbeitungsprogrammen wird Klang meist als Wellenform angezeigt.
Eine Wellenform zeigt:
- Zeit auf der horizontalen Achse
- Amplitude (Lautstärke) auf der vertikalen Achse
So lassen sich visuell erkennen:
- Wann gesprochen wird
- Stille oder Pausen
- Lautstärkeänderungen
Für Speech-to-Text beschreibt die Wellenform jedoch nur, wie laut etwas ist – nicht, was für ein Klang es ist.
Warum Wellenformen für Sprache-zu-Text nicht reichen
Die eigentliche sprachliche Information steckt im Frequenzgehalt, nicht nur in der Amplitude.
Phoneme, Stimmen und Sprechweisen unterscheiden sich durch die Kombination und zeitliche Entwicklung von Frequenzen. In der Wellenform steckt das in komplexen Schwingungen – für Maschinen schwer direkt auszuwerten.
Deshalb wandeln Speech-to-Text-Systeme Audio vom Zeitbereich in den Frequenzbereich um.
Von der Wellenform zum Spektrogramm: Frequenzen sichtbar machen
Zur Analyse erzeugen ASR-Systeme ein Spektrogramm mit:
- Zeit auf der x-Achse
- Frequenz auf der y-Achse
- Farbe/Intensität für die Energie
So wird sichtbar, wie sich Frequenzanteile über die Zeit ändern – einfacher zu Mustern in der Sprache. Rohe Spektrogramme entsprechen aber noch nicht vollständig der menschlichen Wahrnehmung.
Log-Mel-Spektrogramm: Das Kernmerkmal von Speech-to-Text
Hier kommt das Log-Mel-Spektrogramm ins Spiel.
Es verbessert das Standardspektrogramm durch:
- Abbildung der Frequenzen auf die Mel-Skala, die zur menschlichen Hörwahrnehmung passt
- Logarithmische Kompression, um Empfindlichkeit gegenüber Lautstärkeunterschieden zu verringern
Das Ergebnis ist ein zweidimensionales „Klangbild“, das klar abbildet:
- Phonetische Strukturen
- Stimmmerkmale
- Zeitliche Sprachmuster
Moderne Modelle wie Whisper nutzen Log-Mel-Spektrogramme als primäre Eingabe.
Warum Log-Mel-Spektrogramme für Speech-to-Text unverzichtbar sind
Sie bieten unter anderem:
- Nähere Übereinstimmung mit dem menschlichen Gehör
- Klarere Trennung von Phonemen
- Mehr Robustheit gegen Rauschen und Lautstärkeschwankungen
- Bessere Eignung für Deep-Learning-Modelle
Sie markieren den Schritt von „Klang erkennen“ zu „Sprache verstehen“.
Fazit
Speech-to-Text ist mehr als Audioverarbeitung – es geht um Sprachstruktur. Wellenformen lassen uns Klang sehen; Log-Mel-Spektrogramme ermöglichen es Maschinen, ihn zu interpretieren.
Der Weg von Wellenform über Spektrogramm zum Log-Mel-Spektrogramm bildet die Grundlage heutiger präziser und zuverlässiger Speech-to-Text-Systeme.
