Sprachsynthese

Der Weg von Text zu Schall ist der umgekehrte zu dem aus Kapitel 07, und er ist schwerer. Bei der Erkennung gibt es eine richtige Antwort, nämlich das gesprochene Wort. Bei der Erzeugung gibt es unendlich viele: Jeder Satz lässt sich in tausend Tonlagen, Tempi und Betonungen sagen, und alle sind richtig.

Conversational AI, Kapitel 01 führt den Begriff ein und nennt die Abkürzung TTS. Dieses Kapitel beschreibt, wie das Bauteil dahinter arbeitet.

Zwei Wege, aus Text Ton zu machen

Bis 2016 gab es zwei Bauformen, und der Hersteller, der beide ablöste, hat sie in seiner Ankündigung nebeneinandergestellt.

Der erste Weg setzt aufgenommene Sprache neu zusammen:

concatenative TTS, where a very large database of short speech fragments are recorded from a single speaker and then recombined to form complete utterances. (externe Seite, deepmind.google)

Der zweite Weg speichert stattdessen Kennwerte und rechnet daraus:

parametric TTS, where all the information required to generate the data is stored in the parameters of the model, and the contents and characteristics of the speech can be controlled via the inputs to the model. (externe Seite, deepmind.google)

Beide haben je eine Schwäche, und beide Schwächen sind gut belegt.

Das Zusammensetzen aus Schnipseln

Wer Sprachschnipsel zusammensetzt, hört echte menschliche Laute, und das klingt in guten Fällen sehr natürlich. Was das kostet, steht direkt daneben:

This makes it difficult to modify the voice (for example switching to a different speaker, or altering the emphasis or emotion of their speech) without recording a whole new database. (externe Seite, deepmind.google)

Eine neue Stimme heißt also: neue Aufnahmen, tagelang, mit derselben Person. Eine andere Betonung heißt dasselbe. Solche Systeme waren an ihre Sprecherin gebunden, und die Übergänge zwischen zwei Schnipseln waren der Ort, an dem man die Naht hörte.

Der Bruch, das Netz erzeugt die Welle selbst

Der parametrische Weg war beweglich und klang schlechter, weil am Ende ein Bauteil stand, das aus Kennwerten Schall macht:

Existing parametric models typically generate audio signals by passing their outputs through signal processing algorithms known as vocoders. (externe Seite, deepmind.google)

2016 wurde dieses Bauteil durch ein neuronales Netz ersetzt, das die Schallwelle direkt erzeugt:

This paper introduces WaveNet, a deep neural network for generating raw audio waveforms. (externe Seite, arxiv.org)

Die Autoren beziffern den Abstand zu beiden alten Bauformen:

human listeners rating it as significantly more natural sounding than the best parametric and concatenative systems for both English and Mandarin. (externe Seite, arxiv.org)

Damit war die Frage entschieden. Was heute in einem Sprachagenten spricht, steht in dieser Linie.

Was eine Stimme ausmacht

Der Text sagt, welche Wörter fallen. Alles andere muss das System erfinden, und es ist mehr, als man beim Zuhören merkt.

Die Tonhöhe und ihr Verlauf über den Satz. Eine Frage endet oben, eine Feststellung unten.

Die Länge jedes Lautes. Wer betont, dehnt.

Die Pausen, und zwar an Stellen, an denen kein Satzzeichen steht.

Die Klangfarbe, an der wir eine Person wiedererkennen.

Die ersten drei zusammen heißen Prosodie, und die Bedeutung hängt an ihnen mit. „Das hast du gut gemacht“ ist je nach Betonung ein Lob oder das Gegenteil, und im Text steht beides gleich.

Was das Gesetz an dieser Stelle verlangt

Seit dem 02.08.2026 gilt Artikel 50 der KI-Verordnung. Anbieter müssen erzeugte Inhalte maschinenlesbar markieren:

Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. (externe Seite, eur-lex.europa.eu)

Was daraus für eine Sprachanwendung folgt, welche Ausnahmen es gibt und wie die Kennzeichnung technisch aussieht, steht in Conversational AI, Kapitel 09. Dort geht es um die Pflichten, hier um das Verfahren.

Woran Sie eine erzeugte Stimme festmachen

Hören Sie auf die Pausen. Ein System, das nach Satzzeichen atmet, klingt regelmäßiger als ein Mensch.

Achten Sie auf seltene Wörter. Namen, Fachbegriffe und Abkürzungen sind die Stelle, an der die Aussprache geraten wird.

Fragen Sie, wo die Stimme herkommt. Eine nachgebildete Stimme braucht die Zustimmung der Person, der sie gehört, und beide großen Anbieter verlangen dafür einen Nachweis.

Verwechseln Sie Natürlichkeit nicht mit Richtigkeit. Eine Stimme, die gut klingt, kann einen falschen Satz sprechen. Was vor ihr steht, entscheidet darüber.

Vom Text zur Lautfolge

Bevor irgendetwas klingt, muss aus Schrift eine Aussprache werden, und das ist keine Übersetzung Zeichen für Zeichen. „Sie“ und „sie“ klingen gleich, „umfahren“ und „umfahren“ nicht. Eine Zahl wie 1994 kann Jahreszahl, Hausnummer oder Betrag sein, und jede Lesart klingt anders.

Diese Stufe heißt Textaufbereitung und war im klassischen Aufbau ein eigenes Bauteil mit Regeln, Abkürzungslisten und einem Aussprachewörterbuch. Sie entscheidet über Dinge, die kein Netz danach mehr korrigieren kann: Wer 1994 als Zahl vorliest statt als Jahr, hat den Satz falsch gesagt, obwohl jeder Laut sauber klingt.

Das Mel-Spektrogramm als Zwischenschritt

Die Bauform, die bis heute unter den meisten Systemen steht, wurde 2017 beschrieben, und ihr Kurztext nennt beide Hälften in einem Satz:

The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed by a modified WaveNet model acting as a vocoder to synthesize timedomain waveforms from those spectrograms. (externe Seite, arxiv.org)

Vorn steht ein Netz, das aus Zeichen ein Mel-Spektrogramm vorhersagt, also genau die Darstellung, die in Kapitel 07 am Anfang der Erkennung steht. Der Weg läuft hier rückwärts durch dieselbe Repräsentation.

Warum steht dort eine Zwischenstufe? Weil sie klein ist. Ein Mel-Spektrogramm hat 80 Werte je Zeitschritt und einen Zeitschritt je 10 Millisekunden, das sind 8.000 Zahlen für eine Sekunde. Die Schallwelle hat für dieselbe Sekunde 16.000 oder 24.000. Die Autoren beziffern den Gewinn:

We further demonstrate that using a compact acoustic intermediate representation enables significant simplification of the WaveNet architecture. (externe Seite, arxiv.org)

Der Vocoder macht daraus Schall

Ein Mel-Spektrogramm sagt, welche Frequenzen wann wie laut sind. Es sagt nicht, wie die Schwingungen zueinander stehen, denn die Phase geht bei der Umrechnung verloren. Genau deshalb braucht es hinten ein zweites Bauteil.

Der Begriff Vocoder ist älter als die neuronalen Verfahren und bezeichnete zunächst ein Signalverarbeitungsprogramm:

Existing parametric models typically generate audio signals by passing their outputs through signal processing algorithms known as vocoders. (externe Seite, deepmind.google)

Seit 2016 sitzt an dieser Stelle ein Netz. Es erzeugt die Welle Wert für Wert:

The model is fully probabilistic and autoregressive, with the predictive distribution for each audio sample conditioned on all previous ones (externe Seite, arxiv.org)

Daraus folgt die Rechenlast, die diese Bauform in den ersten Jahren unbrauchbar für Gespräche machte. Die Menge steht in der Ankündigung:

Researchers usually avoid modelling raw audio because it ticks so quickly: typically 16,000 samples per second or more, with important structure at many time-scales. (externe Seite, deepmind.google)

16.000 Vorhersagen für eine Sekunde Ton, jede abhängig von allen vorherigen. Die späteren Vocoder haben genau daran gearbeitet, und heute läuft die Erzeugung schneller als in Echtzeit.

Wie eine Stimme nachgebildet wird

Dass ein Modell mehrere Stimmen führen kann, stand schon 2016 im Kurztext:

A single WaveNet can capture the characteristics of many different speakers with equal fidelity, and can switch between them by conditioning on the speaker identity. (externe Seite, arxiv.org)

Die Stimme ist also eine zusätzliche Eingabe in dasselbe Modell. Heute genügen wenige Minuten Material, um eine neue hinzuzufügen. Beide großen Anbieter haben dafür eine Sperre eingebaut, und sie ist bei beiden dieselbe:

For now, we only allow you to clone your own voice. You will be asked to go through a verification process before submitting your fine-tuning request. (externe Seite, elevenlabs.io)

Der andere verlangt einen gesprochenen Satz, wortwörtlich:

The consent audio recording must only include one of the following phrases. Any divergence from the script will lead to a failure. (externe Seite, developers.openai.com)

Was daraus rechtlich folgt und warum eine Stimme mehr ist als ein Klang, steht in Conversational AI, Kapitel 09.

Was sich steuern lässt und was nicht

Die Prosodie ist die offene Flanke. Ein Netz, das nur den Text sieht, muss raten, wo betont wird, und es rät den Durchschnitt seines Trainingsmaterials.

Der jüngere Weg dafür ist eine Anweisung in Prosa:

You can prompt the model to control aspects of speech (externe Seite, developers.openai.com)

Das ist bequem und ungenau. Man beschreibt eine Stimmung, und das Modell setzt sie um oder auch nicht. Der ältere Weg waren Auszeichnungssprachen, in denen Pausenlängen und Tonhöhen im Text stehen: genauer, aufwendiger und für lange Texte unpraktisch.

Ein Punkt fällt in Gesprächen besonders auf. Die Ausgabe kommt stückweise, sonst käme die Antwort erst nach der letzten Silbe:

The Speech API provides support for realtime audio streaming using chunk transfer encoding. This means the audio can be played before the full file is generated and made accessible. (externe Seite, developers.openai.com)

Wer stückweise ausgibt, hat allerdings die Betonung des Satzendes noch nicht berechnet, als er den Satzanfang schon spricht. Das ist der Grund, warum gesprochene Fragen manchmal wie Feststellungen klingen.

Warum die Aussprache das schwerste Stück bleibt

Fehler in der Prosodie hört man und versteht den Satz trotzdem. Fehler in der Aussprache eines Namens sind etwas anderes: Der Zuhörer weiß nicht, wer gemeint ist.

Die schwierigen Fälle sind an drei Stellen dieselben wie bei der Erkennung. Eigennamen folgen keiner Regel. Abkürzungen können Wort oder Buchstabenfolge sein. Und Fremdwörter bringen die Ausspracheregeln ihrer Herkunftssprache mit, sofern der Sprecher sie kennt.

Ein Aussprachewörterbuch löst das, und deshalb führen die Anbieter eines, auch wenn die Bauform davor kein eigenes Bauteil mehr dafür hat.

Was daraus für die Praxis folgt

Prüfen Sie an Ihren eigenen Namen. Firmenname, Produktname, Ortsname: Wenn die falsch klingen, ist das im Betrieb der teuerste Fehler.

Rechnen Sie das Vorlesen von Zahlen gesondert nach. Beträge, Uhrzeiten, Aktenzeichen und Telefonnummern haben je eigene Leseregeln.

Die Stimme wählt man vor der Anwendung. Ein Wechsel mitten im Betrieb irritiert Zuhörer stärker, als es sich beim Bauen anfühlt.

Und die Erzeugung ist die letzte Stufe. Was falsch ankam, spricht auch die beste Stimme falsch aus. Das steht in Conversational AI, Kapitel 02 mit einer eigenen Messung.

Die Zwischenstufe ist wieder das Nadelöhr

Die zweistufige Bauform hat dieselbe Eigenschaft wie die Ketten aus Kapitel 06: Zwischen den Stufen steht eine feste Darstellung, und was dort nicht hineinpasst, ist danach nicht mehr da.

Ein Mel-Spektrogramm hält Frequenz und Lautstärke über die Zeit fest. Die Phase fehlt darin, also entscheidet der Vocoder selbst, wie die Schwingungen zueinander stehen. Bei einer Stimme fällt das kaum auf. Bei Geräuschen, Hall und mehreren Sprechern gleichzeitig fällt es auf.

Die Autoren von 2017 haben die Zwischenstufe ausdrücklich als Vorteil geführt, und sie hatten recht:

We further demonstrate that using a compact acoustic intermediate representation enables significant simplification of the WaveNet architecture. (externe Seite, arxiv.org)

Der Preis daran ist derselbe wie überall bei diesem Muster. Eine Stufe legt sich fest, die nächste kann die Festlegung nicht mehr aufheben. Sagt das Vorhersagenetz die Betonung falsch voraus, erzeugt der Vocoder eine einwandfreie Welle mit falscher Betonung.

Die jüngeren Systeme umgehen das, indem sie beide Stufen zusammen trainieren oder ganz ohne Zwischenstufe arbeiten. Damit ist der Fehler nicht weg, aber er ist nicht mehr an einer Stelle festgeschrieben.

Was eine Bewertung von Stimmqualität misst

Die übliche Kennzahl heißt Mean Opinion Score, und der Herstellerbeitrag von 2016 sagt sauber, was dahintersteht:

MOS are a standard measure for subjective sound quality tests, and were obtained in blind tests with human subjects (from over 500 ratings on 100 test sentences). (externe Seite, deepmind.google)

Fünfhundert Bewertungen zu hundert Sätzen. Menschen hören und vergeben eine Note von eins bis fünf. Das ist eine Befragung. Am Signal gemessen wird dabei nichts, und daraus folgen drei Einschränkungen.

Der Wert hängt an den Sätzen. Hundert Testsätze sind hundert Testsätze. Namen, Zahlenkolonnen und Fachbegriffe sind darin selten, und genau dort scheitern die Systeme.

Der Wert hängt an den Hörenden. Wer Deutsch als Muttersprache spricht, bewertet eine deutsche Stimme anders als jemand, der die Sprache gelernt hat.

Und der Abstand zur Aufnahme ist klein geworden. Tacotron 2 gibt 4,53 an gegen 4,58 für professionell aufgenommene Sprache. Der Kurztext nennt diese Zahlen in Formelschreibweise, deshalb stehen sie hier ohne Zitat (Beleg (externe Seite, arxiv.org)). Wenn zwei Werte so nah beieinanderliegen, misst die Skala kaum noch etwas: Sie hat oben kein Papier mehr.

Für die eigene Auswahl folgt daraus dasselbe wie in Beurteilen und Einordnen, Kapitel 04. Eine fremde Note sagt, dass ein System im Durchschnitt gut klingt. Ob es Ihre Texte richtig spricht, sagt nur ein Versuch mit Ihren Texten.

Die Stimme als Merkmal einer Person

Ab dem Moment, in dem eine Stimme aus Material nachgebildet werden kann, verlässt das Thema die Technik. Die Anbieter haben das früh gesehen und in ihre Bedingungen geschrieben. Der eine verlangt einen gesprochenen Satz mit festem Wortlaut, der andere ein Prüfverfahren vor der Freischaltung.

Beide Sperren stehen in den Bedingungen der Anbieter. Ein Modell, dessen Gewichte offen liegen, hat sie nicht, und der Aufwand für eine nachgebildete Stimme ist inzwischen Minuten.

Der Anbieter deckelt außerdem die Zahl:

At most 20 voices can be created per organization. (externe Seite, developers.openai.com)

Das ist eine Betriebsgrenze. Als Schutz taugt sie nicht. Was rechtlich gilt, unter welchen Bedingungen eine Stimme ein biometrisches Merkmal ist und was Artikel 50 dazu verlangt, steht vollständig in Conversational AI, Kapitel 09.

Was daraus nicht folgt

Aus natürlichem Klang folgt keine natürliche Sprechweise. Die Laute können einwandfrei sein und der Satz trotzdem falsch betont. Das eine misst der Vocoder, das andere die Stufe davor.

Die alten Bauformen sind nicht wertlos. Wer zehn feste Ansagen braucht, nimmt zehn Aufnahmen. Das klingt besser als jedes erzeugte Verfahren und kostet einen Nachmittag.

Eine hohe Bewertung sagt nichts über seltene Wörter. Die Testsätze enthalten sie nicht, und genau sie entscheiden im Betrieb.

Und die Kennzeichnungspflicht ist keine Frage der Qualität. Sie hängt allein daran, dass der Inhalt erzeugt wurde.