Französisch kostet bei einer KI 31 Prozent mehr Token

Die Zahl stimmt

Der Text der Datenschutz-Grundverordnung auf Englisch: 65.755 Token. Derselbe Text, ins Französische übertragen und ebenso gezählt: 85.998 Token. Das sind 30,8 Prozent mehr, um genau denselben Inhalt zu sagen, und das rundet sich bequem auf 31 Prozent.

Die Zahl kursiert seit dem 1. Oktober, ausgelöst durch einen Artikel der Fachseite Next.ink, die als Erste dieselbe Verordnung genommen und dasselbe gezählt hatte. Wir sind danach selbst auf den Server der Veröffentlichungen der Europäischen Union gegangen, haben uns den vollständigen Text auf Französisch, Englisch und Deutsch heruntergeladen und ihn anschließend durch zehn unterschiedliche Tokenizer laufen lassen. Skripte und Texte sind aufbewahrt: die Messung lässt sich jederzeit wiederholen.

Warum das überhaupt zählt: Die Anbieter rechnen pro Token ab, bei der Eingabe ebenso wie bei der Ausgabe. Ein Tokenizer zerlegt jeden Text zunächst in solche kleinen Spracheinheiten, bevor ein Modell ihn überhaupt verarbeiten kann, und genau diese Einheiten werden am Ende abgerechnet. Die Kasse wiegt den Einkaufswagen nicht als Ganzes, sie scannt einzelne Artikel. Bei gleichem Warenkorb, aber mit mehr Artikeln, fällt die Rechnung höher aus.

Die Zahl hält also. Was man daraus ableitet, hält nicht.

Die DSGVO ist der schlimmste Fall, nicht der Durchschnitt

Der Reflex bei 31 Prozent: das gesamte Französische koste grundsätzlich ein Drittel mehr. Wir haben die Messung deshalb zusätzlich auf vier weitere Textarten übertragen, jeweils mit dem Tokenizer der aktuellen OpenAI-Modelle. Journalistische Texte: +24,7 Prozent. Konferenzmitschriften: +20,7 Prozent. Ein Roman von Jules Verne: +19,5 Prozent. Kommentierter Code: nur noch +10,7 Prozent.

Zwischen einer EU-Verordnung und einer Codedatei drittelt sich der Abstand also beinahe. Ein Text aus dem EU-Recht ist, bildlich gesprochen, die Bergetappe eines Verbrauchstests: Man misst dort den schlechtesten Wert, nicht den der täglichen Fahrt. Wer eher Notizen, Code oder Gesprächstexte verarbeiten lässt, zahlt einen zwei- bis dreimal kleineren Aufschlag, als die kursierende Zahl zunächst verspricht.

Die Hälfte der Differenz hat nichts mit KI zu tun

Hier liegt der Punkt, den bislang niemand anspricht. Noch bevor überhaupt von Token die Rede ist: Der französische Text der Datenschutz-Grundverordnung umfasst 414.756 Zeichen gegenüber 360.047 auf Englisch. Das Französische ist 15,2 Prozent länger, gemessen in Zeichen, um dasselbe zu sagen. Das ist eine Zählung von Buchstaben, keine Zählung von Token.

Diesen Teil wird kein Tokenizer je wegbekommen. Er kommt nicht von der Technik, er kommt von der Sprache selbst: „de la mise en œuvre du présent règlement“ (aus dem französischen Originaltext der Verordnung) gegenüber „implementing this Regulation“ (aus der englischen Fassung desselben Artikels), allein schon durch die Grammatik der jeweiligen Sprache.

Von den gemessenen 30,8 Prozent addiert die Maschine selbst also nur 13,5 Prozent zusätzlich zur reinen Textlänge. „Französisch kostet 31 Prozent mehr“ stimmt zwar, schiebt der KI aber einen Unterschied in die Schuhe, von dem die Hälfte dem Wörterbuch gehört, nicht dem Rechner.

Das Deutsche dient als Gegenprobe und macht die Sache zugleich komplizierter. Dieselbe Verordnung kommt auf Deutsch mit weniger Zeichen aus als auf Französisch, und mit 51.324 Wörtern gegenüber 62.909. Trotzdem kostet sie 28,2 Prozent mehr Token als die englische Fassung, fast genauso viel wie das Französische. Die deutsche Wortbildung erzeugt lange zusammengesetzte Wörter, die der Tokenizer nicht kennt und deshalb in Stücke zerlegt. Zeichen allein zu zählen reicht also ebenfalls nicht aus, um die Rechnung zu erklären.

Und die restlichen 13,5 Prozent sind schon in Bewegung

Das ist keine Naturkonstante, das ist eine Einstellung.

Mit dem Tokenizer von GPT-3.5 und GPT-4, die sich denselben Tokenizer teilten, lag der Aufschlag für Französisch noch bei 34,4 Prozent. Mit dem Tokenizer der nachfolgenden Modelle fällt er auf 13,5 Prozent. Derselbe Text, dieselbe Sprache, derselbe Anbieter: Es ist das Vokabular des Tokenizers, das erweitert wurde, nicht das Französische, das sich verändert hätte.

Bei unseren zehn Tokenizern reicht die Spanne von +11 Prozent bis +67 Prozent. Sechsundfünfzig Punkte Abstand, wo doch eine einzige Zahl kursiert. Der mildeste Tokenizer stammt nicht von einem kommerziellen Modell: Es ist CroissantLLM, ein akademisches Modell, zu gleichen Teilen auf Französisch und Englisch trainiert, dessen Aufschlag im Französischen sogar negativ ausfällt. Sein Wörterbuch arbeitet im Französischen effizienter als im Englischen.

Man hätte vermuten können, ein französisches Labor schaffe das allein schon aufgrund seiner Herkunft automatisch besser. Falsch: Beim selben Text liefert der neueste öffentliche Tokenizer von Mistral 28,7 Prozent gegenüber 30,8 Prozent bei OpenAI. Besser, aber nur um zwei Punkte. Ein in Frankreich trainiertes Modell kommt also keineswegs automatisch mit einem eingebauten Rabatt fürs Französische.

Bleibt die Gegenprobe, die den Beweis schließt: Dasselbe CroissantLLM, so gnädig mit dem Französischen, verlangte dem Deutschen +112 Prozent ab, den schlechtesten Wert der gesamten Tabelle. Ein Tokenizer versteht keine Sprachen wirklich und bevorzugt keine von ihnen. Er kennt lediglich diejenigen Sprachen, die man ihm beim Training gezeigt hat, und stolpert verlässlich über den Rest.

Was von der Zahl bleibt

Die Dokumentation von Anthropic liefert den Satz, der das Thema zusammenfasst: Ab Claude 4.7 erzeugt derselbe Text laut Anthropic „etwa 30 Prozent mehr Token“ als zuvor, weil sich der Tokenizer geändert hat. Derselbe Text, beim selben Anbieter, mit gerade einmal sechs Monaten Abstand dazwischen.

Die Anzahl der Token eines Textes ist also keine feste Eigenschaft dieses Textes. „Die Kosten des Französischen“ gibt es als solche nicht: Es gibt die Kosten des Französischen bei einem bestimmten Anbieter, mit einer bestimmten Tokenizer-Generation, für eine bestimmte Textart.

Und wer am Ende tatsächlich weniger zahlen will, hat eine deutlich einfachere Option, als gleich die gesamte Arbeitssprache zu wechseln. Der Autor der ursprünglichen Messung sagt es selbst: kürzere Antworten anzufordern spart deutlich mehr.