TL;DR: Am 12. November 2026 lief zwischen 01:38 und 17:11 Uhr ein Trainingslauf für die Kennzeichen-Seite von VideoText: 353 abgeschlossene Runden, Runde 354 beim Stopp in Arbeit, beendet von Hand. Die Bibliothek wuchs den ganzen Tag, die Trefferquote fiel von 11,25 Prozent in Runde 1 auf 1,56 Prozent im Schnitt der letzten zehn Runden. Dann fand ich den Fehler in meiner eigenen Messung: Die 60 Prüfmarkierungen stammten aus dem Trainingssatz, die richtige Antwort lag also immer schon in der Bibliothek. Gegen 300 wirklich unbekannte Markierungen, über sechs Bibliotheksgrößen und zwei Entscheidungsregeln, lautet das Ergebnis 0,00 Prozent exakt. Nicht niedrig. Null. Ein Klassifikator pro Position holt aus demselben Deskriptor 1,5 bis 2,4 Prozent für die ganze Zeichenkette — ein bisschen Information, viel zu wenig. Zweimal gemessen, zweimal dasselbe Urteil: Der Ansatz trägt nicht.
Die Ausgangslage
VideoText ist zuerst ein Browser-Werkzeug: Video hinein, Untertitel heraus, nichts verlässt den Tab. Die OCR läuft als PP-OCR v6 über ONNX und WASM, öffentlich unter /de/videotext.
Die zweite Hälfte ist ein Simulator und ein Datensatz-Generator für taktische Kennzeichen — 20 mal 20 Zentimeter, weiß auf dunkel, fünf Stellen, deutsche Polizeieinheiten. Für Berlin ergibt die Grammatik 185.328 gültige Kombinationen. Ein Luxus, den eine normale OCR-Pipeline nie hat: beliebig viele beschriftete Daten, jede Position vorab bekannt.
Der nächste Schritt sah offensichtlich aus: Bibliothek bauen, weiter auffüllen, der Erkennung beim Steigen zusehen. Ich habe das fünfzehneinhalb Stunden laufen lassen, und die Kurve ging in die andere Richtung.
Was hier tatsächlich gemessen wurde
Eine Schleife, ein Deskriptor, eine Regel, keine Parametersuche.
| Größe | Wert |
|---|---|
| Lauf | 12. November 2026, 01:38 bis 17:11 Uhr, manuell beendet in Runde 354, 353 Runden abgeschlossen |
| Trainingsmenge pro Runde | 200, dann 350, dann 500, wachsend bis zur Obergrenze von 2.000 Markierungen |
| Embeddings pro Runde | 6.000 |
| Deskriptor | 141-dimensionaler Gradienten-Deskriptor |
| Augmentierung | Stufen 0 bis 2 |
| Prüfset | 60 Markierungen über 8 Stufen (3 bis 10) = 480 Embeddings |
| Entscheidungsregel | Nächster Nachbar über Kosinus, Schwelle 0,80 |
| Modellklasse | kein neuronales Netz, keine Backpropagation |
| Kalibrierziel | 99 Prozent Präzision, erreicht von 0 der 353 Runden |
Was „Training" hier bedeutete
Genau sein bei dem Wort: Ein neuronales Netz war hier nicht im Spiel. Keine Verlustfunktion, keine Backpropagation, keine Gewichte, die sich bewegt hätten. Der Deskriptor ist von Hand festgelegt. „Training" hieß eines: beschriftete Referenzeinträge anhängen und zur Abfragezeit den nächstgelegenen nachschlagen.
Das macht das Experiment sauber. Würde der Deskriptor Kennzeichenfolgen gut trennen, hülfen zusätzliche Referenzen: mehr Abdeckung, bessere Chancen, dass das richtige Kennzeichen in der Bibliothek liegt. Trennt er sie nicht, schaden sie, weil jeder neue Eintrag einen Vergleich gewinnen kann, den er verlieren müsste. Die einzige Variable war die Größe der Bibliothek.
Das Ergebnis
Die beste Runde ist die erste.
| Kennzahl | Wert |
|---|---|
| Beste Runde | Runde 1, Bibliothek mit 200 Einträgen — 11,25 Prozent exakt bei 18,12 Prozent Präzision |
| Durchschnitt exakt, Runden 1 bis 10 | 5,10 Prozent |
| Durchschnitt exakt, Runden 344 bis 353 | 1,56 Prozent |
| Runde 353, Bibliothek mit 400 Einträgen | 1,04 Prozent exakt, 1,69 Prozent Präzision |
| Schwächste Runde | 0,21 Prozent |
| Stärkste Runde | 11,25 Prozent |
Alles daran ist ein geschlossener Test. Die 60 Prüfmarkierungen stammten aus dem Trainingssatz — eval_markings = markings[:eval] — nur auf anderen Augmentierungsstufen. Die richtige Antwort lag also immer schon in der Bibliothek; der Abgleich hat nie ein Kennzeichen gelesen, das er nicht kannte. Das habe ich erst heute geprüft, und es ändert, was die Tabelle bedeutet.
Was die Zahl wirklich heißt
Also habe ich den Test neu gebaut: 300 Markierungen aus einem anderen Seed, keine Label-Überschneidung mit dem Training, 8 Stufen von 3 bis 10, 2.400 Embeddings. Trainingssatz 2.000 Markierungen, 6.000 Embeddings, Schwelle 0,80, sonst alles identisch.
| Konfiguration | exact, ganze Zeichenkette |
|---|---|
| Bibliothek 50, 100, 200, 400, 1000, 1968, k = 1 | 0,00 Prozent |
| Dieselben Größen, k = 3, Mehrheitsentscheid | 0,00 Prozent |
| Alte Messbasis, 60 Markierungen, Bibliothek 200 | 0,00 Prozent |
Sechs Größen, zwei Regeln, eine Zahl. Die 1,56 bis 11,25 Prozent waren Wiedererkennen von etwas, das schon gespeichert war. Auf einem Kennzeichen, das die Bibliothek nie gesehen hat, bleibt davon nichts.
Der geschlossene Test hatte es schon gesagt: Die Stufen 8 bis 10 lagen in allen 353 Runden bei 0,00 Prozent. Ich habe das als Ende der Skala gelesen. Es war der Deskriptor, der ausging.
Eine Frage war noch billig zu stellen: Steckt im Deskriptor überhaupt Information über die Zeichen? Dieselben 141 Werte, aber ein kleiner Klassifikator pro Position — Berlin, fünf Positionen, trainiert auf Stufe 0 bis 2, geprüft auf unbekannten Markierungen der Stufen 3 bis 10, 2.000 Trainings- und 300 Prüfmarkierungen.
| Position | Softmax | MLP, 64 versteckt | Mehrheitslinie |
|---|---|---|---|
| 1 | 20,8 Prozent | 20,6 Prozent | 11,7 Prozent |
| 2 | 16,1 Prozent | 17,3 Prozent | 11,7 Prozent |
| 3 | 25,4 Prozent | 24,5 Prozent | 17,3 Prozent |
| 4 | 46,7 Prozent | 45,8 Prozent | 34,7 Prozent |
| 5 | 9,6 Prozent | 9,9 Prozent | 5,0 Prozent |
| Ganze Zeichenkette | 1,5 Prozent | 2,4 Prozent | keine |
Die Positionen 3 und 4 liegen deutlich über der Mehrheitslinie, der Deskriptor trägt also etwas. Position 2 und 5 bewegen sich kaum. Für die ganze Zeichenkette bleiben 1,5 bis 2,4 Prozent. Das größere Modell hilft nicht: Das MLP liegt an jeder Position ungefähr auf dem Softmax.
Damit ist der Plan widerlegt, mit dem ich die vorige Fassung dieses Artikels beendet habe — Merkmale behalten, Entscheidungsregel ersetzen. Es ist nicht die Entscheidungsregel. Es ist das Merkmal.
Die Arithmetik hinter dem Schweigen
Das System enthält sich, wenn der beste Treffer unter der Schwelle liegt. Im geschlossenen Test hat sich diese Rate nie bewegt, und sie erklärt die Kurve: rund 38 Prozent Enthaltung, also etwa 62 Prozent beantwortet, und die exakte Trefferquote ist der beantwortete Anteil mal der Präzision.
Runde 1 11,25 / 18,12 = 0,621 -> Enthaltung 37,9 %
Runde 353 1,04 / 1,69 = 0,615 -> Enthaltung 38,5 %
Beide treffen die berichteten „rund 38 Prozent" auf einen halben Punkt genau. Arithmetik auf veröffentlichten Zahlen, keine neue Messung — und sie hat den Fehler lokalisiert, bevor ich ihn verstanden hatte. Die Enthaltung blieb flach, der gesamte Rückgang war ein Rückgang der Präzision. Das System wurde nicht vorsichtiger; es wurde häufiger falsch.
Eine Schwelle von 0,92 hob die Enthaltung auf 47,5 Prozent und ließ die Trefferquote praktisch gleich. Eine Schwelle filtert Antworten, sie kann sie nicht umsortieren.
Warum mehr Daten es schlechter machten
Vier Punkte, nach Sicherheit geordnet.
-
Der Deskriptor beschreibt das Kennzeichen, nicht die Zeichen. 141 Dimensionen, gemittelt über fünf Stellen. Zwei Kennzeichen, die sich in einer Stelle unterscheiden, sind fast derselbe Vektor, weil vier der fünf identische Evidenz beigetragen haben; der Unterschied ist ein kleiner Rest in einer großen Summe.
-
Der Nächster-Nachbar-Abgleich liefert einen Kandidaten — keine sortierte Liste, keine Begründung pro Stelle, keine Möglichkeit zu sagen, dass diese beiden sich im vierten Zeichen unterscheiden. Liegt der nächste Eintrag knapp daneben, ist er die Antwort.
-
Jeder zusätzliche Eintrag ist eine neue Gelegenheit, der nächste zu sein. Bei einem Maß, das fast identische Zeichenketten nicht trennt, bringt eine größere Bibliothek keine Abdeckung, sondern Verwechslungskandidaten: mehr Kennzeichen, die beinahe richtig aussehen.
-
Es gibt keinen Lernschritt, der das ausgleichen könnte. Nichts hier konnte entdecken, dass die vierte Stelle mehr wiegt, weil nichts auf Stellen geschaut hat. Die Repräsentation stand vor der ersten Runde fest und blieb über alle 353 unverändert.
Der Engpass war nie die Datenmenge. Es war die Trennschärfe der Messung. Mehr Daten sind ein Multiplikator auf das, was die Repräsentation ohnehin kann — und wenn sie zwei Kennzeichen nicht auseinanderhält, landet der Multiplikator auf der Verwechslung.
Was ich stattdessen ändere
Fünf Änderungen, die billigste zuerst. Die Reihenfolge ist der Punkt.
- Grammatik als Entscheidungsregel. Berlin hat 185.328 gültige Kombinationen. Was das Modell ausgibt, wird gegen diese Menge geprüft; eine unmögliche Zeichenkette kann das System nicht verlassen. Kein Training, keine neuen Daten, und eine ganze Klasse falscher Antworten stirbt im letzten Schritt.
- Zeichen-Ausschnitte statt ganzem Schild. Ein 64 mal 64 großes Bild pro Position, 5 Positionen mal 37 Klassen — Stufe B. Der Deskriptor über das ganze Kennzeichen mittelt genau den Unterschied weg, der die Antwort entscheidet.
- CTC statt autoregressivem Decoder. Unsere Zeichenketten sind Codes, keine Sprache. Ein vortrainierter autoregressiver Erkenner bringt einen Sprachprior mit, der bei seltenen Kombinationen messbar versagt; CTC-Erkenner schneiden dort besser ab, weil es keinen Satz zu prognostizieren gibt.
- Auf eigenen synthetischen Ausschnitten feintunen. Wir können unbegrenzt Bilder erzeugen. In der Literatur ist das der größte einzelne Hebel — und das eine, was dieses Projekt besser kann als jeder ohne Generator.
- Über mehrere Frames abstimmen. Im Video steht dasselbe Kennzeichen über mehrere Frames. Zeitliche Redundanz ist kostenlose Genauigkeit, und die OCR-Seite hat schon gezeigt, dass sie ein Frame-Budget halten kann.
Nicht auf der Liste: weitere Referenzeinträge. Zwei Tage Messung sagen, dass dieser Hebel nicht existiert.
Was das hier nicht aussagt
Nicht, dass das Produkt kaputt ist: Der OCR-Pfad ist unberührt — 15,4 Millisekunden pro Zeile, rund 3,9-fach Echtzeit, 20 von 20 Cues korrekt. Auch nicht, dass die Daten schlecht sind: Die Kennzeichen waren korrekt, die Labels exakt, die Augmentierung lief wie festgelegt. Sie haben ihre Arbeit getan; die Messung konnte sie nicht nutzen.
Und nicht, dass der Deskriptor wertlos ist: Die Tabelle zeigt echte Information auf Position 3 und 4. Sie sagt, dass das Signal zu dünn ist, um eine fünfstellige Zeichenkette zu entscheiden.
Fazit
- Ein Prüfsatz aus dem Trainingssatz misst Gedächtnis, nicht Erkennung. Aus 11,25 Prozent wurden 0,00 Prozent, sobald die Kennzeichen wirklich unbekannt waren.
- Sechs Bibliotheksgrößen, zwei Entscheidungsregeln, ein Ergebnis: null. Wenn ein Hebel bei jeder Einstellung nichts liefert, hört man auf zu ziehen.
- Ein größeres Modell auf demselben Merkmal behebt kein Merkmalsproblem. Softmax und MLP liegen an jeder Position innerhalb eines Punktes.
- Der Deskriptor trägt etwas — Position 3 und 4 liegen klar über der Linie —, aber nicht genug. 1,5 bis 2,4 Prozent sind die ehrliche Basislinie.
- Die Grammatik ist die billigste Genauigkeit im System: 185.328 gültige Kombinationen, kein Training.
- Reihenfolge: Ausgabe beschränken, Repräsentation reparieren, dann der Decoder, dann feintunen, dann die Zeit nutzen.
- Zweimal gemessen, zweimal dasselbe Urteil. Der Ansatz trägt nicht.