Transkription: Google-KI entziffert alte Handschriften fast fehlerfrei
Ein derzeit über Googles AI Studio getestetes KI-Modell nähert sich nach ersten unabhängigen Evaluierungen der Genauigkeit menschlicher Experten bei der Transkription handgeschriebener historischer Dokumente. Das noch namenlose Modell tauchte in der vergangenen Woche sporadisch in A/B-Tests auf der Plattform auf.
Mark Humphries, ein Historiker, der die Leistung von KI-Systemen bei historischer Handschriftenerkennung systematisch testet, prüfte das Modell anhand eines eigens entwickelten Dokumentensatzes(öffnet im neuen Fenster) . Seine vorläufigen Ergebnisse zeigen: Das Google-Modell erreichte bei fünf schwierigen Dokumenten eine Zeichenfehlerrate von etwa 1,7 Prozent, wobei die meisten Fehler Interpunktion und Großschreibung betrafen, nicht die eigentlichen Wörter.
Ohne mehrdeutige Satzzeichen und Großschreibung sank die Fehlerrate auf etwa 0,56 Prozent – ungefähr ein Fehler pro 200 Zeichen. Diese Ergebnisse würden die Leistung des Modells im Bereich professioneller menschlicher Transkriptoren einordnen.
Testmethodik und Einschränkungen
Die Evaluierung verwendete einen Benchmark-Satz von 50 historischen Dokumenten(öffnet im neuen Fenster) mit rund 10.000 Wörtern. Die Dokumente umfassen verschiedene Handschriftenstile aus dem 18. und 19. Jahrhundert, aufgenommen mit unterschiedlichen Bilderfassungsgeräten.
Humphries wies jedoch auf mehrere Einschränkungen dieser ersten Beobachtungen hin. Der Zugriff auf das neue Modell erforderte wiederholtes Aktualisieren von Eingabeaufforderungen, bis ein A/B-Test erschien, was systematische Tests erschwerte. Nur fünf Dokumente des vollständigen Benchmark-Satzes wurden evaluiert – etwa 10 Prozent der Gesamtstichprobe.
Die ausgewählten Dokumente gehörten zu den anspruchsvolleren Beispielen mit unleserlicher Handschrift, Rechtschreibfehlern, grammatischen Inkonsistenzen sowie unregelmäßiger Zeichensetzung und Großschreibung.
Unerwartetes Verhalten bei Kaufmannsaufzeichnungen
Bei Tests mit dem Tagebuch eines Kaufmanns aus dem 18. Jahrhundert zeigte das Modell offenbar Fähigkeiten zum Schlussfolgern, die über einfache Transkription hinausgingen. In einem Eintrag über einen Zuckerkauf zeigte der Originaltext die Notiz "145" ohne klare Maßeinheit.
Das Modell transkribierte dies als 14 lb 5 oz – offenbar hatte es vom Gesamtpreis im Hauptbuch rückwärts gerechnet. Die Berechnung erforderte eine Umrechnung zwischen historischer britischer Währung (Pfund, Schilling, Pence) und Gewichtsmaßen, um festzustellen, dass die Zahlen 14 Pfund und 5 Unzen darstellten und nicht 145 einer beliebigen Einheit.
Diese Art mehrstufiger Schlussfolgerung hat sich für Sprachmodelle generell als schwierig erwiesen, da sie typischerweise Probleme mit Berechnungen in nicht-dezimalen Systemen und mehrdeutiger Notation haben.
Auswirkungen auf Dokumentenverarbeitung
Sollten sich diese Ergebnisse bei umfangreicheren Tests bestätigen, könnte die KI Bereiche beeinflussen, die auf historische Dokumentenanalyse angewiesen sind. Handschriftenerkennung ist seit den 1960er Jahren ein Thema in der KI-Forschung.