Testen des trainierten Modells

Im Idealfall hat man die Trainingsdaten aufgeteilt und 10 bis 20 Prozent der Daten werden nicht zum Trainieren genommen, sondern zum Testen des trainierten Modells. Das bedeutet, wir nehmen jetzt Daten, mit denen nicht trainiert wurde, und wollen wissen, wie viele davon unser KI-Modell richtig zuordnet.

Stellenmarkt
  1. Product Owner Produktionssteuerung (Biotech, SCRUM) (m/w/d)
    Thermo Fisher Scientific GENEART GmbH, Regensburg
  2. Support-Specialist (m/w/d)
    Allianz Technology SE, Hamburg
Detailsuche

Das ist meistens der Augenblick der Wahrheit. Es kann passieren, dass die Werte beim Trainieren hervorragend aussehen, aber beim Testen nicht so gut sind.

Wenn wir beim Testen feststellen, dass 80 bis 90 Prozent der Daten richtig erkannt wurden, ist das ein guter Erfolg.

Mit einer Confusion-Matrix kann visualisiert werden, wie gut ein Modell auf die Testdaten funktioniert. Auf der linken Seite sind die "echten" Label und unten die vom Modell vorhergesagten Label.

Golem Akademie
  1. Blender Grundkurs: virtueller Drei-Tage-Workshop
    07.-09.06.2022, Virtuell
  2. Kubernetes Dive-in-Workshop: virtueller Drei-Tage-Workshop
    19.-21.07.2022, Virtuell
Weitere IT-Trainings

In der ersten Reihe kann man erkennen, dass 16 Daten (Sätze) richtig dem Label 0, also negativ, zugeordnet wurden. Lediglich ein Wert, der negativ sein sollte, wurde als positiv (Label 2) vorhergesagt (Wert rechts oben in der Matrix).

  • Die Verteilung der Labels (Screenshot: Christopher Schultes)
  • Die Trainingsergebnisse (Screenshot: Christopher Schultes)
  • Gelabelte Daten (Screenshot: Christopher Schultes)
  • Die Ergebnis-Matrix (Screenshot: Christopher Schultes)
  • Die ideale Verteilung der Labels (Screenshot: Christopher Schultes)
Die Ergebnis-Matrix (Screenshot: Christopher Schultes)

Welche Probleme tauchen im praktischen Einsatz auf?

Am besten testen wir unser Modell nochmal mit eigenen Texten. Dafür muss man die Texte wieder in die Vektoren umwandeln, dann kann unser Modell sehr schnell erkennen, ob ein Text negativ, neutral oder positiv ist. In unserem Modell sind die Ergebnisse sehr gut, nur ein Text wurde falsch interpretiert.

Der große Vorteil von KI ist, dass zwar das Trainieren von Modellen sehr lange dauert (gerade bei großen Datensätzen kann das sogar Wochen dauern). Wenn man ein Modell aber mal trainiert hat, geht die Klassifizierung sehr schnell.

Wenn man manuell Texte eingibt und das Modell Prognosen erstellen soll, wird man schnell auch auf Probleme stoßen. Beispielsweise darauf, dass verschiedene Menschen Texte differenziert einschätzen würden.

Es kann auch passieren, dass in einem Text unterschiedliche Sentiment-Klassifikationen vorhanden sind. Ein Beispiel: "Die App ist gut, aber der Service ist schlecht." Mit solchen Texten hat ein Modell natürlich zu kämpfen und es müssen Lösungen dafür gesucht werden.

Handbuch für Softwareentwickler: Das Standardwerk für professionelles Software Engineering

Mit manchen Aussagen tun sich KIs einfach schwer

Große KI-Firmen werden große Datensätze trainieren, damit möglichst viele der Texte abgedeckt sind. Für kleinere Firmen oder Hobby-Entwickler wird das nicht möglich sein, unter anderem, weil es zu kostspielig ist. Das bedeutet, ein Modell trifft auch immer wieder auf Daten, mit denen es nicht trainiert wurde.

Beim Trainieren sind die Daten fundamental. Sind die gelabelten Daten ungenau, wird das Modell auch ungenau sein. Hat man nur einen kleinen Datensatz, kann das gut mit diesen Daten funktionieren, aber bei neuen Daten schlecht ausfallen. Die beste Möglichkeit, um dieses Problem zu lösen, ist manuelles Labeln. Leider ist dies mit einem hohen Zeitaufwand verbunden.

Ein weiteres Problem kann die Sprache sein. Englische Datensätze mit Labeln sind häufig zu finden, wenn man nach eher leichten Anwendungen sucht, zum Beispiel einer Sentiment-Analyse. Bei deutschen Datensätzen ist es schon schwieriger.

Um das zu umgehen, kann man natürlich wieder bereits trainierte Modelle verwenden und Texte übersetzen. Für diese Anwendungen eignen sich die Modelle der Language Technology Research Group at the University of Helsinki, die mit HuggingFace leicht anzuwenden sind.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Training mit TransformernUnser Modell im Live-Einsatz 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6.  


Paragleiter 01. Apr 2022 / Themenstart

Auch ich habe solche Erfahrungen. Habe damals im Bachelor-Studium ein Neuronales Netz in...

Christopher... 31. Mär 2022 / Themenstart

Preprocessing ist mit das wichtigste! Wenn du Social Media Daten hast, wie machst du es z...

Christopher... 30. Mär 2022 / Themenstart

In dem Artikel wollte ich bewusst diese Wörter weg lassen. Es gibt sehr viele Begriffe...

Schattenwerk 29. Mär 2022 / Themenstart

Zum Spielen vllt nett, um die Konzepte wirklich mal zu verstehen weniger eignet.

Kommentieren



Aktuell auf der Startseite von Golem.de
Cariad
Aufsichtsrat greift bei VWs Softwareentwicklung durch

Die Sorge um die Volkswagen-Softwarefirma Cariad hat den Aufsichtsrat veranlasst, ein überarbeitetes Konzept für die ehrgeizigen Pläne vorzulegen.

Cariad: Aufsichtsrat greift bei VWs Softwareentwicklung durch
Artikel
  1. Überwachung: Polizei setzt Handy-Erkennungskamera gegen Autofahrer ein
    Überwachung
    Polizei setzt Handy-Erkennungskamera gegen Autofahrer ein

    In Rheinland-Pfalz werden Handynutzer am Steuer eines Autos automatisch erkannt. Dazu wird das System Monocam aus den Niederlanden genutzt.

  2. Delfast Top 3.0: Ukrainische Armee setzt E-Motorräder zur Panzerjagd ein
    Delfast Top 3.0
    Ukrainische Armee setzt E-Motorräder zur Panzerjagd ein

    Ukrainische Infanteristen nutzen E-Motorräder, um leise und schnell zum Einsatz zu gelangen und die Panzerabwehrlenkwaffe NLAW zu transportieren.

  3. Kitty Lixo: Nach Sex mit Mitarbeitern Instagram-Account zurückerhalten
    Kitty Lixo
    Nach Sex mit Mitarbeitern Instagram-Account zurückerhalten

    Laut einer Sexdarstellerin muss man nur die richtigen Leute bei Facebook sehr intim kennen, um seinen Instagram-Account immer wieder zurückzubekommen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Borderlands 3 gratis • CW: Top-Rabatte auf PC-Komponenten • Inno3D RTX 3070 günstig wie nie: 614€ • Ryzen 9 5900X 398€ • Top-Laptops zu Tiefpreisen • Edifier Lautsprecher 129€ • Kingston SSD 2TB günstig wie nie: 129,90€ • Samsung Soundbar + Subwoofer günstig wie nie: 228,52€ [Werbung]
    •  /