Das Wichtigste
- Vals AI registrierte in 2.655 Benchmark-Durchläufen mit Inkling 2 Small insgesamt 316 Flüche.
- Die Flüche erschienen meist spät in langen Durchläufen, die anschließend scheiterten.
- 96 Prozent der gescheiterten Durchläufe kamen ohne Flüche aus, weshalb diese kein zuverlässiges Fehlerzeichen darstellen.
Einordnung
Die Auswertung zeigt, dass Sprachmodelle in ihren internen Denkprotokollen emotional formulieren können. Für die Bewertung solcher Modelle ist die Häufigkeit von Flüchen jedoch kein belastbarer Indikator für Fehler oder gescheiterte Durchläufe.
Was das für Sie heisst
Direkt anwendbar
Für Sie bedeutet das: Bei Modelltests können Sie Denkprotokolle auswerten, sollten Flüche aber nicht als verlässliches Fehler- oder Qualitätssignal behandeln.
Wer davon profitiert: Entwicklerinnen, Entwickler und technische Entscheider profitieren bei der Auswahl und Bewertung von KI-Modellen sowie beim Design belastbarer Benchmark-Verfahren.
Artikel teilen: