Das Wichtigste
- Maya a1 zeigt eine deutliche Abhängigkeit der Antwort von der Position der gewählten Option.
- Bei 951 von Qwen geprüften Fragen führte die veränderte Optionsreihenfolge bei 25,8 Prozent zu einer anderen Antwort; das Konfidenzintervall lag zwischen 22,9 und 28,7 Prozent.
- Der untersuchte Checkpoint besitzt einen zweischichtigen Optionskopf ohne Positionsdaten und nutzt ein dokumentiertes, bislang ungenutztes paralleles Layout.
Einordnung
Die Studie untersucht, ob Maya a1 die Position einer Antwortoption anstelle ihres inhaltlichen Bezugs verarbeitet. Dazu wurden die Antwortmöglichkeiten zyklisch verschoben oder bei Fragen mit zwölf Optionen in sechs zufälligen Reihenfolgen dargestellt. Das Modell bewertet jede Option über einen eigenen verdeckten Zustand und erzeugt seine Antwort in einem einzigen Durchlauf.
Was das für Sie heisst
Direkt anwendbar
Sie können bei mehrstufigen Modellen prüfen, ob die Antwort tatsächlich vom Inhalt oder unerwartet von der Position der Option abhängt.
Wer davon profitiert: Entwicklerinnen und Entwickler profitieren, die Modellantworten auf Positions- und Reihenfolgeeffekte prüfen und solche Verzerrungen in Tests erfassen wollen.
Artikel teilen: