Das Wichtigste
- Blockweise Verarbeitung kann eine links-nach-rechts-Eigenschaft vortäuschen, obwohl die Reihenfolge innerhalb der Blöcke zufällig oder umgekehrt ist.
- Für gleich große, zusammenhängende Blöcke ohne Verschränkung lässt sich die globale Positions-Korrelation als Schedule-Referenz plus gewichteter Within-Block-Mittelwert beschreiben.
- Die Arbeit berichtet über eine vergleichende Studie mit LLaDA-8B-Instruct anhand von 500 Mathematik- und Code-Prompts.
Einordnung
Die Untersuchung richtet sich auf maskierte Diffusionssprachmodelle und ihre Token-Festlegungen bei sequenzieller Verarbeitung. Im Mittelpunkt steht die Frage, wie stark der scheinbare Links-nach-rechts-Fortschritt tatsächlich vom Schedule bestimmt wird.
Was das für Sie heisst
Direkt anwendbar
Für Entwicklerinnen und Entwickler von Diffusionsmodellen ist die Erkenntnis relevant, um Block-Schedules und tatsächliche Token-Reihenfolgen in Auswertungen voneinander zu trennen.
Wer davon profitiert: Entwicklerinnen und Entwickler, die Diffusionssprachmodelle evaluieren oder Token-Sequenzen und Generierungs-Schedules analysieren.
Artikel teilen: