Das Wichtigste
- Maskierte Diffusions-Sprachmodelle enthüllen Textpositionen schrittweise.
- Die Enthüllungsreihenfolge entsteht häufig aus den Modellwahrscheinlichkeiten und ist damit eine latente Variable.
- FEROM zielt darauf, Verzerrungen und hohe Varianz bei vorgegebenen Zeitplänen oder zufällig abgetasteten Trajektorien zu reduzieren.
Einordnung
Bei der Textgenerierung wählen praktische Sampler aus, welche Positionen als Nächstes sichtbar werden. Weil diese Reihenfolge vom Modell selbst abhängt, entsteht ein großer diskreter Zustandsraum, den herkömmliche Policy-Optimierungsansätze nur verzerrt oder mit hoher Varianz approximieren können.
Was das für Sie heisst
Noch nicht eingetreten
Sie können FEROM als Forschungsansatz für eigene Diffusions-Sprachmodelle und deren Enthüllungs-Sampler evaluieren, bevor eine produktive Integration sinnvoll erscheint.
Wer davon profitiert: Entwicklerinnen und Entwickler von Diffusions-Sprachmodellen profitieren von einem zusätzlichen Ansatz zur Optimierung der Enthüllungsreihenfolge.
Artikel teilen: