Das Wichtigste
- Die Methode verwendet eine importance-gewichtete obere Schranke für die Likelihood des eigenen Samplers.
- Architektur und Sampler des vorab trainierten Modells bleiben unverändert.
- Bei LLaDA-8B ermöglicht eine LoRA-Feinabstimmung mit 0,002 Prozent der Trainingsrechenleistung bessere OpenWebText-Fortsetzungen.
Einordnung
Maskierte Diffusions-Sprachmodelle liefern bei wenigen parallelen Abtastschritten Ergebnisse, die von der zufälligen Reihenfolge der sichtbar gemachten Token abhängen. Mix-FT berücksichtigt diese Mischung verschiedener Auflösungspläne bereits während der Feinabstimmung und richtet das Training thus an die tatsächlich verwendete Erzeugungsweise an.
Was das für Sie heisst
Direkt anwendbar
Entwicklerteams können bestehende Diffusions-Sprachmodelle mit LoRA feinabstimmen, ohne Modellarchitektur oder Sampler auszutauschen.
Wer davon profitiert: Entwicklerinnen und Entwickler, die Textgenerierung mit Diffusions-Sprachmodellen effizienter und näher an ihrem realen Sampler optimieren wollen.
Enterprise-Architektur-Beratung kann die Integration und den Betrieb von Sprachmodell-Pipelines innerhalb bestehender Softwaresysteme einordnen.