Das Wichtigste
- EntropyCache kommt ohne zusätzliches Training aus.
- Die maximale Entropie der neu dekodierten Token-Verteilungen dient als Signal mit konstanten Kosten für Cache-Neuberechnungen.
- Das Verfahren adressiert den Nachteil bestehender selektiver Cache-Verfahren, deren Entscheidungsaufwand mit Kontextlänge oder Modelltiefe wächst.
Einordnung
Diffusions-Sprachmodelle verwenden bidirektionale Aufmerksamkeit, weshalb verlustfreies KV-Caching nicht möglich ist und in jedem Entkopplungsschritt ein vollständiger Vorwärtslauf benötigt wird. Bestehende Näherungen sparen Rechenleistung, skalieren bei ihren Entscheidungen aber mit Kontextlänge und Modelltiefe. EntropyCache setzt stattdessen auf ein trainingsfreies Entropiesignal.
Was das für Sie heisst
Direkt anwendbar
Entwicklerinnen und Entwickler können EntropyCache in bestehende Inferenzstacks integrieren und dentrade-off zwischen Cache-Aufwand, Rechenleistung und Modellqualität messen.
Wer davon profitiert: Entwicklerinnen und Entwickler, die den Inferenzaufwand von Diffusions-Sprachmodellen reduzieren wollen, profitieren von einer konkret testbaren, trainingsfreien Cache-Optimierung.