Textdiffusion mit zwei Budgets für Graph und Experten
Eine Forschungsarbeit zerlegt die Kosten von Textdiffusion mit langem Kontext in zwei getrennte Budgets: verfügbare Aufmerksamkeitsverbindungen und aktivierte Experten pro Token. Dabei entsteht ein Rahmen für sparsame Aufmerksamkeit und bedingte Expertenberechnung.