NCM ist neu, die Idee dahinter nicht. Sie kommt aus der Bildverarbeitung. Dort lernte man über Jahre, ein Bild als Stapel aus groben und feinen Bausteinen zu beschreiben.
Bilder als Bausteine
VQ-VAE übersetzte Bilder 2017 in diskrete Codes, also feste Bausteine 1. VQ-VAE-2 machte daraus 2019 eine Hierarchie aus mehreren Ebenen 2. RQ-VAE stapelte die Codes 2022 noch kompakter 3.
VAR drehte die Richtung um
Bis dahin wurden Bilder meist Zeile für Zeile erzeugt. VAR sagte 2024 stattdessen erst die grobe Stufe voraus und dann die feineren. Die Autoren melden dafür rund 20-faches Tempo 4.
Parallel: Konzepte statt Wortstücke
Auch bei Text gab es Zweifel am Token. Meta rechnete mit Large Concept Models auf Satzebene 5. Ein anderes Team sagte 2026 mehrere Tokens als „Concepts“ voraus 6.
NCM verbindet beide Linien
Hazy Research nahm im Oktober 2026 den Ansatz von VAR und übertrug ihn auf Text 78. Ob das auch in großen Modellen trägt, ist offen. Getestet wurde bis 725 Millionen Parameter. Mehr dazu: NCM einfach erklärt.
Ich finde den Weg lehrreich: Eine Idee aus der Bildwelt brauchte neun Jahre bis zum Text.
Stand: 01.11.2026. Herstellerzahlen sind nicht unabhängig geprüft. Titelbild: KI-generiert (MiniMax image-01).
Quellen
- van den Oord et al.: VQ-VAE, 2017, arXiv:1711.00937.
- Razavi et al.: VQ-VAE-2, 2019, arXiv:1906.00446.
- Lee et al.: RQ-VAE, 2022, arXiv:2203.01941.
- Tian et al.: VAR, 2024, arXiv:2404.02905.
- Barrault et al. (LCM-Team, Meta): Large Concept Models, 2024, arXiv:2412.08821.
- Next Concept Prediction, 2026, arXiv:2602.08984.
- Kumbong, Khare et al.: NCM, 2026, arXiv:2610.14162.
- Hazy Research: Next-Concept Modeling, 12.10.2026. https://hazyresearch.stanford.edu/blog/2026-10-12-ncm