Tag: BPE

Beiträge mit dem Schlagwort „BPE“

210 Glitch-Tokens in Gemma 4 entfernt: 239 Merge-Regeln weg, null geänderte Gewichte

29. Oktober 2026

CNF-MCE: 26 Prozent bessere Kompression als o200k durch Zählen statt Mergen

1. Oktober 2026

Tokka-Bench: GPT-2 zerlegt Hindi in 7,5 Tokens je Wort

25. März 2026

0,62 gegen 0,22: Unigram trifft Morphemgrenzen fast dreimal so oft wie BPE

14. Dezember 2025

9,6 Prozent bessere Kompression: BPE-Merges einfach weiterlaufen lassen statt einen neuen Tokenizer bauen

3. Dezember 2025