DeepSeekMoE: Richtung der ultimativen Experten-Spezialisierung in Mixture-of-Experts-Language-Modellen 11. Januar 2024
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity 11. Januar 2021
Adaptive Mixtures of Local Experts: Ein neuer Ansatz zur Modellierung von Expertennetzen 1. März 1991