Muon — сильная альтернатива AdamW для табличных DL моделей
Небольшой техрепорт от нашей tabular DL команды со сравнением оптимизаторов для современных табличных MLP, включая TabM:
https://arxiv.org/abs/2604.15297
В итоге рекомендуем попробовать для ваших tabular DL моделей, если еще не:
• Muon
• AdamW + EMA
Детали про Muon:
• Для успеха могут быть важны learning rate и weight decay. Скажем, у нас у Muon отдельный lr с более высокими характерными значениями, чем у AdamW.
• С Muon обучение будет дольше.
Небольшой техрепорт от нашей tabular DL команды со сравнением оптимизаторов для современных табличных MLP, включая TabM:
https://arxiv.org/abs/2604.15297
В итоге рекомендуем попробовать для ваших tabular DL моделей, если еще не:
• Muon
• AdamW + EMA
Детали про Muon:
• Для успеха могут быть важны learning rate и weight decay. Скажем, у нас у Muon отдельный lr с более высокими характерными значениями, чем у AdamW.
• С Muon обучение будет дольше.