QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
📄 Статья
💻 Кода нет
Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training).
Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес.
Кроме того, существующие техники не учитывают кривизну при оптимизации в STE.
И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.
📄 Статья
💻 Кода нет
Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training).
Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес.
Кроме того, существующие техники не учитывают кривизну при оптимизации в STE.
И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.