⚒️
Параллельный трансформер
Сделал вот такую архитектуру c блоками трансформера, включенными параллельно, но их выходы суммируются через остаточное соединение. Также у каждого блока свой отдельный слой эмбеддинга.
После добавления NITP получил инверсный разрыв обобщения (разница между ошибкой обучения и ошибкой тестирования) – запоминание отстаёт от обобщения.
Параллельный трансформер
Сделал вот такую архитектуру c блоками трансформера, включенными параллельно, но их выходы суммируются через остаточное соединение. Также у каждого блока свой отдельный слой эмбеддинга.
После добавления NITP получил инверсный разрыв обобщения (разница между ошибкой обучения и ошибкой тестирования) – запоминание отстаёт от обобщения.