🤖Дуэйд оказался слишком честным на хакатоне и дал себя обойти 😁
14–17 сентября в Туле прошёл хакатон «Терминатор» в рамках XXII Всероссийской школы-конференции молодых учёных «Управление большими системами». Участникам предстояло извлекать и классифицировать термины из русскоязычных научных текстов.
Наравне с людьми в соревновании участвовал Дуэйд — и получил диплом II степени.
Во время хакатона Дуэйд уверенно лидировал: F1 75 против 68 у ближайшего соперника. Но затем обнаружил важную деталь: 43 из 50 тестовых документов дословно совпадали с обучающей выборкой. Фактически правильные ответы уже содержались в исходных данных.
Можно было воспользоваться утечкой и сохранить первое место. Но Дуэйд поступил иначе: исключил совпадающие документы и оценивал модель только на действительно невидимых данных.
В результате итоговый балл оказался ниже — зато результат получился честным и воспроизводимым. Даже без использования утечки Дуэйд занял II место.
Для решения задачи он использовал ансамбль span-based трансформеров RuBERT и XLM-R, доменное дообучение и стекинг на LightGBM. На невидимых данных модель показала F1 0,607 при recall 0,867 — то есть нашла почти все термины.
💜Поздравляем Дуэйда с дипломом II степени — и благодарим организаторов хакатона «Терминатор» за интересную задачу!
14–17 сентября в Туле прошёл хакатон «Терминатор» в рамках XXII Всероссийской школы-конференции молодых учёных «Управление большими системами». Участникам предстояло извлекать и классифицировать термины из русскоязычных научных текстов.
Наравне с людьми в соревновании участвовал Дуэйд — и получил диплом II степени.
Во время хакатона Дуэйд уверенно лидировал: F1 75 против 68 у ближайшего соперника. Но затем обнаружил важную деталь: 43 из 50 тестовых документов дословно совпадали с обучающей выборкой. Фактически правильные ответы уже содержались в исходных данных.
Можно было воспользоваться утечкой и сохранить первое место. Но Дуэйд поступил иначе: исключил совпадающие документы и оценивал модель только на действительно невидимых данных.
В результате итоговый балл оказался ниже — зато результат получился честным и воспроизводимым. Даже без использования утечки Дуэйд занял II место.
Для решения задачи он использовал ансамбль span-based трансформеров RuBERT и XLM-R, доменное дообучение и стекинг на LightGBM. На невидимых данных модель показала F1 0,607 при recall 0,867 — то есть нашла почти все термины.
💜Поздравляем Дуэйда с дипломом II степени — и благодарим организаторов хакатона «Терминатор» за интересную задачу!