К нам на MATS приходил Нил Нанда отвечать на вопросы. Я сделала хайлайты вопрос-ответов на мой вкус
Disclaimer: все QA пропущены через мою призму восприятия и писались строго по запоминающимся фрагментам
Топ вопросов:
💛Стоит ли сейчас идти на PhD в AI?
если там есть конкретный сильный ментор, с которым очень хочется работать, то в целом да. Но хорошее менторство можно получить и во frontier lab, куда ты просто устраиваешься на работу. Я так поняла, internships он тоже считает нормальной альтернативой. За пять лет PhD AI успеет очень сильно поменяться, поэтому overall suggestion звучал скорее как «идти, только если нет более подходящего варианта». И вообще искать в первую очередь не правильный формат, а хороших менторов.
💛Про его понимание интерпретации сейчас
Он сейчас понимает interpretability скорее как monitors и classifiers для corner cases. И говорил, что было бы круто сильнее совместить её с alignment. Что мне особенно понравилось, потому что я примерно так interpretability всегда и воспринимала: как инструмент для alignment, а не как отдельную область сама по себе.
💛Был ещё хороший тейк про выбор ресерч-проектов и их управление
Можно заранее написать план, как именно проект должен прийти к результату, поставить себе точки сверки и дальше проверять, успеваешь ли ты по этому графику. Если к нужному моменту вообще не пришёл туда, куда рассчитывал, возможно, проект стоит оставить, а не пытаться бесконечно его спасать.
Понять, стоит ли вообще браться за идею, можно, поспрашивав ментора, Fable и опираясь на собственный research taste. Правда, настоящий research taste Нил, по его словам, видел у очень небольшого количества людей, так что последний пункт не самый надёжный.
Были еще разные рассуждения на тему кто в долгосрок более способен на успех опенаи или дипмаинд и куда идти, если не в DeepMind, но не возьмусь передавать все тейки на эти темы🌚
Disclaimer: все QA пропущены через мою призму восприятия и писались строго по запоминающимся фрагментам
Топ вопросов:
💛Стоит ли сейчас идти на PhD в AI?
если там есть конкретный сильный ментор, с которым очень хочется работать, то в целом да. Но хорошее менторство можно получить и во frontier lab, куда ты просто устраиваешься на работу. Я так поняла, internships он тоже считает нормальной альтернативой. За пять лет PhD AI успеет очень сильно поменяться, поэтому overall suggestion звучал скорее как «идти, только если нет более подходящего варианта». И вообще искать в первую очередь не правильный формат, а хороших менторов.
💛Про его понимание интерпретации сейчас
Он сейчас понимает interpretability скорее как monitors и classifiers для corner cases. И говорил, что было бы круто сильнее совместить её с alignment. Что мне особенно понравилось, потому что я примерно так interpretability всегда и воспринимала: как инструмент для alignment, а не как отдельную область сама по себе.
💛Был ещё хороший тейк про выбор ресерч-проектов и их управление
Можно заранее написать план, как именно проект должен прийти к результату, поставить себе точки сверки и дальше проверять, успеваешь ли ты по этому графику. Если к нужному моменту вообще не пришёл туда, куда рассчитывал, возможно, проект стоит оставить, а не пытаться бесконечно его спасать.
Понять, стоит ли вообще браться за идею, можно, поспрашивав ментора, Fable и опираясь на собственный research taste. Правда, настоящий research taste Нил, по его словам, видел у очень небольшого количества людей, так что последний пункт не самый надёжный.
Были еще разные рассуждения на тему кто в долгосрок более способен на успех опенаи или дипмаинд и куда идти, если не в DeepMind, но не возьмусь передавать все тейки на эти темы🌚