Мне на мой последний пост прислали ссылку на это - Saining Xie - ко-фаундер Yann LeCun’а по его новому стартапу AMI Labs (physical world intelligence) дал интервью на 7 часов про AI, оч глубоко. До стартапа делал в Google nano banana. Они начали в 14 часов и нечаянно окончили ночью. "На подкастах раньше не был, скорее сам слушал":
Био
- Папа любил читать и не выходил из дома, а мама вояжила по работе по Китаю с ребенком, в 9 лет появился первый комп: контент не книга - он интерактивен. Растили оч. либерально, учился не очень, случайно взяли в Shanghai Jiao Tong University на рисеч-программу по компам, окончил в 2013. Мой путь был рандомный. E.g. интервью при поступлении спросили что читаю, я сказал "What is Mathematics?" от Courant. А сейчас тут преподаю в его универе..
- В SJTU был студенческий гайд от Hou Xiaodi, там было что the purpose of research is not to churn out papers but is truly about exploring the infinite unknown things или что выбрав оценки ты станешь заложником этой системы итп
Computer vision
- В итоге я как-то нащупал тему AI в computer vision, первая стажировка была в NUS в Сингапуре (а на PhD в Adobe, NEC, Meta, DeepMind. В Meta и Adobe я ничего не нарисечил). Для меня зрение вообще с детства главный орган чувств. На Земле зрение появилось 500 млн лет назад
- Тогда не было open source и PyTorch, надо было для GPU с нуля писать 50 тыс строк кода на C++. В ходе PhD в UC San Diego познакомиля с Fei-Fei Li. Для PhD 5-6 статей на ведущих конференциях выдал и всё - по сегодняшним меркам мало. Работал над Deeply Supervised Nets итп. Дало чувство, что в deep learning я могу открывать кусочки этого black box
- В DeepMind RL для роботов мне не понравился (он тогда был virtual, а не real robots). Demis Hassabis говорил, что DeepMind - a company that will win multiple Nobel Prizes (а тогда даже группы по AlphaFold еще не было)
Representation learning
- Он лежит в основе любого deep learning. Я это обобщил после работы в ряде разных направлений. Точно не определено, математически - это данные x, которые вы хотите отобразить в пространство, и у этого сжатого пространства появляются полезные свойства. Тема крутая тк она timeless (а то в AI много было хайпов, которые через 2 года исчезали, e.g. Neural Architecture Search)
Ilya Sutskever
- В 2018 получил оффер в OpenAI, но не пошел. Но даже если бы пошел - не стал бы адептом LLM. Денег дали мало - $400-500К/год, это была цена топовых PhD тогда (щас она в 3x больше). Я пошел в FAIR на 4 года - они тогда успешно конкурировали с OpenAI, начали нанимать PhD
- А второй раз я отказал Sutskever в 2024г его SSI тк я спросил его что он думает о мультимодальности. И он сказал, что это уже solved, и я понял что не, там будут еще одно языковое направление отрабатывать, мне не интересно
Наука
- В ней все - в социальных графах, и студенты могут обучать профессоров не меньше, чем они их
- Purpose of research? Being able to inspire / enlighten others когда они прочли вашу статью, что-то поняли, и их горизонты расширились. Цель не поменять мир (это слишком маскулинно), а нарастить общую intelligence на Земле
- После FAIR пошел в NYU, отчасти опять же из-за LeCun’а. А щас он меня в 3ий раз нанял, ха-ха. В NYU он 10 лет назад замутил Data Science Center отдельно от ф-та computer science и отдельно от math department
- Там видел Fei-Fei Li (всем читать её книгу The Worlds I See, 2023), она меня поддерживала своими историями - её путь не был так гладок как кажется. Ее суперсила не в решениях, а she's someone who can define problems. С ней случайно все было. Мистика - это некий закон притяжения: что люди притягиваются на схожие мысли, и countless small streams в итоге may all converge into one river?
- Топ-рисечеру нужны фокус, вкус, и стойкость - нельзя просто плыть по течению и делать то, что интересует других. Еще сильные инженерные навыки, исследовательская интуиция (тк в академии, парадоксально, все оч плохо с извлечением key points и выходом на более высокий уровень абстракции)
**
А часть 2 тут
Био
- Папа любил читать и не выходил из дома, а мама вояжила по работе по Китаю с ребенком, в 9 лет появился первый комп: контент не книга - он интерактивен. Растили оч. либерально, учился не очень, случайно взяли в Shanghai Jiao Tong University на рисеч-программу по компам, окончил в 2013. Мой путь был рандомный. E.g. интервью при поступлении спросили что читаю, я сказал "What is Mathematics?" от Courant. А сейчас тут преподаю в его универе..
- В SJTU был студенческий гайд от Hou Xiaodi, там было что the purpose of research is not to churn out papers but is truly about exploring the infinite unknown things или что выбрав оценки ты станешь заложником этой системы итп
Computer vision
- В итоге я как-то нащупал тему AI в computer vision, первая стажировка была в NUS в Сингапуре (а на PhD в Adobe, NEC, Meta, DeepMind. В Meta и Adobe я ничего не нарисечил). Для меня зрение вообще с детства главный орган чувств. На Земле зрение появилось 500 млн лет назад
- Тогда не было open source и PyTorch, надо было для GPU с нуля писать 50 тыс строк кода на C++. В ходе PhD в UC San Diego познакомиля с Fei-Fei Li. Для PhD 5-6 статей на ведущих конференциях выдал и всё - по сегодняшним меркам мало. Работал над Deeply Supervised Nets итп. Дало чувство, что в deep learning я могу открывать кусочки этого black box
- В DeepMind RL для роботов мне не понравился (он тогда был virtual, а не real robots). Demis Hassabis говорил, что DeepMind - a company that will win multiple Nobel Prizes (а тогда даже группы по AlphaFold еще не было)
Representation learning
- Он лежит в основе любого deep learning. Я это обобщил после работы в ряде разных направлений. Точно не определено, математически - это данные x, которые вы хотите отобразить в пространство, и у этого сжатого пространства появляются полезные свойства. Тема крутая тк она timeless (а то в AI много было хайпов, которые через 2 года исчезали, e.g. Neural Architecture Search)
Ilya Sutskever
- В 2018 получил оффер в OpenAI, но не пошел. Но даже если бы пошел - не стал бы адептом LLM. Денег дали мало - $400-500К/год, это была цена топовых PhD тогда (щас она в 3x больше). Я пошел в FAIR на 4 года - они тогда успешно конкурировали с OpenAI, начали нанимать PhD
- А второй раз я отказал Sutskever в 2024г его SSI тк я спросил его что он думает о мультимодальности. И он сказал, что это уже solved, и я понял что не, там будут еще одно языковое направление отрабатывать, мне не интересно
Наука
- В ней все - в социальных графах, и студенты могут обучать профессоров не меньше, чем они их
- Purpose of research? Being able to inspire / enlighten others когда они прочли вашу статью, что-то поняли, и их горизонты расширились. Цель не поменять мир (это слишком маскулинно), а нарастить общую intelligence на Земле
- После FAIR пошел в NYU, отчасти опять же из-за LeCun’а. А щас он меня в 3ий раз нанял, ха-ха. В NYU он 10 лет назад замутил Data Science Center отдельно от ф-та computer science и отдельно от math department
- Там видел Fei-Fei Li (всем читать её книгу The Worlds I See, 2023), она меня поддерживала своими историями - её путь не был так гладок как кажется. Ее суперсила не в решениях, а she's someone who can define problems. С ней случайно все было. Мистика - это некий закон притяжения: что люди притягиваются на схожие мысли, и countless small streams в итоге may all converge into one river?
- Топ-рисечеру нужны фокус, вкус, и стойкость - нельзя просто плыть по течению и делать то, что интересует других. Еще сильные инженерные навыки, исследовательская интуиция (тк в академии, парадоксально, все оч плохо с извлечением key points и выходом на более высокий уровень абстракции)
**
А часть 2 тут