Вопросы "в глубину" к стартовым задачкам (1/2)
На самом деле, если вы занимались вышеперечисленными задачами, вы знаете, что они практически все с подвохами :)
И это делает их хорошими для того, чтобы копать вглубь на, к примеру, собеседовании на AI-assisted SWE.
Опишу, что же ценного может быть в каждой из них в формате вопросов для беседы с потенциальным кандидатом.
Ключевое для меня, пожалуй, в том, чтобы задача заставляла видеть границы между моделью, инструментами, контекстом, инфраструктурой и измерением качества.
⭐️ Рядом с каждой задачей - оценка "полезности" (5 звезд - максимум).
Транскрибатор звонков (+ диктовка)
⭐️⭐️⭐️⭐️
Лень - двигатель прогресса, ну и плюс ко всему, как бы сумбурно вы ни изъяснялись, голосом вы все равно больше контекста передадите, и современная нейронка вас всё-таки поймет :)
А чем больше вы дадите детализированного контекста - тем лучше у вас будет итоговое решение.
В этой задаче, несмотря на то, что она на изи ваншотится, есть куча подводных граблей и сопутствующих вопросов:
● разные модели дают сильно разное качество и тут бы мы поговорили по крайней мере про WER/CER как метрики
● хватит ли метрик и при чём тут предметная область?
● как боретесь с плохо распознанными словами?
● что делать, если у вас какой-то особенный сленг используется?
● случалось ли вам распознавать интенсивные беседы финна и русского (которые отлично друг друга понимают)?
● как насчёт стримингового распознавания? а стримингового перевода?
● как вы боретесь с Димой Торжком?
● ASR-модель - это LLM? Вы уверены?
● чем в этой задаче может помочь LLM?
● диаризация / VAD / speaker recognition - на сдачу :)
Суммаризатор каналов телеги
⭐️⭐️⭐️
Задача не столько про нейронки, сколько про обычную инженерию.
● основная проблема, которую нужно решить - это как вы, собственно, вытаскиваете контент каналов
● MTProto-юзербот vs Bot API
● каким образом вы выделяете темы, заслуживающие внимания?
● дедупликация и кластеризация при сборе новостей
● как не оказаться в эхо-камере, настроив "важные" темы?
● почему все пилят свои суммаризаторы?
Ну и мне наверняка было бы интересно, как вы хостите это решение, насколько оно независимо от вас может работать, и как долго :)
Счетчик токенов/лимитов подписок
⭐️⭐️⭐️
Задача интересная и довольно просто реализуемая в том числе очень простой адаптацией готового (тысячи их на гитхабе).
Так что тут бы был +1 за "ручную" имплементацию - там пришлось бы влезть в логи агентов, а это в целом довольно полезно для понимания того, как там оно под капотом.
● что если нужно переключаться между разными подписками одного вендора и считать подписки по отдельности?
● а если между разными вендорами?
● а если у вендора нет API для того, чтобы узнать лимиты?
● почему у разных считалок могут быть в 10 раз отличающиеся числа?
● приходилось ли делать слежку за урезаниями лимитов со стороны вендора?
● можно ли посчитать токены перед отправкой?
● (со звездочкой) переносили ли когда-то сессию между разными вендорами / агентами?
Лендинг для AI-проекта, которого еще нет
⭐️⭐️
"Фу таким быть!" - сказал бы я раньше уверенно.
Сейчас бы, может, уже и не так уверенно, потому что навайбкодить проект под заинтересовавший людей лендинг стало куда проще.
Нооо достаточно сюда добавить "лист ожидания" или "мы вам перезвоним" - и я точно уже никогда не вернусь. Фу!
Я бы обязательно спросил: почему, мистер Андерсон? Почему вы это делаете?
Ладно-ладно:
● какая была гипотеза?
● откуда трафик?
● была ли заранее продумана метрика "ну не шмогла я, не шмогла", чтобы не попасть в ловушку невозвратных потерь? Как она выглядела?
Ну и обязательно бы попросил показать результат - ну чисто заценить, сколько там визуального слопа осталось, заморочился ли кандидат с тем, чтобы от него избавиться, есть ли у него вкус и способность дожимать мелочи
Уникальное приложение для задач / фитнеса / финансов
⭐️⭐️⭐️
Несмотря на то, что их уже и так тьма, само по себе создание подобных приложений это не плохо: ведь в случае с AI у нас открывается возможность бесконечной кастомизации функционала под себя (особенно если не питать иллюзий насчёт монетизации :)).
Поэтому мне скорее был бы интересен путь ваших мыслей относительно того как вы подходили к самой задаче кастомизации:
● насколько сильно отличался конечный результат от первого ваншота?
● что пришлось допиливать под себя?
● сколько времени ушло на допиливание?
● сколько раз стартовали заново? :)
● какие вещи оказались неожиданно сложнее, чем казались?
На таких задачах хорошо раскрывается способность человека рулить агентом и добиваться результата, который может сильно отклоняться от внутреннего дженерик-представления нейронки о стандартном туду-листе, к примеру
RAG для чата с кучкой markdown
⭐️⭐️⭐️⭐️⭐️
Ну предположим, что кто-то именно на векторах решил эту задачу сделать :)
В 2023м это было по дефолту: чанки, эмбеддинги, векторная база, вот это вот всё.
Сейчас первый вопрос скорее "а нужен ли вам вообще векторный RAG"?
Для кучки markdown длинный контекст или простой агент с grep'ом по файлам часто даёт результаты лучше наивного эмбеддинг-поиска.
● почему вы вообще решили, что вам нужны эмбеддинги?
● как нарезали чанки?
● как боролись с потерей мелких фактов?
● dense / BM25 / гибрид?
● верили ли ранжированию выдачи векторного поиска?
● как душили галлюцинации, особенно на мелких моделях?
Ну и контрольный: где всё ещё оправдан векторный RAG?
#aiswe #hr #junior
На самом деле, если вы занимались вышеперечисленными задачами, вы знаете, что они практически все с подвохами :)
И это делает их хорошими для того, чтобы копать вглубь на, к примеру, собеседовании на AI-assisted SWE.
Опишу, что же ценного может быть в каждой из них в формате вопросов для беседы с потенциальным кандидатом.
Ключевое для меня, пожалуй, в том, чтобы задача заставляла видеть границы между моделью, инструментами, контекстом, инфраструктурой и измерением качества.
⭐️ Рядом с каждой задачей - оценка "полезности" (5 звезд - максимум).
Транскрибатор звонков (+ диктовка)
⭐️⭐️⭐️⭐️
Лень - двигатель прогресса, ну и плюс ко всему, как бы сумбурно вы ни изъяснялись, голосом вы все равно больше контекста передадите, и современная нейронка вас всё-таки поймет :)
А чем больше вы дадите детализированного контекста - тем лучше у вас будет итоговое решение.
В этой задаче, несмотря на то, что она на изи ваншотится, есть куча подводных граблей и сопутствующих вопросов:
● разные модели дают сильно разное качество и тут бы мы поговорили по крайней мере про WER/CER как метрики
● хватит ли метрик и при чём тут предметная область?
● как боретесь с плохо распознанными словами?
● что делать, если у вас какой-то особенный сленг используется?
● случалось ли вам распознавать интенсивные беседы финна и русского (которые отлично друг друга понимают)?
● как насчёт стримингового распознавания? а стримингового перевода?
● как вы боретесь с Димой Торжком?
● ASR-модель - это LLM? Вы уверены?
● чем в этой задаче может помочь LLM?
● диаризация / VAD / speaker recognition - на сдачу :)
Суммаризатор каналов телеги
⭐️⭐️⭐️
Задача не столько про нейронки, сколько про обычную инженерию.
● основная проблема, которую нужно решить - это как вы, собственно, вытаскиваете контент каналов
● MTProto-юзербот vs Bot API
● каким образом вы выделяете темы, заслуживающие внимания?
● дедупликация и кластеризация при сборе новостей
● как не оказаться в эхо-камере, настроив "важные" темы?
● почему все пилят свои суммаризаторы?
Ну и мне наверняка было бы интересно, как вы хостите это решение, насколько оно независимо от вас может работать, и как долго :)
Счетчик токенов/лимитов подписок
⭐️⭐️⭐️
Задача интересная и довольно просто реализуемая в том числе очень простой адаптацией готового (тысячи их на гитхабе).
Так что тут бы был +1 за "ручную" имплементацию - там пришлось бы влезть в логи агентов, а это в целом довольно полезно для понимания того, как там оно под капотом.
● что если нужно переключаться между разными подписками одного вендора и считать подписки по отдельности?
● а если между разными вендорами?
● а если у вендора нет API для того, чтобы узнать лимиты?
● почему у разных считалок могут быть в 10 раз отличающиеся числа?
● приходилось ли делать слежку за урезаниями лимитов со стороны вендора?
● можно ли посчитать токены перед отправкой?
● (со звездочкой) переносили ли когда-то сессию между разными вендорами / агентами?
Лендинг для AI-проекта, которого еще нет
⭐️⭐️
"Фу таким быть!" - сказал бы я раньше уверенно.
Сейчас бы, может, уже и не так уверенно, потому что навайбкодить проект под заинтересовавший людей лендинг стало куда проще.
Нооо достаточно сюда добавить "лист ожидания" или "мы вам перезвоним" - и я точно уже никогда не вернусь. Фу!
Я бы обязательно спросил: почему, мистер Андерсон? Почему вы это делаете?
Ладно-ладно:
● какая была гипотеза?
● откуда трафик?
● была ли заранее продумана метрика "ну не шмогла я, не шмогла", чтобы не попасть в ловушку невозвратных потерь? Как она выглядела?
Ну и обязательно бы попросил показать результат - ну чисто заценить, сколько там визуального слопа осталось, заморочился ли кандидат с тем, чтобы от него избавиться, есть ли у него вкус и способность дожимать мелочи
Уникальное приложение для задач / фитнеса / финансов
⭐️⭐️⭐️
Несмотря на то, что их уже и так тьма, само по себе создание подобных приложений это не плохо: ведь в случае с AI у нас открывается возможность бесконечной кастомизации функционала под себя (особенно если не питать иллюзий насчёт монетизации :)).
Поэтому мне скорее был бы интересен путь ваших мыслей относительно того как вы подходили к самой задаче кастомизации:
● насколько сильно отличался конечный результат от первого ваншота?
● что пришлось допиливать под себя?
● сколько времени ушло на допиливание?
● сколько раз стартовали заново? :)
● какие вещи оказались неожиданно сложнее, чем казались?
На таких задачах хорошо раскрывается способность человека рулить агентом и добиваться результата, который может сильно отклоняться от внутреннего дженерик-представления нейронки о стандартном туду-листе, к примеру
RAG для чата с кучкой markdown
⭐️⭐️⭐️⭐️⭐️
Ну предположим, что кто-то именно на векторах решил эту задачу сделать :)
В 2023м это было по дефолту: чанки, эмбеддинги, векторная база, вот это вот всё.
Сейчас первый вопрос скорее "а нужен ли вам вообще векторный RAG"?
Для кучки markdown длинный контекст или простой агент с grep'ом по файлам часто даёт результаты лучше наивного эмбеддинг-поиска.
● почему вы вообще решили, что вам нужны эмбеддинги?
● как нарезали чанки?
● как боролись с потерей мелких фактов?
● dense / BM25 / гибрид?
● верили ли ранжированию выдачи векторного поиска?
● как душили галлюцинации, особенно на мелких моделях?
Ну и контрольный: где всё ещё оправдан векторный RAG?
#aiswe #hr #junior