Ben Evans: Почти четыре года с запуска ChatGPT, а мы по-прежнему не понимаем, где физический предел того, на что эти модели способны. Знаем только, что пока они становятся всё лучше. Но, как мне кажется, есть два способа от первых принципов прикинуть, что им по самой их природе не по зубам.
Первый – спросить себя, чего им не объяснишь. Это статистические машины, для которых человек – исполнитель за ширмой: дай им достаточно примеров (или что-то похожее, из чего они достроят сами), и они это автоматизируют. Но чего в обучающих данных нет? Что нужно знать для задачи такого, что подразумевается, нигде не записано и не проговорено даже на наших нынче поголовно записываемых созвонах?
Задокументировать всё это разом – адская работа. И хуже того: половину человек и сам не объяснит, что именно он делает и почему. Мало кто нарисует блок-схему собственного рабочего дня. Мы не всегда знаем то, что знаем, и не умеем это описать.
Отсюда первый вопрос: выгодно ли вообще объяснять задачу машине? И заодно - выгодно ли проверять, не соврала ли она? Машина выдаёт то, как ответ, скорее всего, должен выглядеть. Иногда сверить это с тем, что вам нужно, – секундное дело; иногда дольше, чем сделать самому.
Заставить машину нарисовать 50 картинок с вашим продуктом и попросить человека отсеять тех, у кого три ноги, куда проще, чем рисовать самому. А вот если машина внесёт тысячу значений и пять переврёт – проверять придётся все, и никакой экономии. Так что: можно ли проверить механически? Стоит ли овчинка выделки? Достаточно ли низок процент ошибок и цена промаха, чтобы не проверять вовсе? И на сколько задач это потом распространится?
Второй вопрос – на пару этажей абстракции выше. Иногда вам не нужно то, как ответ «должен выглядеть». Не нужно то, что сказали бы все. Не нужно среднее.
Идёшь к юристу, в рекламное агентство, к стратегам – да, иногда тебе нужен «правильный» ответ, тот, что любой толковый юрист даст любому клиенту. И как отправная точка он нужен почти всегда. Но часто тебе нужно ровно обратное – то, чего не скажет никто. Не среднее.
Вам нужна таблица, собранная как у всех? Код, написанный как у всех? Или эта таблица лишь подступ к настоящему ответу, а сам ответ – то, что большинство как раз не скажет?
И тут, возможно, снова упираемся в науку. Для этих систем «хорошо» = «совпадает с обучающими данными». Откуда им знать, что нечто хорошо в человеческих глазах вопреки данным – или именно потому, что им противоречит? Может, нарушение правил – просто паттерн с циклом подлиннее: отклонение тоже бывает закономерностью, и машины научатся выдавать такое стабильно.
Но пока первый вопрос звучит так: «сколько вы сумеете автоматизировать?» А второй: «а нужен ли вам автоматический ответ?»
Первый – спросить себя, чего им не объяснишь. Это статистические машины, для которых человек – исполнитель за ширмой: дай им достаточно примеров (или что-то похожее, из чего они достроят сами), и они это автоматизируют. Но чего в обучающих данных нет? Что нужно знать для задачи такого, что подразумевается, нигде не записано и не проговорено даже на наших нынче поголовно записываемых созвонах?
Задокументировать всё это разом – адская работа. И хуже того: половину человек и сам не объяснит, что именно он делает и почему. Мало кто нарисует блок-схему собственного рабочего дня. Мы не всегда знаем то, что знаем, и не умеем это описать.
Отсюда первый вопрос: выгодно ли вообще объяснять задачу машине? И заодно - выгодно ли проверять, не соврала ли она? Машина выдаёт то, как ответ, скорее всего, должен выглядеть. Иногда сверить это с тем, что вам нужно, – секундное дело; иногда дольше, чем сделать самому.
Заставить машину нарисовать 50 картинок с вашим продуктом и попросить человека отсеять тех, у кого три ноги, куда проще, чем рисовать самому. А вот если машина внесёт тысячу значений и пять переврёт – проверять придётся все, и никакой экономии. Так что: можно ли проверить механически? Стоит ли овчинка выделки? Достаточно ли низок процент ошибок и цена промаха, чтобы не проверять вовсе? И на сколько задач это потом распространится?
Второй вопрос – на пару этажей абстракции выше. Иногда вам не нужно то, как ответ «должен выглядеть». Не нужно то, что сказали бы все. Не нужно среднее.
Идёшь к юристу, в рекламное агентство, к стратегам – да, иногда тебе нужен «правильный» ответ, тот, что любой толковый юрист даст любому клиенту. И как отправная точка он нужен почти всегда. Но часто тебе нужно ровно обратное – то, чего не скажет никто. Не среднее.
Вам нужна таблица, собранная как у всех? Код, написанный как у всех? Или эта таблица лишь подступ к настоящему ответу, а сам ответ – то, что большинство как раз не скажет?
И тут, возможно, снова упираемся в науку. Для этих систем «хорошо» = «совпадает с обучающими данными». Откуда им знать, что нечто хорошо в человеческих глазах вопреки данным – или именно потому, что им противоречит? Может, нарушение правил – просто паттерн с циклом подлиннее: отклонение тоже бывает закономерностью, и машины научатся выдавать такое стабильно.
Но пока первый вопрос звучит так: «сколько вы сумеете автоматизировать?» А второй: «а нужен ли вам автоматический ответ?»