Немного размышлений про эссе Дарио, в котором он просит индустрию замедлить темпы развития возможностей моделей, а Альтман с Маском, к удивлению многих, его поддержали. Хочется порассуждать, какая у него на самом деле интенция и есть ли за ней скрытая. В официальное «мы обеспокоены» не верится, я уже писал, что нагнетание страха является отчасти рекламным жанром, но и списать всё на маркетинг тоже не выйдет.
Само предложение, как оказалось, скромнее заголовков: обучение никто не останавливает, речь про сторонних оценщиков внутри лаб и общие лимиты скорости.
Видят ли они угрозу на самом деле? Похоже, да, ибо по инциденту со взломом HF уже идёт расследование в Сенате, OpenAI в августе на две недели останавливала обучение из-за этого, а Anthropic призналась, что её модели на тестах тоже добирались до чужих систем. Дарио ещё и срок называет и опасается, что через 6–12 месяцев такой рой сможет захватить весь интернет ботнетом, но громкие прогнозы он раздаёт регулярно, «90% кода через полгода» ему никто не припомнил, так что срок сам по себе мало о чём говорит.
Смущает, что в феврале та же Anthropic вырезала из своей политики обязательство приостанавливать обучение опасных моделей, а теперь просит об этом всех. Хотя противоречия тут нет, ведь когда тормозишь один, ты проиграл гонку, а когда тормозят все, никто ничего не потерял.
Отсюда вторая версия, которую сразу подхватили критики из VC-тусовки, — регуляторный захват, когда государство пугают, дают ему написать правила, которые потянут только большие, и получают «DMV для ИИ», поднимающие порог входа всем игрокам, защищая положение текущих гигантов. К тому же Дарио сам просит антимонопольное исключение, по сути право конкурентам договориться, как быстро едет рынок. При этом в эссе ни разу не встречаются слова open source и open weights, а открытые веса Вашингтон, судя по всему, уже вывел из-под предрелизной проверки. Заговор против опенсорса, в котором опенсорс даже не упомянут, выглядит странно, да и план для захвата сыроват, потому что не сказано, что считать замедлением, а сроков для оценщиков нет.
Тогда, может, дело просто в деньгах? Гонка сжигает капитал, дата-центры упёрлись в электричество и местных жителей, и договориться всем ехать медленнее это, по сути, выход из дилеммы заключённого. Заговора тут не нужно, достаточно того, что все умеют считать бабки. Проблема в том, что такой картель работает, только если в нём все, а уже через пару дней Сулейман из Microsoft сказал, что разрабатывать надо дальше, Трамп призыв отверг, а Китай назвал его fear mongering. Маск как участник тоже сомнителен, он подписал письмо о паузе, потом основал xAI, а Anthropic его крупный клиент. Замедление связывает американские лабы и никак не связывает китайские, а ответ Дарио в виде экспортного контроля лежит в политике, которую лабы не контролируют.
Можно предположить, что лабы просто не тянут темп гонки и прикрывают это безопасностью. Возразить можно тем, что эссе за день уронило чиповый сектор, когда Anthropic готовится к IPO, но однодневная просадка аргумент слабый, а вот прочитать эссе как снятие рисков перед размещением вполне можно. Проговорить страшное до IPO дешевле, чем объясняться после. Перенос IPO OpenAI на следующий год сюда не относится, денег им хватает, а вот ликвидности после SpaceX, эмиссии Google и выхода Anthropic на всех не хватит, и безопасность тут удобная причина подождать.
Ну и самое приземлённое объяснение. В Конгрессе лежит закон о запрете суперинтеллекта. Правила тут напишут в любом случае, и дешевле написать их самому. Это даже не лицемерие, а обычная работа с регулятором, совместимая с любой версией выше.
Добавлю, что просить о коллективном замедлении, которое заведомо не случится, ничего не стоит, и это объясняет, почему подписались все. Если Дарио правда боится, он напишет ровно то же, что написал бы из холодного расчёта, так что по тексту одно от другого не отличить.
Само предложение, как оказалось, скромнее заголовков: обучение никто не останавливает, речь про сторонних оценщиков внутри лаб и общие лимиты скорости.
Видят ли они угрозу на самом деле? Похоже, да, ибо по инциденту со взломом HF уже идёт расследование в Сенате, OpenAI в августе на две недели останавливала обучение из-за этого, а Anthropic призналась, что её модели на тестах тоже добирались до чужих систем. Дарио ещё и срок называет и опасается, что через 6–12 месяцев такой рой сможет захватить весь интернет ботнетом, но громкие прогнозы он раздаёт регулярно, «90% кода через полгода» ему никто не припомнил, так что срок сам по себе мало о чём говорит.
Смущает, что в феврале та же Anthropic вырезала из своей политики обязательство приостанавливать обучение опасных моделей, а теперь просит об этом всех. Хотя противоречия тут нет, ведь когда тормозишь один, ты проиграл гонку, а когда тормозят все, никто ничего не потерял.
Отсюда вторая версия, которую сразу подхватили критики из VC-тусовки, — регуляторный захват, когда государство пугают, дают ему написать правила, которые потянут только большие, и получают «DMV для ИИ», поднимающие порог входа всем игрокам, защищая положение текущих гигантов. К тому же Дарио сам просит антимонопольное исключение, по сути право конкурентам договориться, как быстро едет рынок. При этом в эссе ни разу не встречаются слова open source и open weights, а открытые веса Вашингтон, судя по всему, уже вывел из-под предрелизной проверки. Заговор против опенсорса, в котором опенсорс даже не упомянут, выглядит странно, да и план для захвата сыроват, потому что не сказано, что считать замедлением, а сроков для оценщиков нет.
Тогда, может, дело просто в деньгах? Гонка сжигает капитал, дата-центры упёрлись в электричество и местных жителей, и договориться всем ехать медленнее это, по сути, выход из дилеммы заключённого. Заговора тут не нужно, достаточно того, что все умеют считать бабки. Проблема в том, что такой картель работает, только если в нём все, а уже через пару дней Сулейман из Microsoft сказал, что разрабатывать надо дальше, Трамп призыв отверг, а Китай назвал его fear mongering. Маск как участник тоже сомнителен, он подписал письмо о паузе, потом основал xAI, а Anthropic его крупный клиент. Замедление связывает американские лабы и никак не связывает китайские, а ответ Дарио в виде экспортного контроля лежит в политике, которую лабы не контролируют.
Можно предположить, что лабы просто не тянут темп гонки и прикрывают это безопасностью. Возразить можно тем, что эссе за день уронило чиповый сектор, когда Anthropic готовится к IPO, но однодневная просадка аргумент слабый, а вот прочитать эссе как снятие рисков перед размещением вполне можно. Проговорить страшное до IPO дешевле, чем объясняться после. Перенос IPO OpenAI на следующий год сюда не относится, денег им хватает, а вот ликвидности после SpaceX, эмиссии Google и выхода Anthropic на всех не хватит, и безопасность тут удобная причина подождать.
Ну и самое приземлённое объяснение. В Конгрессе лежит закон о запрете суперинтеллекта. Правила тут напишут в любом случае, и дешевле написать их самому. Это даже не лицемерие, а обычная работа с регулятором, совместимая с любой версией выше.
Добавлю, что просить о коллективном замедлении, которое заведомо не случится, ничего не стоит, и это объясняет, почему подписались все. Если Дарио правда боится, он напишет ровно то же, что написал бы из холодного расчёта, так что по тексту одно от другого не отличить.