Игры, в которые играют люди. Почему Илья Суцкевер уволил Альтмана? Какую роль сыграла Мира Мурати, а какую Адам Д’Анджело?
И почему безопасный ИИ невозможен, если его разработчики психологически незрелые. Разбираем ситуацию исходя из стенограммы показания Ильи в суде.
Сегодня в сети все читают показания в суде Ильи Суцкевера, который инициировал #увольненияOpenAI Сэма Альтмана в ноябре 2023 года.
Как стало известно, перед увольнением Сэма Илья подготовил для независимых директоров OpenAI(Хелен Тонер, Ташей МакКоули, Адамом Д'Анджело) документ, где он утверждает: "Сэм демонстрирует последовательный паттерн лжи, стравливает коллен друг с другом".
Этот документ был отправлен через функцию самоуничтожающегося письма. Илья объясняет это тем, что боялся, что если Альтман узнает о готовящемся увольнении, то найдёт способ всех переубедить.
Но вот, что важно - почти все "доказательства" в документе Ильи пришли от одного источника — Миры Мурати, уже ex-CTO OpenAI. У нее были свои конфликты с Сэмом, она этим делилась с Ильей. А Илья не проверял её информацию. Он доверился ей.
После увольнения Альтмана Илья предложил Мире стать временным CEO. Она отказалась и начала собирать подписи сотрудников за возвращение Альтмана.
Когда же ситуация вышла из-под контроля и появилась угроза для компании в целом, Мира выбрала сторону, которая казалась ей более сильной и выгодной - поддержала Сэма и инвесторов, которые скорее всего давили на нее. После возвращения Сэма, она покинула компанию.
А теперь про роль Адама Д'Анджело. Это самый интересный персонаж.
Как же так вышло, что он, "союзник Сэма", просил у Ильи Суцкевера скриншоты для увольнения Сэма?
Адам играл в две стороны. С одной стороны, он поддерживал отношения с Ильей и независимыми директорами, чтобы быть в курсе их планов и контролировал ситуацию. Прося скриншоты, он понимал, куда ветер дует. С другой стороны, он поддерживал связь с Сэмом и инвесторами. Он как опытный игрок в Кремниевой долине знает, что сила на стороне инвесторов и CEO, а не идеалистов из совета.
Судья спрашивает Илью, кто должен управлять AGI. Его ответ: «Сейчас моя позиция такова: за очень редкими исключениями, человек, который будет управлять AGI, скорее всего будет очень хорош в играх власти. Это будет похоже на выбор между разными политиками».
О чём на самом деле эта история? Это история о том, что система выбора людей для управления AGI фундаментально сломана.
Эта стенограмма из суда ещё одно доказательство о том, как человеческие слабости — амбиции, страхи, непроверенные убеждения, конфликты интересов — влияют на решения, которые могут иметь разные последствия.
Илья прав, что нам нужен безопасный ИИ, но он не возникнет только, если решить технически проблему выравнивания. Безопасный ИИ начинается с честного взгляда на то, кто мы такие? Создан ли ИИ людьми, которые психологически зрелые? Если нет, то ИИ будет их зеркалом.
И почему безопасный ИИ невозможен, если его разработчики психологически незрелые. Разбираем ситуацию исходя из стенограммы показания Ильи в суде.
Сегодня в сети все читают показания в суде Ильи Суцкевера, который инициировал #увольненияOpenAI Сэма Альтмана в ноябре 2023 года.
Как стало известно, перед увольнением Сэма Илья подготовил для независимых директоров OpenAI(Хелен Тонер, Ташей МакКоули, Адамом Д'Анджело) документ, где он утверждает: "Сэм демонстрирует последовательный паттерн лжи, стравливает коллен друг с другом".
Этот документ был отправлен через функцию самоуничтожающегося письма. Илья объясняет это тем, что боялся, что если Альтман узнает о готовящемся увольнении, то найдёт способ всех переубедить.
Но вот, что важно - почти все "доказательства" в документе Ильи пришли от одного источника — Миры Мурати, уже ex-CTO OpenAI. У нее были свои конфликты с Сэмом, она этим делилась с Ильей. А Илья не проверял её информацию. Он доверился ей.
После увольнения Альтмана Илья предложил Мире стать временным CEO. Она отказалась и начала собирать подписи сотрудников за возвращение Альтмана.
Когда же ситуация вышла из-под контроля и появилась угроза для компании в целом, Мира выбрала сторону, которая казалась ей более сильной и выгодной - поддержала Сэма и инвесторов, которые скорее всего давили на нее. После возвращения Сэма, она покинула компанию.
А теперь про роль Адама Д'Анджело. Это самый интересный персонаж.
Как же так вышло, что он, "союзник Сэма", просил у Ильи Суцкевера скриншоты для увольнения Сэма?
Адам играл в две стороны. С одной стороны, он поддерживал отношения с Ильей и независимыми директорами, чтобы быть в курсе их планов и контролировал ситуацию. Прося скриншоты, он понимал, куда ветер дует. С другой стороны, он поддерживал связь с Сэмом и инвесторами. Он как опытный игрок в Кремниевой долине знает, что сила на стороне инвесторов и CEO, а не идеалистов из совета.
Судья спрашивает Илью, кто должен управлять AGI. Его ответ: «Сейчас моя позиция такова: за очень редкими исключениями, человек, который будет управлять AGI, скорее всего будет очень хорош в играх власти. Это будет похоже на выбор между разными политиками».
О чём на самом деле эта история? Это история о том, что система выбора людей для управления AGI фундаментально сломана.
Эта стенограмма из суда ещё одно доказательство о том, как человеческие слабости — амбиции, страхи, непроверенные убеждения, конфликты интересов — влияют на решения, которые могут иметь разные последствия.
Илья прав, что нам нужен безопасный ИИ, но он не возникнет только, если решить технически проблему выравнивания. Безопасный ИИ начинается с честного взгляда на то, кто мы такие? Создан ли ИИ людьми, которые психологически зрелые? Если нет, то ИИ будет их зеркалом.