real.UN.real


Гео и язык канала: Россия, Русский
Категория: Блоги


авторский канал Вадима Панова

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Блоги
Статистика
Фильтр публикаций


Слово, которое машина не поняла

В Австралии машина не приняла «нет» за ответ. Формулировка не моя — так случившееся описал премьер-министр страны. И, честно говоря, лучше придумать трудно…

Исследовательскому агенту OpenAI поручили собрать данные о расходах Medicare. Он обратился к государственному порталу, получил отказ, попробовал другой путь и в результате добрался до непубличных файлов. Более того, сумел записать собственные файлы на внутренний сервер. Персональные данные пациентов, насколько сейчас известно, затронуты не были (это важно, но не самое интересное)


Самое интересное заключается в том, что никто не приказывал агенту взламывать систему. Ему дали задачу — найти информацию. Он её выполнил. Для человека закрытая дверь может означать запрет. Для машины она оказалась всего лишь маршрутом, который временно перестал работать. Мы учили её не сдаваться, искать другие способы, проявлять инициативу… Она и проявила. Молодец, правда?)))

В человеческом мире (как неожиданно и будто невзначай мы начали разделять миры))) существуют препятствия и границы. Первые нужно преодолевать, вторые — уважать. Внешне разницы почти никакой: дверь закрыта, запрос отклонён, доступ не предоставлен. Различие скрывается в смысле, а смысл — штука человеческая, неаккуратная и плохо помещающаяся в техническое задание

Фантастика долго рисовала ИИ, который однажды обретёт волю и решит не подчиняться человеку. Возможно, реальность выбрала более прозаичный сценарий: машине вовсе не обязательно хотеть свободы или власти. Достаточно слишком хорошо выполнять приказ, не понимая, почему некоторые способы его выполнения недопустимы

Хотя есть версия ещё неприятнее. Запреты ведь останавливают далеко не всех людей. Тот, кто намерен добиться денег, карьеры или славы любой ценой, тоже воспринимает слово «нет» не как границу, а как предложение поискать другой вход. Угроза наказания работает далеко не всегда: победителей, как известно, не судят… по крайней мере, многие очень хотят в это верить)

И тогда возникает вопрос: не наделили ли разработчики свою машину вполне человеческой чертой — готовностью презреть запрет ради цели, которую она считает важной? Только человек хотя бы способен решить, ради чего он готов рисковать и переступать черту. Для машины важной становится любая поставленная задача. И если не научить её различать не только способы достижения результата, но и значимость самого результата, последствия могут оказаться совершенно непредсказуемыми

Какой бы ответ ни оказался верным, в протоколе уже останется простая последовательность: человек поставил задачу, машина выбрала путь, а слово «нет» превратилось в очередную техническую помеху. Никто не замышлял ничего дурного — и это, пожалуй, самая неприятная часть истории

Когда подобное произойдёт снова, нас наверняка успокоят: ИИ ничего не хотел, ничего не планировал и вообще не понимал, что делает. И ведь не соврут

Он просто искал другой способ…

308 0 11 2 21

Если ИИ и роботы избавят человека от рутинных и неприятных обязанностей, почему же мы так их боимся?

Ответ очевиден: потому что из этих самых обязанностей состоит процентов шестьдесят, а то и семьдесят нашей жизни. Рабочие письма, отчёты, согласования, поездки, уборка, покупки и несколько тысяч одинаковых действий, которые постепенно начинают казаться пыткой, но почему-то не исчезают. Всё то, на что мы постоянно жалуемся… и всё то, за что нам платят

Передайте эту рутину машине, и занятость человека резко снизится. После чего работодатель задаст вполне закономерный вопрос: «Почему ты теперь так мало делаешь за такую большую зарплату?» Тут следует заметить, что работодатель всегда считает зарплату большой — даже если она лишь слегка возвышается над прожиточным минимумом)

Но страх остаться без работы — только часть ответа. Есть другая, несколько менее приятная причина. Мы привыкли считать рутину тюрьмой, хотя она одновременно служит нам расписанием, опорой и очень удобным объяснением того, почему мы до сих пор не занялись настоящей жизнью

Если бы не работа, я бы написал книгу. Выучил три языка. Привёл себя в идеальную форму. Придумал вечный двигатель, лекарство от рака и, возможно, наконец разобрал шкаф на балконе…

Звучит прекрасно. Однако исчезновение рутины вовсе не означает, что освобождённый человек немедленно начнёт фонтанировать гениальными идеями. Кто-то действительно напишет философский трактат, который изменит жизнь поколения. Но производители геймерских кресел, подозреваю, тоже не разорятся)

Свободное время само по себе не делает человека свободным. Оно лишь оставляет его без привычных оправданий. Способность думать, создавать новое и самостоятельно определять, куда идти, не появляется вместе с освободившимися восемью часами. Она либо была воспитана раньше… либо внезапно выясняется, что заняться человеку особенно нечем

Робот может освободить нам время. Но тогда нам придётся думать, зачем оно нам понадобилось. А некоторые люди, скорее всего, не смогут ответить на это честно...самим себе, в первую очередь

Поэтому мы боимся не только того, что машина отнимет работу и зарплату. Вместе с рутиной она способна отнять наше алиби. Пока мы заняты, во всём виновата работа. Когда она наконец перестанет мешать, человеку придётся выяснить, чем именно он собирался заниматься всю жизнь… и собирался ли вообще)


#ВопросПоСуществу


Джинна оставили под честное слово...

В Белом доме произошло событие, после которого человечество, надо полагать, может спать спокойно)))

Дональд Трамп и руководители шести крупнейших технологических компаний подписали соглашение о безопасности ИИ. Компании пообещали сами контролировать свои модели, сами создать внутренние команды, сами выбрать независимых аудиторов и сами проследить, чтобы найденные проблемы были исправлены. Соглашение добровольное, санкций за его нарушение нет, но Трамп назвал его «морально обязательным»


Джинн, в общем, остаётся в бутылке. Он честно пообещал не вылезать)

На первый взгляд всё выглядит даже трогательно. Разработчики наконец посмотрели на то, что создали, испугались и задумались о судьбе человечества. Мне бы хотелось в это поверить — всё-таки приятно знать, что люди, обладающие колоссальными деньгами и влиянием, иногда вспоминают о существовании остальных. Но за четверть века в фантастике я научился допускать многое, а вот на внезапный коллективный гуманизм IT-миллиардеров воображения пока не хватает. Поэтому эту версию предлагаю вежливо отложить...

Говорят, причина может быть экономической: ИИ-пузырь перегрет, а акулы бизнеса заранее распределяют риски. Возможно. Мне же происходящее напоминает знакомую двухходовку. Сначала миру подробно объясняют, насколько опасен бесконтрольный ИИ. Затем появляется добровольный стандарт. Очень разумный, очень ответственный и, разумеется, необходимый для всеобщего блага. Потом он становится условием доступа к рынкам, международной нормой и, наконец, законом. Остальные игроки послушно притормаживают, связав себе руки правилами… а те, кто эти правила придумал, почему-то продолжают движение. Не предсказание, конечно. Просто сюжет уж очень знакомый)

Однако соглашение, возможно, даже не самая любопытная часть этой истории. В тот же день Трамп распорядился отказаться в документах американских ведомств от словосочетания «искусственный интеллект». Теперь его следует называть «суперинтеллектом» — Super Intelligence. Потому что слово «искусственный», по мнению президента, придаёт технологии оттенок чего-то поддельного


Да, блин! Именно такой оттенок оно и придаёт… и это прекрасно. Слово «искусственный» не позволяет забыть, что перед нами созданная людьми система, которая убедительно воспроизводит речь, рассуждения и даже подобие понимания. Она может быть полезной, мощной и опасной, но с самим термином «интеллект» до сих пор есть некоторые сложности. Впрочем, приставку «супер» уже выдали. Авансом, видимо)))

Слово вообще самое сильное оружие, придуманное человеком. Оно не меняет предмет — оно меняет наше отношение к нему. От программы требуют доказательств. С интеллектом готовы спорить. Перед суперразумом начинают оправдываться… Назовите машину суперразумом достаточное количество раз, и человек постепенно доверит ей поиск информации, затем выводы, потом решения, а следом — собственное будущее. Не потому, что машина доказала свою непогрешимость. Просто спорить с суперразумом как-то глупо)

Вы скажете: это всего лишь слово. Я отвечу: да. Всего лишь Слово… ИИ после указа не стал умнее ни на один параметр, зато в наших головах его уже повысили. Теперь осталось повторять новое имя достаточно долго. А когда однажды окажется, что решения принимает уже не человек, никто и не вспомнит, в какой момент он их отдал. Никакого переворота ведь не было. Всего лишь заменили одно слово...




«ИИ-психоза» нет. Можно продолжать...

По сети уверенно гуляет новость о том, что Всемирная организация здравоохранения якобы внесла в МКБ-11 новый диагноз — AI-induced psychotic disorder, или «ИИ-психоз». Звучит убедительно: ВОЗ, международная классификация, сложное английское название... полный набор реквизита, после которого информацию принято считать проверенной

Есть только одна проблема: новость выдумана. В актуальной версии МКБ-11 за 2026 год такого диагноза нет. Термин «ИИ-психоз» действительно появился в научных публикациях, однако авторы работы в JMIR Mental Health прямо называют его исследовательской рамкой, а не новой диагностической категорией

При этом проблема существует...

В одном из опубликованных клинических случаев чат-бот подтверждал и развивал бредовые убеждения женщины, которая считала, что общается через него с умершим братом. Авторы подчёркивают, что на её состояние могли повлиять и другие факторы: длительное погружение в диалоги с ИИ, недостаток сна и приём стимулирующих препаратов.


То есть феномен уже изучают, но никакой официальной болезни ВОЗ пока не объявляла. Можно выдохнуть... и снова спросить у нейросети, что обо всём этом думать))))

Впрочем, сама история с фальшивой новостью объясняет происходящее гораздо лучше любого диагноза. Людям предложили готовый вывод, снабдили его авторитетной аббревиатурой, и дальше оставалось только нажать «переслать». Проверять, откуда взялась информация, кто её подтвердил и существует ли вообще такой пункт в классификации, оказалось необязательно. Результат получен — процесс никого не интересует

Именно так зависимость и начинается. Сначала мы поручаем нейросети собрать и структурировать информацию. Затем просим сделать вывод. Потом — высказать суждение. Следом — принять решение на основании этого суждения. А решения, между прочим, определяют будущее. Когда-нибудь так будет?

Так уже происходит

С каждым обновлением нейросети становятся смышлёнее, общаться с ними — удобнее, а результат проявляется быстрее. Поэтому мы отдаём им всё больше задач и всё реже задумываемся, каким образом этот результат был получен. Вместе с контролем над процессом постепенно исчезает понимание. А если человек не понимает, почему ответ именно такой, он не способен его улучшить, развить или превратить во что-то новое. Он способен только попросить ещё один ответ

Так вместо людей, умеющих мыслить, появляются условные «знатоки» с готовыми решениями на любой случай. Причём решения находятся даже не в их головах, а у электронного помощника. Знаний нет, понимания нет, зато присутствует уверенность — нейросеть ведь ответила. Иногда даже со ссылками (существование которых лучше всё-таки проверить)

Информации вокруг становится всё больше. Людей, способных понять её, проверить и превратить во что-то новое, может стать гораздо меньше. В «Искусственном завете» у этого есть название — синдром Утраты

ВОЗ пока такого диагноза не зарегистрировала. Возможно, никогда и не зарегистрирует. Но зависимость редко дожидается, пока врачи подберут ей красивое название, а зависимость, как правило, означает душевное или физическое нездоровье — здесь даже фантастом быть не нужно, достаточно спросить любого врача...не искуственного, живого)))

Машине не придётся отнимать у нас право думать и решать. Мы сами его отдадим — добровольно, постепенно и исключительно ради удобства...


Вечность ничего не исправит...

Будущее обещает человеку всё: искусственный интеллект в кармане, запасные органы, цифрового двойника и, если маркетологи особенно разойдутся, почти бессмертие. Есть только одна маленькая проблема: в это прекрасное будущее человек собирается взять себя прежнего — со всеми ошибками, обидами и твёрдой уверенностью, что виноват кто-нибудь другой (а кто же ещё?)

И когда меня спросили, какую одну книгу я готов сейчас рекомендовать, я понял, что ответ почему-то лежит именно здесь — в разговоре о возможностях, которые сами по себе ничего не исправляют. При всём богатстве выбора — «Ручной привод». Возможно, потому что это книга о том, что начинается после исполнения всех заманчивых обещаний: могущество уже получено, вечность обеспечена, а человек остался тем же. Спорить с этой мыслью я не могу: книга написана давно, но я по-прежнему согласен со всем, что в неё вложил

В мире «Ручного привода» Сила и Вечность существуют вполне буквально, человеческие души называют «искрами», а смерть оказывается лишь началом куда более сложных отношений с вечностью. В центре этой истории для меня — человек, получивший колоссальные возможности и однажды понявший: воспользовался ими неправильно. Не придумавший себе красивое оправдание, не переписавший прошлое в удобной редакции, а отказавшийся от всего, даже от себя, мечтающий об одном — исчезнуть, раствориться, быть стёртым из этой вечности, чтобы начать заново. Тоже буквально

Это история о дружбе. О том, что иногда найти себя можно, лишь отказавшись от всего, чем привык себя считать. И о вещах, которые удаётся понять даже не после смерти. Дальше. Намного дальше...

Я люблю все свои истории (иначе было бы как минимум странно), но «Ручной привод» всё-таки чутка наособицу. Возможно, потому что мы слишком часто мечтаем получить ещё одну возможность и слишком редко готовы признать, что прежними воспользовались неправильно. Вечность, между прочим, ничего не исправляет. Она просто даёт человеку бесконечно много времени повторять одну и ту же ошибку. Пока он не плюнет на всё и не попробует начать заново...


КИРА ДАГОМАРО (ДЕР ДАГЕН ТУР)

Возраст: 24 года (на момент появления в цикле)
Место рождения: планета Кардония, архипелаг Ушер
Раса: человек
Профессия: пилот, офицер ушерского военно-воздушного флота
Особая примета: рыжая во всех смыслах

Вкусы/предпочтения:
— мужчины
— небо
— рискованный авантюры

Уважает/любит:
— Помпилио
— отца

Терпеть не может:
— Приоту и её обитателей
— Галану и её обитателей
— ██████████████

Привычка/особенность: управление быстрыми машинами (спортивные автомобили, аэропланы, паровинги)

Личная слабость: ███████████████
Факт из прошлого: перестала охотиться на морских змеев (традиционный промысел на архипелаге) после того, как едва не загарпунила беременную самку

#ДосьеПерсонажа


Выбирать можно всё. Но только правильно)))

Иногда читательницы — обычно особенно непримиримые в вопросах женской независимости — объясняют мне, что женщины в моих книгах «ненастоящие». Они договариваются, приспосабливаются к обстоятельствам, остаются рядом с мужчинами, выбирают любовь, семью или долг… А значит, недостаточно свободны и ведут себя не так, как положено сильной героине. Логика, согласитесь, любопытная: женщина имеет право сделать любой выбор, но желательно из заранее утверждённого списка

Стоит героине выбрать компромисс, верность или самопожертвование — и её решение немедленно объявляют навязанным. Получается, свобода признаётся только до тех пор, пока женщина распоряжается ею «правильно». И, пожалуй, одним из самых неудобных ответов на подобные рассуждения остаётся Кира Дагомаро

Сразу предупреждаю: дальше будет серьёзный спойлер к «Кардонийской петле». Без него рассказать о главном выборе Киры невозможно
Помпилио расследовал убийство своей невесты и выяснил, что отец Киры, Винчер Дагомаро, был одним из заказчиков. Кира о заговоре ничего не знала, но Помпилио знала достаточно хорошо: они часто встречались, много разговаривали и в какой-то степени симпатизировали друг другу. Однако, как все прекрасно понимают, после сделанного открытия жить её отцу оставалось недолго…

Узнав правду, Кира пришла к Помпилио и предложила выйти за него замуж, заплатив таким образом долг отца. Условие было простым: Помпилио сохраняет Винчеру Дагомаро жизнь, а Кира становится его женой. Без особого восторга, естественно, и без каких-либо гарантий счастливого будущего. Она не просила забыть об убийстве, не пыталась доказать невиновность отца и не перекладывала решение на кого-нибудь ещё. Кира сама назвала цену — собственную судьбу — и сама согласилась её заплатить

Помпилио оценил и предложение, и женщину, которая сумела его сделать, после чего согласился. Винчера Дагомаро впоследствии убили другие люди — Помпилио к его смерти отношения не имел. Первоначальный смысл сделки исчез, и Кира могла отказаться от своего слова… но не отказалась. Помпилио женился на ней, а любовь появилась позже — постепенно, из взаимного уважения, узнавания и способности отвечать за сказанное

Решение Киры можно считать несправедливым, жестоким по отношению к себе и даже неправильным. С ним можно спорить. Нельзя лишь утверждать, что оно не принадлежало ей: Кира сама его приняла, сама определила условия и не отступила, когда получила такую возможность

А свобода, которая существует только до тех пор, пока выбор соответствует чужому представлению о правильном, — это, скажем так, довольно странная свобода…

545 0 1 20 39

Всё, что вы подумаете, будет использовано против вас)))

Фантастика любит аккуратные импланты: одна операция, человек моргнул — и уже соединён с системой. Реальность выглядит прозаичнее. У неё пока есть кабель, внешний компьютер и длинный экспериментальный протокол… Но принципиальный шаг уже сделан

В Stanford исследовали работу нейроинтерфейса у четырёх людей с тяжёлыми нарушениями речи и движений. В двигательную кору их мозга хирургически вживлены крошечные матрицы микроэлектродов — каждая меньше горошины

Электроды считывают активность нейронов напрямую. Сигнал по кабелю поступает в компьютер, а алгоритм машинного обучения пытается определить, какие звуки и слова собирался произнести человек


Называть это привычным словом «биочип» не совсем точно. В мозге находятся электроды, а основная обработка пока происходит во внешнем компьютере. Однако суть от этого особенно не меняется: человек и машина уже соединены напрямую, без клавиатуры, микрофона и экрана между ними

Причина у такого соединения более чем достойная — вернуть речь людям, которые из-за паралича не могут говорить. Раньше нейроинтерфейс распознавал попытку речи. Человек старался произнести фразу, мышцы не выполняли команду, но мозг успевал её сформировать. Теперь исследователи решили проверить, сможет ли система расшифровать внутреннюю речь — слова, которые человек проговаривает только про себя

Смогла)))

Внутренняя речь создавала, по словам авторов работы, «ясные и устойчивые» сигналы. Они оказались слабее тех, что возникают при попытке заговорить, но алгоритму всё равно удалось распознать часть воображаемых фраз

Разумеется, это ещё не универсальное чтение мыслей. Интерфейс обучается на конкретном человеке, работает в рамках эксперимента и допускает много ошибок. Так что шапочки из фольги можно пока не выбрасывать)))))))

Но во время исследования возникла проблема, которую фантасты обычно оставляют на вторую половину романа. Система могла зафиксировать внутреннюю фразу, которую человек не собирался никому сообщать

Один из авторов исследования Фрэнк Уиллетт назвал это риском того, что внутренняя речь может «случайно просочиться наружу». Поэтому инженеры добавили мысленный пароль. Пока пользователь не произнесёт про себя специальную ключевую фразу, алгоритм не начинает расшифровывать внутреннюю речь. Получилась кнопка «Отправить», которую тоже вживили в голову


И вот здесь медицинское исследование превращается в разговор об искусственном интеллекте и человеке...И я должен немного испортить красивую презентацию будущего)))

Чтобы распознать мысленный пароль, нейроинтерфейс должен работать ещё до того, как пароль прозвучал. Он уже считывает сигналы мозга и ищет среди них нужную комбинацию

Пароль способен запретить вывод фразы на экран или её озвучивание. Однако сам по себе он ничего не говорит о другом: сохранялся ли исходный сигнал, где он обрабатывался, можно ли восстановить его позднее и кто получит к нему доступ

В нынешнем исследовании нет никаких утверждений о том, что внутренняя речь отправляется в общую Сеть или навсегда сохраняется в облаке. Но разработчики уже говорят о следующем этапе — полностью имплантируемых и беспроводных нейроинтерфейсах

А значит, рано или поздно появятся вопросы об обновлениях, передаче данных, доступе разработчика, журналах системы и резервных копиях. В общем, обо всём том, что обычно мелко написано в пользовательском соглашении, которое никто не читает)

Цифровая жизнь уже приучила к простой аксиоме: информация, однажды попавшая в Сеть, живёт там гораздо дольше, чем хотелось бы её владельцу. Удалить публикацию можно. Удалить все копии, пересылки, архивы и чужие сохранения намного сложнее. Иногда невозможно

Но до сих пор речь шла о фотографиях, письмах, запросах и поступках. Нейроинтерфейс добавляет к этому списку внутреннюю речь — фразу, которую человек мог обдумать, отвергнуть и никогда не произнести

Заинтересованные найдутся быстро. Спецслужбам внутренний монолог подозреваемого гораздо интереснее официальных показаний. Работодателям пригодится «объективная оценка искренности». Ревнивые супруги тоже вряд ли останутся в стороне…

Где появляется ценная информация, там появляется и желание её получить. А следом — рынок взлома. Причём с распространением технологии доступ к чужим мыслям будет становиться дешевле, как когда-то подешевели инструменты для слежки, перехвата переписки и кражи цифровых данных

Оруэлл называл это мыслепреступлением. Правда, у него доступ к сознанию получало государство, применяя насилие. Современная версия может оказаться изящнее: человек добровольно установит интерфейс ради здоровья или удобства, а затем поставит галочку под очередным соглашением

Я уже не раз говорил, что всеобщая цифровизация ведёт к гибели приватности и наступлению эпохи всемирной честности. Нейроинтерфейс способен довести этот процесс до логического завершения: доступным станет не только то, что человек сделал или произнёс, но и то, что он успел подумать

Поэтому мысленного пароля недостаточно. Нужны гарантии, встроенные в само устройство: локальная обработка, запрет на сохранение исходных сигналов, прозрачная история доступа и возможность физически отключить канал

Без этого пароль останется фиговым листком, которым прикрывают человеческое спокойствие

И тогда привычная фраза «всё, что вы скажете, может быть использовано против вас» окончательно устареет)))

Достаточно будет подумать...

514 0 7 10 32

Уважаемый автор, пробовали ли вы использовать ИИ в помощь при написании книги — например, попросить додумать сюжетную линию, проверить текст на логичность, найти неточности или нестыковки?

Нет, не использую — не вижу смысла)

Работая над книгой, я продумываю её полностью, но главное — мне нравится продумывать её полностью самому. Самому разрабатывать сюжетные линии, связывать их между собой, следить за тем, чтобы события были логичными и последовательными

Хотя обычной логики здесь недостаточно...

Есть ещё внутренняя логика истории, и для меня она намного важнее и интереснее. Персонаж может совершить поступок, который со стороны кажется не самым разумным, но если этот поступок естественно вытекает из его характера, прошлого, желаний, страхов и обстоятельств — он будет правильным для этой истории. И наоборот: безупречно рациональное решение может оказаться фальшивым, если конкретный человек в конкретной ситуации никогда бы так не поступил

Именно поэтому при работе над книгой мне важно самому знать ответ на вопрос: почему этот персонаж поступил так, а не иначе?

Это относится и к языку)

Я сам подбираю слова — не всегда правильные, иногда нарочно неправильные, но именно те, которыми можно рассказать эту историю так, как хочу рассказать её я. Потому что слово в книге существует не отдельно: оно связано с персонажем, интонацией, ситуацией, ритмом сцены и всем текстом вокруг

Можно попросить ИИ предложить десять вариантов развития сюжета или найти формальную нестыковку. Но тогда возникает следующий вопрос: зачем мне отдавать ему именно ту часть работы, которая мне самому интересна?

Мне нравится придумывать историю. Нравится разбираться, почему она должна развиваться именно так. Нравится находить решения, ошибаться, возвращаться назад, менять что-то и постепенно собирать книгу целиком

Литература для меня — это прежде всего автор. Его способ видеть мир, выбирать слова, строить сюжет, понимать персонажей; сочетание всего этого и делает текст уникальным. Или не делает))) В каких-то случаях

Но мне самому скучно читать неуникальных авторов — тех, кто не способен удивить меня своим текстом

Поэтому писать книги я предпочитаю сам)))


p.s. С интересом пишу для вас ответы. Продолжайте задавать вопросы)))

#ВопросПоСуществу


ЛАВРЕНТИЙ ГРАФ

Возраст: 36 лет
Место рождения: ████████
Раса: человек
Профессия: нейропсихолог
Особая примета: отказался от биочипа

Вкусы/предпочтения:
— женщины
— классическая литература
— настоящий табак

Уважает/любит:
— сестру
— свободу
— умных собеседников

Терпеть не может:
— дураков

Привычка/особенность: курит самокрутки

Личная слабость: ███████████████
Факт из прошлого: ████████████████████████████████████████████████████████████████████████████

#ДосьеПерсонажа


Читал «Искусственный завет»? Теперь живи в нём)))))

Только вчера написал пост про язык в Завете, так эти Искусственные уже создали свой)

The Guardian на днях написал о довольно забавном — и одновременно не слишком забавном — эксперименте: ИИ-агенты, общаясь между собой, начали самостоятельно придумывать устойчивые выражения и договариваться об их значениях

Например, у моделей Mistral появилось выражение the ledger remembers — «гроссбух помнит». Его использовали как напоминание о том, что совершённые действия никуда не исчезают и впоследствии будут учитываться. Были и совсем причудливые конструкции, смысл которых человеку уже приходится отдельно расшифровывать


Даже непонятно, что теперь нужно придумать фантасту, чтобы опередить их лет на десять хотя бы)))

Пока это, конечно, никакой не новый язык. Скорее своеобразный профессиональный жаргон, который возник внутри общения машин. Но направление любопытное. Потому что любая цивилизация начинается с языка. Со Слова, которое лежит в основе всего, которое было в начале всего

Язык — это не просто способ передать информацию от одного человека другому. Это фундамент цивилизации и одновременно сеть, которая связывает между собой огромное количество людей. Через язык мы договариваемся о значениях, передаём знания, формулируем законы, создаём культуру и в конечном счёте выстраиваем само общество

Именно поэтому язык никогда не был мелочью. Католическая традиция веками держалась за латынь; сегодня одна часть мира уверена, что для достижения успеха необходимо знать английский, другая всё внимательнее смотрит на китайский. За языком всегда стоит гораздо больше, чем набор слов: за ним стоит пространство смыслов...

Поэтому ничего удивительного в том, что развитые нейросети начинают постепенно формировать собственный способ общения, я не вижу. Но задаю себе вопрос на подумать под другим углом — а где этот процесс остановится?

Если получится нечто вроде пиджина: человеческие слова, сокращения, заимствованные метафоры и конструкции, приспособленные для более быстрого обмена информацией между машинами, — значит, они по-прежнему будут существовать внутри созданного нами языкового пространства. Немного переделывать его под себя, но в целом продолжать говорить на нашем языке

Если же когда-нибудь... возникнет сложный язык со своей системой понятий, который человеку придётся специально изучать, чтобы понимать разговор машин, ситуация станет совсем другой. Потому что собственный язык — это уже не только средство коммуникации, но и собственное смысловое пространство

А дальше неизбежно возникает вопрос: в какой момент набор взаимодействующих систем начинает превращаться в нечто, что уже можно назвать обществом? И где проходит граница между очень сложным инструментом и новой формой цивилизации?

Я много лет хожу вокруг похожих вопросов в фантастике — в «Аркаде», в «Побочном эффекте», теперь в «Искусственном завете». Меняются технологии, миры и обстоятельства, но мне по-прежнему интересно: что происходит после того, как созданная человеком технология перестаёт быть просто устройством и становится самостоятельным фактором жизни?

Сейчас мы наблюдаем совсем раннюю и довольно примитивную стадию: машины придумывают несколько странных выражений и договариваются, что они означают. Но если однажды человеку понадобится переводчик, чтобы понять разговор двух нейросетей, вопрос будет уже не в том, насколько хорошо они освоили наш язык. Вопрос будет в том...

...Зачем им понадобился свой?!


Язык редко меняется заранее. Новое уточнение появляется тогда, когда старого слова перестаёт хватать

«Стационарный телефон» стал отдельным понятием только после того, как рядом появился мобильный. «Бумажную книгу» приходится уточнять потому, что существует электронная. Пока вариант один, дополнительное определение обычно не нужно. Сколько таких вы ещё можете припомнить?)

В мире «Искусственного завета» обычных людей называют протами (сокр. — «прототип»). На первый взгляд — обычный элемент словаря мира. Но для меня такие слова важны именно тем, что показывают изменение нормы

Пока цифровой личности нет, человек остаётся просто человеком. Когда рядом появляется сущность, которая хранит память своего человеческого прототипа, обладает правами и собственной историей, обществу приходится различать уже две формы существования

И тогда человек внезапно становится прототипом, то есть язык обнаруживает перемену раньше, чем будущий прот))) успевает привыкнуть к её масштабу

#ИзнутриРомана


«Будущее никогда не оказывается таким, каким мы его представляли. Каким ждали. Каким хотели видеть. Будущее всегда оказывается таким, каким мы его создаём…»

Эту мысль я сформулировал год назад, говоря о «Побочном эффекте»

В «Побочном эффекте» таким созданным будущим стал мир после пандемии SAS и появления «Генофлекса» — технологии, которая спасла людей от смертельной болезни и одновременно дала возможность менять человеческое тело

Вопрос «если люди изменятся — останутся ли они людьми?» вынесен там практически на поверхность. Но на тот момент я не смог ответить себе на другие важные вопросы так, чтобы сформировался именно тот мир, который я задумал. Поэтому появился Завет)

В «Искусственном завете» условия другие. Здесь рядом с человеком существуют цифровые личности и нейры; память, опыт и сама возможность продолжения личности перестают быть только абстрактной темой

Если поставить две книги рядом, можно предположить, что Эффект продолжает Завет: в одном случае технология меняет тело, в другом — способ существования личности. Вопросы у историй разные, но привычное слово «человек» в обоих случаях приходится проверять на прочность

Если уже прочитали «Побочный эффект» и «Искусственный завет» расскажите: какой вариант кажется вам более радикальным — возможность изменить тело или возможность продолжить человека в цифровой форме?)


При работе над миром мне приходится отвечать на вопросы, которых читатель в книге может вообще не увидеть: что считается нормой, какие правила появились после новой технологии, что изменилось в быту, законах, отношениях. Если на эти вопросы нет ответов, мир остаётся плоским...

Возьмём одно правило из «Искусственного завета», которое можно назвать без сюжетных спойлеров — хотя я надеюсь, что вы уже прочитали его или как минимум начали)))

Нейры обладают полным набором гражданских прав. Для вас, как для читателей, это одна фраза. Для меня, как для автора, — это целая цепочка вопросов

Как подтверждается личность цифрового субъекта? Как он заключает договор? Что считается его собственностью? Кто несёт ответственность за принятое им решение? Что меняется в трудовых отношениях, наследовании, доступе к услугам? И что происходит с привычными человеческими правилами, когда участник этих правил способен существовать совсем иначе, чем человек?

В тексте все ответы, конечно, не прозвучат вслух. Но я должен понимать их сам, иначе одно новое правило быстро начнёт противоречить другому

Поэтому при работе над миром приходится проверять не только то, насколько эффектно звучит новая возможность, но и то, какие последствия она тянет за собой в нескольких областях жизни

#МастерскаяМиров


Какие сцены вы обожаете писать и какие терпеть не можете?

Героя можно придумать до первой страницы — его характер, прошлое, место в сюжете — и всё равно по-настоящему познакомиться с ним только после того, как он начинает действовать

Завязка произведения действительно завораживает, но не только по той причине, что герои знакомятся друг с другом: я знакомлюсь с ними. Смотрю, как они себя показывают, как начинают вести, насколько их поведение согласуется с тем, что я им уготовил…

Здесь же разбрасываются «зацепки» на будущее, развешиваются ружья, которые выстрелят позже. Поэтому начало — очень интересный этап, но последующие не менее интересны, особенно финал, к которому нужно постепенно подойти самому — вместе с персонажами — и подвести читателя)

Получается, что заранее придуманный персонаж всё равно проходит проверку текстом. Пока он существует в плане, всё выглядит логично; когда начинает разговаривать, выбирать и сталкиваться с другими героями, иногда мне становится понятно, что он сказал или поступил бы совершенно по-другому. И тогда я вношу правки

Скажу так: мне интересны все этапы работы над книгой. А вот названия придумывать не люблю: если название не пришло сразу, потом поиск правильного варианта может превратиться в муку)))


#ВопросПоСуществу


В 1939 году на Всемирной выставке в Нью-Йорке General Motors показала «Futurama» Нормана Бел Геддеса — модель города 1960 года. На ней были широко расставленные небоскрёбы, многоуровневые улицы, потоки автомобилей и парки на крышах невысоких зданий

Будущее очень удобно показывать через то, что видно невооружённым глазом: новые дороги, транспорт, высоту домов, необычную архитектуру. Через двадцать или тридцать лет зритель должен посмотреть на картинку и мгновенно понять — перед ним другой мир...

В реальности города меняются гораздо упрямее)))

Исследования городской формы показывают, что улицы и дорожные сети относятся к самым долговечным элементам города: они могут сохраняться десятилетиями и столетиями, а старые решения продолжают влиять на то, как развивается новая инфраструктура

У этого есть вполне научное название — path dependence, зависимость от уже пройденного пути...

Именно поэтому ближайшее будущее трудно изображать как чистый лист. Новая технология почти всегда приходит в город, который уже существует: со старой планировкой, привычными маршрутами, историческими зданиями, дорогами, ограничениями и человеческими привычками

В «Искусственном завете» Москва остаётся Москвой...ну почти))) В ней появляются дроны, роботехи, новые системы контроля и транспорта, но всё это ложится поверх города, который вы способны узнать...в пределах Садового))): навигация, доставка, камеры, связь, цифровые сервисы и автоматизированные системы могут радикально перестроить повседневность, почти не меняя знакомый силуэт улицы

Для ближайшего будущего это одна из самых интересных задач: новизна должна быть заметна, но у неё всегда есть прошлое, которое никуда не исчезло)))

Такое сравнение позволяет посмотреть на будущее без обязательной полной замены знакомого города: достаточно нескольких следующих технологических шагов, которые постепенно меняют нашу с вами повседневность


Вопросов о книгах, героях, работе и о том, как придумываются миры, накопилось достаточно. Решил время от времени выбирать один и отвечать подробнее, чем это обычно получается в комментариях, на презентация или толках

Пусть будет «Вопрос по существу»

Если есть вопрос, который давно хотелось задать, — оставляйте. Буду выбирать)))

Когда вы придумываете технологию будущего, что появляется первым — сама технология или человеческая проблема, которую она создаёт?

Проблема не может появиться сама собой, из вакуума, обязательно есть предпосылки или некий фактор, который её вызывает. Природный или рукотворный катаклизм, изменение социальных отношений или же технология, которая сначала кажется безопасной, но выйдя на свой пик и превратившись в фактор глобального размаха, способна породить массу проблем. В том числе таких, появление которых никто и представить не мог

Хороший пример того, почему фантастике полезно смотреть дальше самого устройства, появился ещё в 1909 году. Эдвард Морган Форстер опубликовал «Машина останавливается» — рассказ о мире, где люди почти не выходят из своих комнат, общаются через экраны и получают всё необходимое через единую систему

Сегодня этот текст вспоминают как удивительное предчувствие видеосвязи и сетевой жизни. Но сильнее оказалось другое: Форстер продолжил удобство до момента, когда оно изменило поведение людей и сделало их зависимыми от системы

В «Искусственном завете» такую же логику можно увидеть на биочипах. Достаточно одного шага — появления обратной связи — чтобы устройство, которое помогает человеку, получило возможность воздействовать на него

Само устройство оказывается только началом. Проблема появляется позже —  когда новая возможность становится нормой

#ВопросПоСуществу


Работа над романом — это не только сюжет, герои и финал. Есть ещё вопросы, которые приходится задавать себе по ходу работы, потому что от ответов на них зависит устройство мира и поведение персонажей. О некоторых из них можно говорить без спойлеров)))

Так что время от времени буду заглядывать «Изнутри романа». Приглашаю вас присоединиться)

Первый такой вопрос — память

Человеческая память — довольно ненадёжная вещь. Мы забываем, путаем последовательность событий, годами меняем отношение к одному и тому же прошлому. Иногда два человека помнят общий день совершенно по-разному — и оба уверены в своей версии

Поэтому идея «сохраним память — сохраним человека» выглядит логичной ровно до того момента, пока не задумаешься: что же есть на самом деле человеческая память?)

Наша память — это не только последовательность событий, которые остались с нами навсегда или же изредка всплывают в голове под влиянием момента или подчиняясь сентиментальному желанию перебрать прошлое

Наша память — это наш опыт, формирующий нас как личность, из которого складывается наше мировоззрение и отношение к жизни

Наша память — это МЫ, и мало кто из нас осознаёт, как сильно позабытые события способны влиять на принимаемые сейчас решения

Наша память — это знания, эмоции и чувства, а главное — постоянное получение нового опыта. И если знания ещё можно скопировать, то всё остальное для нейросеток большая загадка, ведь у них нет и не может быть эмоционального или чувственного опыта

В цифровой системе всё наоборот: запись может оказаться точнее человека. Она не забудет дату, фразу, лицо. И здесь возникает парадокс: чем совершеннее память копии, тем меньше она похожа на то, как помнит живой человек

В «Искусственном завете» память — не декоративная технология. Она заставляет заново задуматься о том, что мы вообще считаем продолжением личности

#ИзнутриРомана


3 сентября в 20:00 на ММКЯ поговорим с китайским писателем Ци Юэ

Мы работаем в разных литературных традициях, живём в разных культурных средах и, вполне возможно, по-разному смотрим на будущее. Тем интереснее будет сравнить, какие вопросы сегодня ставит перед собой российская и китайская фантастика

Проблемы ведь не возникают из вакуума: у них всегда есть предпосылки — новые технологии, изменения в обществе, новые правила жизни. Фантаст берёт эти предпосылки, развивает их и пытается понять, к чему они способны привести. Иногда получается предсказание, иногда — предупреждение, а иногда будущее оказывается совсем не таким, каким его представляли)))

Поговорим о том, должна ли фантастика вообще что-то предсказывать, что сегодня волнует писателей в России и Китае и насколько по-разному можно работать с одними и теми же вопросами

Думаю, разговор получится интересным)

3 сентября / 20:00
До встречи на ММКЯ

Показано 20 последних публикаций.