Компании перестарались с внедрением функции суммаризации текста везде, где только можно
Сегодня появилась возможность не читать полностью практически ничего. Уведомления, письма, сайты, видео, целые книги — всё укладывается в несколько абзацев текста. Скоро, вероятно, и в Интернет мы будем ходить «суммированный»: одни нейросети будут генерировать контент по запросу вместо людей, другие — отображать этот сгенерированный контент в пересказанном виде, как в испорченном телефоне. Хорошая ли это тенденция?
Огромная проблема любых нейросетей — галлюцинации, от которых практически невозможно избавиться. Если речь идёт просто о сжатом пересказе статьи с чьим-то мнением, то с этим ещё можно смириться. Но как быть с более серьёзными кейсами?
Например, с поиском. Когда Google добавили в свой поиск AI ассистента, он сразу стал рекомендовать пользователям есть камни хотя бы раз в день. Понятно, что вопрос был глупый — «сколько камней в день мне нужно есть». Но ведь это просто гиперболизированная иллюстрация того, как галлюцинирует нейросеть.
Нейро в этом плане работает тоже не идеально — можете сами попробовать спросить поиск Яндекса, сколько ног у лошади. Причём разработчики сервиса постоянно напоминают, что ИИ может ошибаться в подобных вопросах. Но ведь ошибка может быть и в каком-то важном ответе — мы в редакции неоднократно ловили что Нейро, что Perplexity в галлюцинациях, противоречиях предыдущим сообщениям и в целом странной работе с источниками (когда для ответа берётся случайная фраза из статьи на условном Дзене, которая вообще не об этом).
Недавний громкий кейс — проблемы Apple Intelligence в уведомлениях IOS 18.2. Иногда он просто выдаёт глупости, но в худшем случае — искажает содержание уведомления. На днях пользователям показали ложные новости с BBC про самоубийство Луиджи Манджионе и с NY Times про арест Нетаньяху. Хотя нейросеть просто «работала» — она прочитала текст уведомлений и суммировала их на свой лад. Представьте, как легко будет получить некорректную информацию из таких уведомлений, если привыкнуть не читать оригиналы?
Недавно Яндекс Почту добавили Нейрофильтр, который призван отобрать самые «важные» письма и показать их вам в сокращённом виде. При этом вариантов настроить критерии «важности» нет, а суммированный текст часто сокращается буквально до нескольких слов, при прочтении которых легко как раз таки упустить что-то важное. Понятно, что можно всегда зайти в тело письма проверить — но зачем тогда вообще сокращать, если всё равно каждый раз приходится заходить и перепроверять?
Создаётся ощущение, что компании по всему миру усиленно пытаются сделать нейросети привычной частью взаимодействия пользователя с их сервисами. Но как только пользователь привыкнет к сокращённым текстам, пересказам, сгенерированным ответам — есть риск, что он перестанет ожидать от них подвоха и проверять правильность информации.
Очень подходит сюда цитата нашего главреда — «Люди тоже галлюцинируют, но в этом случае у каждой галлюцинации есть имя и фамилия». В случае с нейросетями никаких отественных нет, хотя бы потому, что мы сами не до конца понимаем, откуда именно берётся ответ и каким он будет в следующий раз. А у нейросетей нет страха наказания за враньё и фейки, которые в определённых обстоятельствах могут сломать жизнь живому человеку.
Одно из решений проблемы — ограничение «креативности» моделей и предоставление контекста, с которым она будет работать (те самые RAG системы). Но даже такой вариант не идеален.
Как будто бы пора перестать добавлять суммаризацию всего и всюду для «экономии» времени пользователей, нет такого ощущения?
Сегодня появилась возможность не читать полностью практически ничего. Уведомления, письма, сайты, видео, целые книги — всё укладывается в несколько абзацев текста. Скоро, вероятно, и в Интернет мы будем ходить «суммированный»: одни нейросети будут генерировать контент по запросу вместо людей, другие — отображать этот сгенерированный контент в пересказанном виде, как в испорченном телефоне. Хорошая ли это тенденция?
Огромная проблема любых нейросетей — галлюцинации, от которых практически невозможно избавиться. Если речь идёт просто о сжатом пересказе статьи с чьим-то мнением, то с этим ещё можно смириться. Но как быть с более серьёзными кейсами?
Например, с поиском. Когда Google добавили в свой поиск AI ассистента, он сразу стал рекомендовать пользователям есть камни хотя бы раз в день. Понятно, что вопрос был глупый — «сколько камней в день мне нужно есть». Но ведь это просто гиперболизированная иллюстрация того, как галлюцинирует нейросеть.
Нейро в этом плане работает тоже не идеально — можете сами попробовать спросить поиск Яндекса, сколько ног у лошади. Причём разработчики сервиса постоянно напоминают, что ИИ может ошибаться в подобных вопросах. Но ведь ошибка может быть и в каком-то важном ответе — мы в редакции неоднократно ловили что Нейро, что Perplexity в галлюцинациях, противоречиях предыдущим сообщениям и в целом странной работе с источниками (когда для ответа берётся случайная фраза из статьи на условном Дзене, которая вообще не об этом).
Недавний громкий кейс — проблемы Apple Intelligence в уведомлениях IOS 18.2. Иногда он просто выдаёт глупости, но в худшем случае — искажает содержание уведомления. На днях пользователям показали ложные новости с BBC про самоубийство Луиджи Манджионе и с NY Times про арест Нетаньяху. Хотя нейросеть просто «работала» — она прочитала текст уведомлений и суммировала их на свой лад. Представьте, как легко будет получить некорректную информацию из таких уведомлений, если привыкнуть не читать оригиналы?
Недавно Яндекс Почту добавили Нейрофильтр, который призван отобрать самые «важные» письма и показать их вам в сокращённом виде. При этом вариантов настроить критерии «важности» нет, а суммированный текст часто сокращается буквально до нескольких слов, при прочтении которых легко как раз таки упустить что-то важное. Понятно, что можно всегда зайти в тело письма проверить — но зачем тогда вообще сокращать, если всё равно каждый раз приходится заходить и перепроверять?
Создаётся ощущение, что компании по всему миру усиленно пытаются сделать нейросети привычной частью взаимодействия пользователя с их сервисами. Но как только пользователь привыкнет к сокращённым текстам, пересказам, сгенерированным ответам — есть риск, что он перестанет ожидать от них подвоха и проверять правильность информации.
Очень подходит сюда цитата нашего главреда — «Люди тоже галлюцинируют, но в этом случае у каждой галлюцинации есть имя и фамилия». В случае с нейросетями никаких отественных нет, хотя бы потому, что мы сами не до конца понимаем, откуда именно берётся ответ и каким он будет в следующий раз. А у нейросетей нет страха наказания за враньё и фейки, которые в определённых обстоятельствах могут сломать жизнь живому человеку.
Одно из решений проблемы — ограничение «креативности» моделей и предоставление контекста, с которым она будет работать (те самые RAG системы). Но даже такой вариант не идеален.
Как будто бы пора перестать добавлять суммаризацию всего и всюду для «экономии» времени пользователей, нет такого ощущения?