Чтобы обучить Claude, Anthropic буквально уничтожила миллионы бумажных книг
The Washington Post выпустили статью, в которой говорится, что они изучили документы из судебного дела против Anthropic под секретным названием «Project Panama».
Схема следующая: компания массово покупала обычные бумажные книги. Иногда десятками тысяч экземпляров за раз. Затем им срезали корешки промышленным резаком, страницы прогоняли через высокоскоростные сканеры, а то что оставалось от книги - утилизировали (это так оцифровывают книги).
Всё это они делали ради данных для обучения моделей, на которых работает Claude. По судебным документам, за год Anthropic потратила на покупку и оцифровку книг десятки миллионов долларов.
И тут вопрос - а зачем нужно обучать на реальных бумажных книгах, когда есть интернет?
А потому что в интернете много низкосортного контента и всё больше ИИ-слопа.
И получается довольно абсурдная ситуация: мы наполоняем интернет ИИшным контентом, но на нем не обучить ИИ, а то он будет тупеть. И чтобы сделать следующий ИИ умнее, ему снова понадобились настоящие человеческие тексты из бумажных книг.
The Washington Post выпустили статью, в которой говорится, что они изучили документы из судебного дела против Anthropic под секретным названием «Project Panama».
Схема следующая: компания массово покупала обычные бумажные книги. Иногда десятками тысяч экземпляров за раз. Затем им срезали корешки промышленным резаком, страницы прогоняли через высокоскоростные сканеры, а то что оставалось от книги - утилизировали (это так оцифровывают книги).
Всё это они делали ради данных для обучения моделей, на которых работает Claude. По судебным документам, за год Anthropic потратила на покупку и оцифровку книг десятки миллионов долларов.
И тут вопрос - а зачем нужно обучать на реальных бумажных книгах, когда есть интернет?
А потому что в интернете много низкосортного контента и всё больше ИИ-слопа.
И получается довольно абсурдная ситуация: мы наполоняем интернет ИИшным контентом, но на нем не обучить ИИ, а то он будет тупеть. И чтобы сделать следующий ИИ умнее, ему снова понадобились настоящие человеческие тексты из бумажных книг.