Иван Черняков. Всё ещё инженер.

У меня сегодня отвалился сервис отправки писем пользователям. А у друга сеошника - яндекс метрика. Но ничего, не нервничаем, все починят. Поддерживаем коллег.

Последние недели модели OpenAI тупеют и тупеют. Еще и отвечают медленнее. Может это прогрев на подписку за 500$?

Астра недоделывает все в полной мере, творческое мышление как украли.

Сол 6.1 ломает мне функционал, а было ок и неважно, что медленно. Просто распределял по задачам.

Дошло до того, что я пишу план или подробный промпт Опусом, чтобы его выполняла Астра. Дожили) Кстати, рекомендую как выход из положения. Сносно. Ведь подписки за 20 баксов не банят. Пока.

Хорошая модель есть, пользоваться ей нельзя

Я строю проект Bank Checkup - он анализирует экономическую деятельность компании для арбитражных управляющих, аудиторов, юристов и банков. Проект главным образом стоит на одном умении: прочитать банковскую выписку.

Тут у нас файлов на любой вкус и цвет. Excel, Word, PDF, плохо пропечатанные сканы, RTF на сотни мегабайт, таблицы, собранные из ASCII-символов. Какой только экзотики я уже не видел в оформлении банковских документов!

Казалось бы, решается за вечер: сильная облачная модель получает документ - возвращает то, что мне нужно. Таких проектов в сети уже много, это обёртки над API ЧатГПТ. Но по условиям проекта (да и так-то по закону) исходные выписки нельзя отправлять через границу. Вообще куда-либо отправлять - по оферте их доверили только нам.

Что остаётся? Два честных пути: вычистить из документов всё живое и всё-таки пойти в облако, либо закрыться дома и считать локально. Я начал с обоих)

Путь первый: анонимизировать. Сервисов-прокладок и опенсорса для этого полно. Но на сканах выписок процент ошибок высокий: пересматривал результаты, а там нет-нет да и настоящий Сергей Петрович или ООО с ИНН. А проверить каждую страницу руками нельзя: выписки бывают на тысячи страниц. Чужими данными так рисковать я не готов.

Путь второй: локальная модель. Мой «сервер» - это старый игровой комп на Linux. Зимой докупил в него NVIDIA RTX 3060 на 12 ГБ. Чтобы и семейный бюджет не растрачивать, и попробовать - поиграться. Плюс была подходящая узкая модель для этого на тест. Да, в 12 ГБ влезает немного: одна ветка и мб пару камешков. Но! Можно выгрузить часть модели в оперативную память, такое легально. Но когда модель одной ногой стоит в видеопамяти, а другой - в оперативке, это очень медленно. Настолько, что я не уверен, что слово "скорость" вообще филологически применимо тут.

Я собрал проверочный корпус. Корпус - это так модно датасатинисты и иже называют данные, над которыми будут изголяться. Описал проверки первых гипотез. Запустил эксперимент на ночь. Через шесть часов узнал, что шесть часов назад она сделала поворот не туда) Раздробил эксперименты - всё равно час-полтора ожидания. А итераций нужно - тьма. Да и качество локальных моделей - пупупу.

В итоге родился третий, гибридный путь. Беру первые две-три страницы выписки и анонимизирую их максимально качественно - страниц мало, так что применить самые жирные и долгие проверки - реально (тем не менее отдельно этой частью еще буду много заниматься и писать о ней, пока это промежуточный вариант). Отправляю их облачной GPT Astra, потому что у неё офигенное зрение. Агент собирает мне сущность, которую я назвал «паспорт выписки»: где какие колонки, кто владелец, как отделить одну транзакцию от другой. А дальше тысячи страниц читает слабенькая локальная модель - строго по паспорту.

Выписки настолько разные, что задача абсолютно недетерминированная. Паспорт сводит её к хоть какой-то конкретике: описание того, что ждёт слабую модель на следующих тысячах страниц.

Лонгсторишорт:
Дорогая модель думает один раз и пишет инструкцию. Дешёвая - читает, пашет и греет комнату. В двух предложениях это звучит просто. А по факту - месяц отладки: выписки очень вариативный зверь. Показать есть что, тем более мой путь не закончен, я еще не релизил сканы.

Что за модели я пробовал, какое железо купил в итоге, чем хороша GPT Astra и как не сойти с ума при работе с большими массивами визуальных данных - разберу по эпизодам, подключиться можно с любого. Канал теперь и про инженерную кухню моих проектов - от Bank Checkup до домашней AI-инфраструктуры и мобильного приложения с криптографией. Что и зачем - в закрепе.

Паттерн перекладывается на любые сферы, где данные нельзя отдавать наружу: медицина, финансы, юрдокументы, внутренние регламенты. Рецепт у вас теперь есть.

Ваш Иван Черняков. Всё ещё инженер.

"...сдвигаем вперже по тексту..."

(с) GLM 5.3

Часы на домашнем сервере отстали на 11 минут. Что в этом такого?

Гитхаб, конечно, бесплатный и даже образы приложений дает хранить бесплатно, выделываться не приходится.

Но! Он мне тут 4 раннера разрегистрировал сам в одностороннем порядке по причине расхождения часов. На машине с раннером часы отставали на 11 минут. Хз почему, вчера батарейку менял в материнской плате)

Вот до чего довела нас экономия на селфхостед гитлабе!!! Приходится следить за часами! Ужас!

А вообще перевезя (лютое слово) CI проектов на Гитхаб со своего Гитлаба (RIP) - думал будет все сильно хуже. В итоге - норм.

Из забавного и непонятного: вы знали, что Gitlab-раннер можно поднять один и поставить ему конкуренси 4 (например). И он будет молотить параллельные джобы. А в Гитхабе для того же самомого нужно поднять 4 инстанса раннеров. Проблем нет, ведь не мне же это делать, а кодексу. Тем не менее - забавно)

Ваш Иван Черняков. Все ещё инженер.

Глеб спрашивает, что происходит.

Я могу рассказать: вышла одна цифра, она больше, чем другая цифра, и говорю, что она по цифрам гораздо больше, чем цифры предыдущие. Скорее всего, скоро выйдут цифры, которые будут больше, чем другие цифры.