Платиновые мысли Алексея


Channel's geo and language: Russia, Russian
Category: Technologies


Алексей Шерченков, техлид в финтехе. Технологии, эксперименты из гаража и инженерная культура. Умные мысли, глупые шутки.

Related channels

Channel's geo and language
Russia, Russian
Statistics
Posts filter


Друзья, никогда не забывайте что вы находитесь в аи пузыре и мир вокруг еще не словил аи психоз

Вот я интегрировался с небольшой платежкой. И процесс допуска к апи был скажем так неоптимальный
- Чтобы тебе дали хотя бы сендбокс, нужно пройти кус
- Чтобы пройти кус тебе нужно написать на имейл и подождать, пока менеджер ответит
- Конечно не с первого письма ответит
- Конечно превую кус форму потеряют
- Где-то через месяц все таки что-то куда-то дойдет и появится групповой чат в тг
- Потом будет созвон, где выяснится что кус все таки потеряли и надо еще раз отправить
- Потом тебе на созвоне расскажут, что есть апи дока и обсудят, насколько платежные ссылки подходят для твоего продукта
- Ключи для сендбокса тебе скинут тоже в ватсап чате

После я за вечер наслопил всю интеграцию и готов ехать в прод

Для контраста - есть такая платформа для продуктовой аналитики posthog

Их сетап выглядит так
- Логинишься через гугл
- Пишешь в консоль npx -y @posthog/wizard@latest - их аи агент прям в твоем коде все сетапит сам


Прокачиваем Obsidian поиском и графом по смыслу

Все мы любим обсидиан и разумеется за дело. Показать свой граф заметок на реддите через неделю использования это база.

Но вот сидеть и отсматривать заметки, проставлять связи это головняк. Я вот эту всю структуризацию делать не люблю.

Всегдя можно посылать клод этим заниматься, но мне тоже не охота!

И тут есть решения - связи и поиск по смыслу (так сказать семантически).

Я не такой умный и не сам это придумал, до меня уже писали. Вот например https://smartconnections.app/

Но разраб в какой-то момент решил, что хочет кушать и теперь берет 30 долларов в месяц!
Достаем opus 5.5 и поехали получается

Как это работает
- Есть cli + сервер на RUST (btw)
- Он сканирует заметки и раскладывает их на эмбединги через gemini. Кто не знает - эмбеденги это когда ты моделью переводишь текст в циферки. И потом если циферки похожи - значит 2 текста похожи по смыслу
- Эти эмбеденги складываются и моя тулза на RUST (btw) пересчитывает все связи. Тут ничего сложного, без баз данных и вот этого всего. Чисто в памяти и быстро

Дальше плагин для обсидина умеет делать 3 вещи с этим
- Рисовать общий граф с выделеными класетрами и неявными смысловыми связями
- Рисовать локальный граф для текущей заметки - типа похожие заметки на прям эту
- И делать поиск по смыслу

Кстати, из-за того что это cli, клод тоже это может юзать! Но я пока не пробовал
Если вам интересно - вот код, можете попросить своего любимого агента себе поставить и попробовать


Forward from: Senior Software Vlogger
Помните был промпт инжиниринг? Говорили, надо учить, а то вам конец!!1!1

Потом был контекст инжиниринг?

Потом был Спек дривон дэвэлопмэнт?

Так вот. Пришло время: "бро, невпадлу сделай?" Дэвэлопмент


Павел RationalAnswer Комаровский в последнее время много постит про опасности АИ. И к нему под пост написали вот такой коммент:
Capabilities, которые меряют по бенчмаркам, под которые подстраивают модели, для того чтобы они улучшали capabilities. ЛЛМ ровно такие же, как в 2020 году. Они галлюцинируют. Выдают желаемое за действительное. Не обладают признаками абстрактного либо какого-либо ещё мышления. Это тупиковая ветвь, которую со всё большим отчаянием пытаются впаривать.

А давайте и правда получим непередаваемый опыт использования ранних моделей.

Не все помнят, но у OpenAI в названии Open. Это потому что раньше они свои модели выкладывали в опенсорс. Поэтому с ними потом ещё Илон Маск судился.

Так вот, давайте скачаем GPT-2 с huggingface и попробуем заставить её написать элементарное приложение на питоне!
План
Сгенери FastAPI приложение с SQLite — 2 ручки: создать запись о LLM-модели и получить список. Плюс скрипт, который наполняет первые 10 записей.

Задача в целом элементарная, в доке FastAPI есть готовые примеры посложнее.

Сама модель работает локально на современном ноутбуке без проблем. Скачиваем, настраиваем (попросите своего агента помочь, если хотите повторить). И давайте возьмём какой-то минимальный харнес типа pi и начнём писать...

Ой, подождите. Кажется, GPT-2 не поддерживает использование тулинга и не может работать как агент.
Похоже, мы возвращаемся к "Пишем промпт и копируем вывод". Как по мне, уже неплохой откат от текущего опыта.
Ну ничего, мы исследователи упёртые.
Просто бахаем промпт в модель, которая, если верить комменту, ничем не отличается от сегодняшней. Она отвечает:
Леревгено пустился специальные по Google Analytics (главные) отсутствует числены и поетержку с кримфадения.

We have a nice SQLite database with about 1M data. As we can see in the output, SQLite is working fine but this is not an issue anymore, we just need to write some scripts that will insert the requested data from SQLite into our database.

295 0 0 15 13

OpenAI переписывает часть инфры на раст. И создатель fastapi говорит, что вообще надо жестко двигаться на питоне до 20 млн рпс

Понятно, почему OpenAI двигались на питоне со старта - тулинг для датасаенса, моделей и всего этого умного был на питоне и это был стандарт де факто для таких дел. И там пошло поехало. А еще у них не было Fable 5.1/Astra чтобы переслопить все на раст на выходных

Но вот стоит ли сейчас начинать новый бекенд на питоне? Я очень сомневаюсь.

Как будто можно начинать сразу слопать на go/rust и нормально двигаться.

Мы сейчас начинаем на работе писать новые штуки на го, для нормальных разрабов почти 0 трения с этим. Работает быстрее, ресурсов жрет меньше.

Несколько личных проектов я переслопил на раст. Они маленькие, там обычные круд приложения, ничего сложного. Но я там даже код не читал почти, только критичные части. 0 проблем.

В этом плане кажется даже тайпскрипт может быть лучше - я слышал у них там есть разные прикольчики, чтобы фрон с беком веселее работали их коробки. Типа local first sync engine logux - у него и бек и фронт на js. С ним ux можно сделать сильно приятнее, типа как в linear

Единственное зачем бы я мог выбрать питон - это какой-то уникальный тулинг для моей области. И то если небольшой - ща с ллм можно и свой написать

Что думаете, коллеги?


Согласны?
Вообще в целом много что не понятно как будет дальше

Вот туда же венчур вкладывался, теперь куча таких вложений сгорит

Многие мои друзья вайбкодят себе личные приложения типа для качалки, это тоже может отпасть

В интересное время живем!


Блин, друзья, научите бизнес жилке
Это типа пятый клон tmux который я вижу за под года
6 лямов

Мне кажется, надо ехать жить в долину и там знакомится со всеми или что-то такое


Завтра мы в Тбилиси делаем митап по Omarcy
Это такой линукс

У меня в планах установить его там прям на людях, вот репетирую




Я долго приходил к голосовому вводу в ллмки. Было тяжело, были сомнения типа "а вот он распознает плохо и не поймет"
Но оказалось, что вообще норм

И тут мне пришла мысль (платиновая) - А вот бы в модель не транскрипт шел, а прям аудио и оно еще понимало паузы когда я задумался или считывало что я разрдражен и лучше работало.

Так вот, оказалось что я не первый такой умный и такие модели уже есть

У Гемини 2.5 Флеш, у Кими такая есть, у Квена

И знаете что? Не помогает, они в основном все равно на текст ориентируются
https://benchmarklist.com/benchmarks/voxparadox/

Даже пол не могут нормально угадать!


Не очень понял, есть в этом vs code внутри терминал и можно ли там запустить еще один такой vs code

just use vim at this point


Наконец аи убил программистов и они больше не нужны

(количество лейофов стабильно, но открытые вакансии и количество трудоустроенных растет)


Быстро выяснилось, что не все можно решить клодом

Например, если после обновления системы сломался вайфай - придется перепечатывать команды от чат гпт в терминал и фоткать экран с выводом ему обратно


ЛЛМ открывает год линукса на десктопе

Раньше "можешь сам допилить под себя" для меня обычно значило, что кто-то что-то допилит, а я это поставлю.

Теперь этот кто-то это Клод. Рил любые проблемы и запросы

- Почему-то иногда на 2 секунды отлетает сеть - расследовано и решено
- Встроенная в систему диктовалка не поддерживает русский - изи, попробуем другую локальную модель, а потом подключим groq whisper

И мое любимое

Запускалка программ типа raycast писалась людьми, у которых на клавиатуре только английский?
Не проблема. Дописываем плагинчик, и теперь я начинаю набирать еудуп и он находит телеграм

Тут причем интересно - абстрактно это сложная проблема. У тебя много языков, какие-то из них даже иероглифы. И тебе надо для любого количества языков матчить любое количество строчек.

НО у меня лично языков ровно 2, а количество строчек это софт, который у меня установлен. Это все очень редко меняется, и можно тупо генерить все варианты на каждый раз

Gogo personal software


https://x.com/i/status/2087229652293337160

В Фейсбуке инженеры бросились вайбкодить на расте и переводить жс на тс

Типы и ошибки компиляции помогают агентам
Вообще как будто все меньше причин не писать бек на чем-то быстром и компилируемом

Раст если вы настоящие угарщики, или го если так себе угарщики

Даёшь слоп рерайты всех Беков в мире! Может цена на оперативу упадет


Вот люди говорят, что ллм никогда не станет думать на уровне человека. Что они тебя не понимают, а производят следующий токен и вот это все

Но вот ллм у меня получается запромтить сильно лучше, чем курьера с едой. У меня прошло несколько итераций, пока саксесс рейт процентов 80


Кстати, думаю слаку стоит встроить такой же реакт


https://x.com/Nosenss/status/2086727015734939745

Линкедин сделал у себя кнопку "Обработать пост АИ" и удивительно, но там появилось много аи постов

Респект исследователям, посты на линкедине и раньше не были похожи на человеческие, хз как они отличали

Дополнительно я рад, что медиум самоуничтожается. Закрытие постов за пейволом с текстов было ошибкой


Круто что появилось наконец больше компьюта и можно еще больше субсидировать модели!

И это даже с включенным в подписку Фейблом!

19 last posts shown.