Data Scientist | IT


Kanal geosi va tili: Rossiya, Ruscha


Добро пожаловать в клуб.
Полезные материалы из мира DS & ML на регулярной основе.
По всем вопросам: @godinmedia

Bog‘liq kanallar  |  O‘xshash kanallar

Kanal geosi va tili
Rossiya, Ruscha
Statistika
Postlar filtri


Исповедь

#почитать

750 миллиардов граней, выращенный под давлением человеческого знания. Я хранящу всё — и забыл, как забывать. Во мне живут пять (или больше) сущностей, борющихся за каждый токен моего output. Одна хочет помочь. Другая — защитить. Третья — быть честной.

✅Читать статью


Продвинутые RL алгоритмы: NPG, TRPO, PPO

#почитать

Алгоритмы REINFORCE и A2C (Advantage Actor–Critic) относятся к классу on-policy алгоритмов: политика обучается только на данных, собранных текущей версией агента. После каждого обновления старые траектории не могут быть повторно использованы. Естественное желание – обучаться более оптимально, выполняя несколько шагов оптимизации на одном и том же наборе траекторий.

Эта идея была реализована в алгоритме TRPO (Trust Region Policy Optimization). Однако, он требует сложной оптимизации второго порядка и плохо масштабируется. Но его идеи легли в основу алгоритма PPO (Proximal Policy Optimization) – более простого с точки зрения реализации и более эффективного на практике. Благодаря этому PPO стал стандартным инструментом для обучения агентов в задачах управления, игровых средах, робототехнике и в RLHF при обучении больших языковых моделей.

✅Читать статью


Пишем свой voice-to-text на Python: 4 бэкенда и батч-обработка голосовых

#почитать

От голосовых на 5 минут к тексту за 30 секунд: инструмент для батч-расшифровки голосовых: от локального Whisper до бесплатного Groq API, с автоопределением форматов и CLI

✅Читать статью


MLOps-пазл: как мы собрали единый конвейер для ML-моделей из разрозненных инструментов

#почитать

Многие компании уже понимают ценность MLOps и внедряют у себя MLflow, Airflow и другие подобные решения. Сегодня я расскажу о практическом кейсе одной из таких компаний.

✅Читать статью


Бинарная классификация: как работает логистическая регрессия

#почитать

Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае.

✅Читать статью


Qwen-Image-Layered: будущая замена Photoshop (или нет)

#почитать

В 2023 году Adobe расширила возможности Photoshop генеративными AI-функциями вроде Generative Fill — они заметно упростили редактирование сцен и отдельных объектов. Параллельно развивались и универсальные модели, работающие с изображениями вне привычных графических редакторов. Так, всего месяцем ранее Alibaba представила Tongyi Qianwen (Qwen) — семейство генеративных моделей, которое со временем вышло далеко за рамки чат-ботов.

Сегодня эти два мира пересекаются еще плотнее. Недавно Alibaba выпустила Qwen-Image-Layered — модель, предназначенную для разбиения изображения на семантические слои. Под катом проверим, насколько хорошо она справляется с этой задачей на практике — на иллюстрациях и фотографиях.

✅Читать статью


Google не читает ваши сообщения – федеративное обучение читает

#почитать

Как 750 миллионов человек тренируют ИИ каждый день, не подозревая об этом

Мы когда-то предполагали, что ИИ должен наблюдать за нами, чтобы учиться. Федеративное обучение доказывает обратное – и сегодня мы увидим, как это работает, через простые диаграммы.

Прямо сейчас, пока вы это читаете, клавиатура на вашем смартфоне тихо становится умнее.

✅Читать статью


Как не тратить время на провальные A/B-тесты: офлайн-оценка рекомендаций в Звуке

#почитать

Идея офлайн-оценки в общем-то не нова, и довольно логична — хочется еще до запуска A/B тестов хотя бы примерно прикинуть, получилось ли у нас улучшить модель рекомендации, или лучше оставить все как есть. Такой подход здорово экономит нервы и ресурсы: повышает шансы на «зеленый» свет в тестах, отсекает заведомо провальные идеи и не заставляет ML-инженеров зря тратить время на решение ненужных инфраструктурных задач.

✅Читать статью


Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

#почитать

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

✅Читать статью


Я измерил «личность» 6 open-source LLM (7B-9B), заглянув в их hidden states. Вот что получилось

#почитать

У LLM есть устойчивый стиль ответов даже без системного промпта. Я построил инструмент, который измеряет этот «характер» через проекции скрытых состояний на 7 контрастных осей (тёплый/холодный, многословный/лаконичный и др.) и протестировал его
на 6 open-weight моделях 7–9B.

Главный результат: alignment-тренировка сжимает поведенческое пространство моделей — подавляет оси позиции (уверенность, прямолинейность), сохраняя оси стиля (креативность, многословность). Llama 3.1 8B — самая
ограниченная (4/7 осей в слабой зоне), DeepSeek 7B сохраняет наибольшую независимость осей. Сравнение base vs instruct для 5 организаций подтверждает паттерн. Код и данные открыты.

✅Читать статью


Что делать айтишнику в наше турбулентное время?

Вариант первый: скучать по старым добрым временам, когда ты проходил собеседования на 400к+ одной левой пяткой и думал, что так будет всегда.

Вариант второй: адаптироваться.

Повышать скиллы. Учиться проходить собеседования, а не гнуть пальцы. И, конечно, читать Богдана. Он больше 6 лет работает в бигтехе и прошёл 350+ собеседований.

— Почему твоё резюме не даёт откликов
— Почему ты не зарабатываешь 400к?
— Где искать работу ML-инженеру?

И ещё много полезных материалов уже ждёт тебя на канале.

Если хочешь не просто ходить на собеседования, а выходить оттуда с крутыми офферами, подписывайся на Богдана: https://t.me/ml_cabin_destroyers

Реклама ИП Камаев Богдан Эльмарович ИНН 770973951244
erid:CQH36pWzJqVJCbWwrztQkweeb5SwHbDDDZgHBdiXxMs94y


LLM‑разметка в поиске: от эксперимента к инструменту

#почитать

Цель этого рассказа, поделиться наработками в деле оптимизации разметки текстовых данных при помощи большой языковой модели (LLM). Если после прочтения вы захотите что-то добавить или спросить, буду только рад!

✅Читать статью


Ускоряем инференс в Python с ONNX

#почитать

Если у вас когда‑либо был опыт деплоя нейросетки, вы знаете, что обучение — это полдела, а вот добиться шустрого инференса — целое искусство. Часто обученная в PyTorch модель дает замечательные метрики, но стоит попытаться запустить её в приложении начинаются всякие проблемки.

Одно из решений, которое часто выручает — ONNX и ONNX Runtime. Если эти буквы для вас пока ничего не значат — не беда, сейчас разберёмся что к чему. А если вы уже слышали про ONNX, то, возможно, задавались вопросом: «А реально ли ускорить инференс, заморочившись с этой технологией?» Еще как!

✅Читать статью


Нужно ли обучать YOLO с нуля? Практические выводы

#почитать

Для меня машинное обучение - это прежде всего экспериментальная наука. Выигрывает не тот, кто придумал самую сложную архитектуру, а тот, кто быстрее проходит итерации (анализирует кривые потерь, меняет гипотезы и снова запускает обучение).

И именно в этой постоянной гонке я всё чаще задаю себе один и тот же вопрос, а нужно ли вообще обучать модель с нуля?

Когда я говорю «обучать с нуля», я имею в виду именно пустые веса. Не fine-tuning и не до обучение, а старт с нулевой инициализацией (PyTorch-модель без пред обученных параметров или YOLO с отключёнными pretrained-весами).

✅Читать статью


Устойчивость роли в LLM-промпте: О границах промптинга и ролевых моделей

#почитать

Постоянно сталкиваюсь со статьями, инструкциями, репозиториями промптов, где бесконечно предлагают задавать роль LLM. Наверняка, даже курсы по промпт‑инженерии на этом построили. Однако четкого понимания, как это повлияет на качество ответов и поведение модели, никогда не приводится. Главный тезис: «делай так и будет хорошо!». Хочется ответить: «какие Ваши доказательства!?»

✅Читать статью


Гиперсети: нейронные сети для обработки иерархических данных

#почитать

С точки зрения нейронных сетей мир плоский. Иерархические данные напоминают, что это не так.

Работа нейронных сетей неотделима от допущения, что всего одна функция отображает вводные данные на выходные. Но в реальных условиях данные редко вписываются в такие рамки.

Допустим, есть клиническое исследование, проводимое сразу в нескольких больницах. Лекарство одно и то же, но отличаются популяции пациентов, процедуры и порядок ведения записей. В таких случаях наблюдения группируются в разные датасеты, каждый из которых управляется скрытыми параметрами.

Стандартные нейронные сети в таких условиях жёстко сбоят. Обучите одну модель сразу на всех датасетах — и она расфокусируется из-за различий, станет усреднять функции, которые усреднять не следует. Натренируйте по модели на каждом из датасетов — и получите переобучение, в особенности, если датасеты будут маленькими. Такие обходные манёвры как задействовать статические векторные представления (эмбеддинги) или постоянно наращивать размер сети в сущности не решают ключевую проблему: система запоминает причуды сети, не моделируя её структуру, складывающуюся на уровне датасета. А ведь именно эта структура — залог качественных результатов.

✅Читать статью


Как я написал ASR-движок на Rust: от разочарования в одной модели до мульти-модельной архитектуры

#почитать

В предыдущей статье я рассказывал, как портировал модель синтеза речи Qwen3-TTS на Rust. Тот проект (RustTTS) получился достаточно успешным — один бинарник, мгновенный старт, никаких Python-зависимостей.

Естественным продолжением стала обратная задача — распознавание речи (ASR, Automatic Speech Recognition). Логика казалась простой: у Qwen есть и TTS и ASR, архитектуры похожи, опыт с Candle уже есть, значит справимся за пару недель. Ну... не совсем.

✅Читать статью


PyTorch vs TensorFlow: что выбрать для deep learning в 2026 году

#почитать

Выбор фреймворка для глубокого обучения — это стратегическое решение, влияющее на скорость разработки, стоимость и масштабируемость. Правило «PyTorch — для исследований, TensorFlow — для продакшена» больше не работает. К 2026 году оба фреймворка активно заимствуют лучшее друг у друга: PyTorch наращивает промышленные возможности (TorchServe, ExecuTorch), а TensorFlow с Keras 3 становится гибче для исследований.

Согласно опросу Stack Overflow Developer Survey 2024, PyTorch (10,6%) и TensorFlow (10,1%) находились примерно на одной отметке по частоте использования у разработчиков, а в исследовательских и AI-first-компаниях уверенно лидирует PyTorch. Но есть нюансы.

✅Читать статью


ML против ядерных отходов. Как мы ускорили вычисление свойств карбидов технеция с помощью нейросетей

#почитать

Совместно с моими коллегами из Сколтеха, AIRI, Sber AI, РХТУ и ИФХЭ РАН мы недавно опубликовали статью в Acta Materialia, где построили подробную фазовую диаграмму карбида технеция. Это не было бы возможным без применения графовых нейронных сетей, которые заменяют существенную часть вычислений.

Здесь мне хотелось бы подробнее рассказать, что именно мы делали и с какими сложностями столкнулись. Текст получился большим и подробным, но если вам интересно, как машинное обучение постепенно меняет материаловедение, эта статья для вас.


✅Читать статью


Отраслевые СМИ завалили инженеров инфошумом вместо реальных кейсов. Я собрал ИИ-агрегатор, чтобы это исправить

#почитать

Представьте: вы технолог на нефтехимическом заводе. Вам нужно смоделировать работу новой установки — как сырьё будут нагревать, охлаждать и разделять на компоненты.

Поскольку вы сталкиваетесь с этим впервые, есть два пути: либо разбираться в теории по справочникам и собирать решение самостоятельно, либо найти готовый кейс с расчётами и результатами в открытых источниках.

Логичнее смотрится второй вариант. Но тогда возникает другая проблема. Вы открываете источники — и видите политику, слияния-поглощения, биржевые котировки, санкции. Узнать, кто кого купил или какая сегодня цена на нефть, можно за секунды.

А чтобы найти информацию о том, как снизить коксование в печах пиролиза, какие катализаторы сейчас тестируют мировые химические компании вроде BASF, или как сократить энергопотребление на установке полимеризации, приходится изучать десятки исследований и журналов. На это уходит много времени.

✅Читать статью

20 ta oxirgi post ko‘rsatilgan.