Библиотека data scientist’а | Data Science, Machine learning, анализ данных, машинное обучение


Гео и язык канала: Россия, Русский
Категория: Технологии


Все самое полезное для дата сайентиста в одном канале.
Список наших каналов: https://t.me/proglibrary/8353
Учиться у нас: https://proglib.io/w/907158ab
Обратная связь: @proglibrary_feedback_bot
По рекламе: @proglib_adv
Прайс: @proglib_advertising


Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


😈Рубрика: гадость дня

Как сломать дата-сайентиста? Скопируйте в его ноутбук такой код:
import tensorflow as plt
import pandas as tf
import numpy as np
import matplotlib.pyplot as np

844 0 17 2 26

🕸🔥 Google представила лучшую опенсорсную модель Gemma

Похоже, что OpenAI осталась единственной компанией на рынке, у которой нет опенсорсной LLM.

Представлены две модели размером 2B и 7B. Обе они родственницы Gemini. Создатели использовали токенизатор на 260к токенов (!), что, как они утверждают, лишь небольшая часть полного токенизатора Gemini.

✔️ Gemma уже поддерживают различные фреймворки, в том числе Ollama и Keras.

По производительности 7B модель находится где-то на уровне Mistral 7b.

🔤Страница Gemma на Kaggle
🧡 Туториал в Колабе
🤗 Карточка модели на Hugging Face


✍️ Что такое Word2Vec

Word2Vec — это метод эффективного создания эмбеддингов, или векторных представлений текстовых данных. Основная идея Word2Vec заключается в том, что слова, появляющиеся в похожих контекстах, ближе друг к другу в векторном пространстве.

➡️ Есть две основные модели Word2Vec:
- CBOW (Continuous Bag of Words). Предсказывает текущее слово на основе контекста.
- Skip-Gram. Использует текущее слово для предсказания слов контекста.

🔗 Посмотреть визуализацию обучения Word2Vec можно по этой ссылке
🔗 Статья про Word2Vec


One Day Offer для Data Science ⚡

Обнаружен самый короткий путь к офферу в Сбере: 2 марта ждём вас на онлайн One Day Offer для специалистов Data Science.

Мы разрабатываем и внедряем DS-решения в точки касания клиента со Сбером: отделения, мобильное приложение, банкоматная сеть, кол-центр, канал Премьер и т. д. За год мы разрабатываем и внедряем более 200 моделей.

Наш стек: Python, Spark, SQL, Hadoop, GreenPlum.

В ваших задачах будет 👇

— Обучение всех типов моделей искусственного интеллекта: от классического ML до глубоких нейронных сетей.
— Создание высокотехнологичных сервисов: от систем принятия решений до компьютерного зрения и обработки естественного языка.
— Развитие хранилищ блока на Teradata и DataLake на Hadoop.

У вас есть уникальная возможность поучаствовать в выводе продуктов с нуля в промышленную эксплуатацию. Интересно? Регистрируйтесь по ссылке 😉


Внимание!🕵️‍♀️

Разыскиваются смелые и талантливые data scientists для участия в ежегодном онлайн-соревновании по машинному обучению Data Fusion Contest c призовым фондом в 2 000 000 рублей.

Отличительные черты:

🔹Хотят добавить новые DS/ML-методы в свой арсенал.
🔹Ищут возможности получить ценные знания и практический опыт на онлайн-митапах и воркшопах.
🔹Стремятся проявить себя в Data Science сообществе.

🏆 Участники смогут попрактиковаться в решении одной или двух задач сразу: по геоаналитике и по моделям оттоков клиентов. Также их ждет много подарков и награда за лучшие публичные решения по обеим задачам.

Зарегистрироваться на новый ML-челлендж от крупнейших компаний России можно по ссылке — https://vk.cc/cuNzpC


🔥 Делаем токенизатор с нуля вместе с Андреем Карпаты

Похоже, он ушёл из OpenAI, чтобы делать новые двухчасовые (да) лекции. На этот раз Карпаты подробно расскажет о том, как написать собственный токенизатор для GPT. Процесс создания этого инструмента — совершенно отдельный шаг в построении архитектуры языковой модели.

Некоторые таймкоды:

00:14:56 Строки в Python, кодовые точки Unicode
00:23:50 Алгоритм Byte Pair Encoding (BPE)
00:34:58 Обучение токенизатора: добавление цикла while loop, коэффициент сжатия
01:11:38 Библиотека Tiktoken, разница между GPT-2/GPT-4 regex
01:43:27 Как определиться со словарём? Повторное рассмотрение трансформера в gpt.py

🔗 Ссылка на видео
🔗 Репозиторий к лекции


💬 Вопрос к дата-сайентистам и дата-аналитикам, которые пришли в профессию из гуманитарных направлений:

Есть ли у вас синдром самозванца?

❤️ — нет, я не чувствую неуверенности в своих навыках
👍 — иногда накатывает
👾 — мне постоянно кажется, что я полез куда-то, куда не должен был

#интерактив


Если вы работаете с кодом или данными, а хотите попробовать себя в чём-то новом, присмотритесь к профессии ML-инженера. В ней вы сможете применить наработанные знания и опыт, не придётся начинать всё «с нуля».

Понять, будет ли вам интересно в этой сфере, можно на курсе Яндекс Практикума. В программе не будет основ, которые вам уже знакомы, только прикладные знания и практические задания.

За 4 месяца:
— вы поймёте, как переводить бизнес-задачу на язык машинного обучения,
— научитесь строить продвинутые ML-модели,
— создадите 3 сервиса в облаке для решения задач бизнеса.


Сделайте первый шаг и начните курс с бесплатной вводной части.


👩‍💻 Подборка видео про собеседования на позицию дата-аналитика

Перед техническим интервью может быть полезно посмотреть ролики с mock-собеседованиями или разборами популярных вопросов. Мы подобрали некоторые видео, связанные с анализом данных.

🔹Junior аналитик данных | Собеседование | karpov.courses
🔹A/B-тесты с Валерием Бабушкиным | Собеседование | karpov.courses
🔹Собеседование на аналитика данных. Разбор ОТВЕТОВ на вопросы (Python, SQL, ТЕРВЕР, статистика)
🔹SQL interview questions and answers | Entry level data analyst interview
🔹Собеседование на продуктового аналитика (mock-интервью)


🎨 OpenAI обновила GPT-4 до декабря 2023 года

Это значит, что модель дообучили на данных вплоть до этой даты. Теперь, согласно документации, ситуация такова:

▫️gpt-4-0125-preview и gpt-4-turbo-preview — декабрь 2023
▫️gpt-4-1106-preview, gpt-4-vision-preview и gpt-4-1106-vision-preview — апрель 2023
▫️gpt-4, gpt-4-0613, gpt-4-32k и gpt-4-32k-0613 — сентябрь 2021

GPT-3.5 Turbo была обучена на данных до сентября 2021 года.


📈 5 трендов в подборе ИТ-специалистов на 2024 год

Использование ИИ-алгоритмов становится трендом и в Human Resources. Такими инструментами пользуются и кандидаты, и работодатели.

🤖 Например, появляются Applicant tracking system (ATS) с ИИ, которые автоматизируют поиск и отбор кандидатов. А ещё есть Final Round AI — своеобразный помощник с искусственным интеллектом, который генерирует индивидуальные ответы на онлайн-интервью в режиме реального времени.

👉 О других трендах читайте в нашей новой статье 👈
🔗 Зеркало


🔢 Классные материалы по математике для машинного обучения

Это сайт авторов книги Mathematics for Machine Learning. Во-первых, сама книга доступна бесплатно. А во-вторых, в качестве приложения к ней даны упражнения и туториалы.

🔹 Математика за линейной регрессией
🔹 Метод главных компонент (PCA)
🔹 Модели гауссовой смеси

🔗 Репозиторий проекта на GitHub


🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈


🎓 Метод градиентного спуска: обзор модификаций

Градиентный спуск — это наиболее распространённый метод оптимизации, используемый в машинном обучении. Он предназначен для минимизации функции потерь, позволяя тем самым модели обучаться и постепенно улучшая её предсказательную способность.

Классический градиентный спуск может быть неэффективен в некоторых случаях. Поэтому существуют его разные модификации.

1️⃣Стохастический градиентный спуск (SGD)
В этой модификации мы подменяем вычисление градиента по всей выборке вычислением по случайной подвыборке. Подвыборку часто называют (мини) батчем. Для вычисления можно использовать и вовсе только один элемент.

2️⃣Метод инерции (momentum)
Добавляет концепцию инерции в обновления параметров, позволяя «ускоряться» при спуске по направлению к минимуму. Это достигается за счёт комбинирования градиента на текущем шаге с градиентом предыдущих шагов.

3️⃣Адаптивный подбор размера шага
Есть, например, алгоритм Adagrad. Он позволяет динамически подбирать размер шага для каждой координаты по отдельности. Также есть RMSprop — улучшение Adagrad, направленное на решение его проблемы быстрого уменьшения скорости обучения. Он адаптирует скорость обучения путём не просто складывания нормы градиентов, а их усреднения в скользящем режиме.

4️⃣Adam (Adaptive Moment Estimation)
Сочетает в себе идеи моментума и RMSprop.




Репост из: Библиотека питониста | Python, Django, Flask
🐍 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали один из свежих выпусков на 📰.

Ниже — небольшая подборка, а целиком читайте здесь 👈

🔎 Поисковик на 80 строках кода

Публикация рассказывает, как сделать базовую поисковую систему буквально на 80 строках Python-кода. Автор реализовал все основные компоненты поисковика: краулер, инвертированный индекс, ранжировщик и интерфейс.

⭐️ Полезные библиотеки

▪️Web2PDF – CLI-инструмент для конвертации веб-страниц (по URL) в PDF-файлы.
▪️Rexi – инструмент для работы с регулярными выражениями в терминале.
▪️Django HTMX Components – набор готовых компонентов, которые можно скопировать и вставить в Django-приложение.

🕹 Управление зависимостями

Туториал, который рассказывает, как начать пользоваться Poetry.

🔥 Интересные проекты

▪️«Гарри Поттер и движок Elasticsearch» — это семантическая поисковая система на основе векторной базы данных с информацией о вселенной Гарри Поттера.
▪️Чат-бот, имитирующий стиль Эминема.


🎨 OpenAI запустила форум для разработчиков ИИ

Вы спросите, и что в этом такого? Но дело в том, что это не совсем обычный форум. Участие в нём подразумевает:
▪️живые встречи для обсуждения технических деталей,
▪️образовательные вебинары,
▪️экспертные круглые столы,
▪️неформальные встречи.

Во всём этом будут активно участвовать исследователи OpenAI.

Также членство в форуме позволит поучаствовать в платных активностях, которые напрямую связаны с работой над моделями стартапа. Можно будет, например, заняться их оценкой.

Что нужно, чтобы стать участником форума:
✔️продемонстрировать интерес к искусственному интеллекту,
✔️найти час времени за квартал для участия в активностях,
✔️показать экспертность в вашей профессиональной области или экономической дисциплине.

🔗 Подать заявку можно по этой ссылке


👀 Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла интересная статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая подборка, а целиком читайте здесь 👈

💬Новости

▫️ Исследователи Стэнфордского университета обнаружили, что чат-боты склонны делать выбор в пользу насилия и ядерных ударов в военных играх.
▫️Разработчики приложения для знакомств Bumble протестировали новую AI-функцию Deception Detector, которая автоматически заблокировала 95% мошеннических аккаунтов.
▫️Google создала MobileDiffusion — мини-модель для супербыстрой генерации изображений на смартфонах.

🛠 Инструменты

▫️UserSketch — создаёт чат-бота на основе единой базы знаний с данными, собранными из любых документов, почты, мессенджеров, приложений для управления проектами и организации бизнес-процессов.
▫️Ytube AI — превращает YouTube-видео в SEO-оптимизированные статьи.
▫️ThreadScribe.ai — превращает сообщения из Slack в структурированную базу знаний, которой можно задавать любые вопросы и получать инсайты.
▫️Fooocus — бесплатная опенсорсная альтернатива Midjourney. Устанавливается локально.

⚙️ Сделай сам

Google выпустила инструмент localllm для запуска LLM локально или в облаке, на CPU вместо GPU. Подробный туториал по установке и настройке localllm — в блоге разработчиков.

🎓 Исследования

Исследователи из Технологического института Джорджии представили PokéLLMon. Возможности этого ИИ-агента сопоставимы с человеческими — он уже выиграл 56% боев против людей. Авторы также нашли способ избавиться от галлюцинаций и решили проблему панического переключения, когда при столкновении с сильным противником агент начинал хаотично переключаться между покемонами.


Видео недоступно для предпросмотра
Смотреть в Telegram
🪄 OpenAI выпустила модель для генерации видео по тексту

Новую text-to-video модель назвали Sora. Она способна создавать видеоролики длительностью до минуты.

⭐️ Пока Sora доступна только особым командам, которые будут её оценивать, и небольшому кругу тестировщиков.

🦄 Прикреплённое к посту видео получилось из промпта:
A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

🔗 Посмотреть на другие примеры генераций можно по этой ссылке


🤔 Остаться или уйти? Оптимальный срок работы на одном месте

Вы любите свою работу, интересные проекты вам гарантированы, зарплата повышается каждый год. Но вот уже 5 лет вы трудитесь в одной и той же компании. Не пора ли что-то изменить, пока мотивация окончательно не улетучилась?

Многие опытные айтишники сталкиваются с такой дилеммой. С одной стороны, текущее место работы устраивает. С другой — хочется разнообразия, новых задач и знаний.

Должен ли современный IT-специалист менять работу чаще, чем раз в 5 лет? Или лучше наращивать экспертизу в рамках одной компании? А может дело совсем не в сроках, а в качестве задач и развитии карьеры?

👉 Расскажите о своём опыте в нашем новом опросе 👈

Показано 20 последних публикаций.