Библиотека data scientist’а | Data Science, Machine learning, анализ данных, машинное обучение


Гео и язык канала: Россия, Русский
Категория: Технологии


Все самое полезное для дата сайентиста в одном канале.
Список наших каналов: https://t.me/proglibrary/9197
Учиться у нас: https://proglib.io/w/f83f07f1
Обратная связь: @proglibrary_feedback_bot
По рекламе: @proglib_adv
Прайс: @proglib_advertising

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


☄️ Подборка последних исследований из области искусственного интеллекта

Google научила ИИ решать математические задачи на уровне олимпиадника-медалиста
Компания представила две модели — AlphaProof и AlphaGeometry 2. Вместе они впервые смогли решить четыре из шести задач International Mathematical Olympiad (IMO). Это уровень участника, взявшего серебряную медаль.

📈 Вышел отчёт «Индекс зрелости корпоративного искусственного интеллекта 2024»
Как выяснилось, для многих организаций использование ИИ всё ещё находится на экспериментальной стадии. Лишь 18% опрошенных используют возможности искусственного интеллекта.

Сравнение RAG и LLM с большим контекстным окном
Хотя RAG — это довольно мощный инструмент, последние модели, такие как Gemini-1.5 и GPT-4, демонстрируют хорошие способности к пониманию длинных контекстов напрямую. В рамках исследования проводится всестороннее сравнение RAG и подобных моделей, чтобы выявить сильные стороны обоих подходов.

🦄 Исследователи из IBM предложили новый метод уменьшения галлюцинаций LLM
Авторы демонстрируют, что путём простого масштабирования вектора, который ограничивает генерацию в декодере LLM с расширенной памятью, можно добиться уменьшения галлюцинаций без необходимости обучения.


💵⚡️ДАРИМ 40 000₽ ЗА ВИДЕО

Конкурс года в «Библиотеке программиста»: смонтируйте короткий вертикальный ролик формата Shorts/Reels* на тему программирования и разработки — лучший автор получит 40 тысяч рублей 🤑

Подробные условия:
➡️смонтируйте короткий смешной вертикальный ролик (можно и нужно использовать мемы)
➡️отправьте нам в бота @ProglibContest_bot
➡️лучшие ролики (по мнению редакции) мы будем выкладывать в канал и в наш инстаграм*
➡️тот, чей ролик соберет больше всего просмотров в инстаграм*, получит приз — 40 тысяч рублей

Какие ролики мы не принимаем:
😟не вашего авторства (проверим!)
😟длинные, невертикальные, несмешные

Таймлайн:
2 августа — заканчиваем принимать видео
⬇️
3 августа — начинаем загружать лучшие видео в инстаграм
⬇️
9 августа — подводим итоги

*Организация Meta признана экстремистской в РФ


Репост из: Proglib.academy | IT-курсы
📊 Kaggle за 30 минут: практическое руководство для начинающих

Начинающему дата-сайентисту необходима практика, а Kaggle решает эту проблему. Из статьи вы узнаете, как лучше всего начать работу с популярным сервисом.

🔗 Статья


Внимание, задание:

С помощью эмодзи расскажите, чем вы занимаетесь на работе 👀

Вот пример: 🧑‍💻😭🧑‍💻

👇Ждём в комментариях👇


🪐 Satyrn — удобная альтернатива JupyterLab для macOS

▪️Инструмент бесплатный. Нужно просто скачать подходящий клиент с сайта.
▪️Запускается в отдельном окне без каких-либо дополнительных окон терминала.
▪️К работе с Jupyter Notebooks можно приступить сразу.
▪️Можно установить любое ядро, с которым вы привыкли работать.

🔗 Ссылка на сайт Satyrn


✍️ Слияние словарей в PyTorch: зачем нужно и подводные камни

Обучение большой сети на одной видеокарте может стать проблемной задачей. Одним из способов решить её является разбивка датасета на части и обучение одной и той же нейросети параллельно на разных устройствах. Однако затем нужно каким-то образом слить обученные нейросети в одну.

👉 О том, как это делать, можно подробнее почитать в новой статье на «Хабре»


✍️ Многослойный перцептрон в PyTorch

Автор блога AI by Hand предложил следующее упражнение: 

Вам дан шаблон кода слева и схематичное изображение многослойного перцептрона справа (см. видео, прикреплённое к посту). Нужно заполнить пробелы.

Вот шаги для заполнения👇

▪️Первый линейный слой:
Размер входных признаков — 3. Размер выходных признаков — 4. Мы видим, что размер матрицы весов составляет 4 на 3. Также есть дополнительный столбец для смещений (bias = T).

▪️Функция активации — ReLU. Мы видим эффект ReLU на первом признаке (-1 -> 0).

▪️Второй линейный слой:
Размер входных признаков — 4, что совпадает с размером выходных признаков предыдущего слоя. Размер выходных признаков — 2. Мы видим, что размер матрицы весов составляет 2 на 4. Но нет дополнительного столбца для смещений (bias = F).

▪️Функция активации — ReLU.

▪️Финальный линейный слой:
Размер входных признаков — 2, что совпадает с размером выходных признаков предыдущего слоя. Размер выходных признаков — 5. Мы видим, что размер матрицы весов составляет 5 на 2. Также есть дополнительный столбец для смещений (bias = T).

▪️Функция активации — Sigmoid. Мы видим эффект Sigmoid, который представляет собой нелинейное отображение «сырых» значений (3, 0, -2, 5, -5) к вероятностным значениям (между 0 и 1).


Репост из: Библиотека питониста | Python, Django, Flask
🐍🛠️ 5 Python-инструментов, которые изменят ваш подход к разработке

Эффективность разработки на Python во многом зависит от используемых инструментов. В этой статье мы рассмотрим пять мощных решений, способных существенно повысить продуктивность вашей работы.

👉 Читать статью


15 Pictures with Deep Meaning:

1. 👆

Итак, коллеги, делимся любимыми картинками про DS и ML, чтобы собрать пак из минимум 15 мемов 👇


🧡💛 Теперь создавать и редактировать Google Sheets можно прямо из Colab-ноутбука

Новая функция InteractiveSheet предоставляет графический интерфейс (GUI) для данных. Вы можете анализировать их и трансформировать так, как делали бы это в Google Sheets. Нужно лишь ввести строчку:

👉 sh = sheets.InteractiveSheet(df=df, title='your_title')


Хардкорный курс по математике для тех, кто правда любит математику!

Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/584771bd

Что вас ждет:

– Вводный урок от CPO курса;

– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск;

– Практические задания для закрепления материала и ссылки на дополнительные материалы.

⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/584771bd


🔢 Калькулятор для расчёта необходимого размера выборки для A/B тестов

Реддитор поделился сайтом, который сделал, чтобы облегчить себе жизнь.

Калькулятор может:
▪️работать с разными пропорциями распределения групп (например, 20/80),
▪️поддерживать более двух тестируемых групп помимо,
▪️выбирать между односторонним и двусторонним статистическим тестом.

🔗 Ссылка на калькулятор


🐱 Pipecat — open-source фреймворк для создания голосовых и мультимодальных агентов

Позволяет разработчикам создавать такие приложения, как персональные помощники, боты для работы с клиентами и пр.

Фреймворк поддерживает интеграцию с различными AI-сервисами, предлагает возможности для работы с текстом, изображениями и видео и обеспечивает гибкость для локального или облачного развёртывания.

🔗 Ссылка на репозиторий


🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈




👀 ML system design: 450 примеров для изучения

Это большая таблица, которая содержит материалы с описанием систем машинного обучения более 100 компаний: от Netflix до Slack. Вы можете искать по базе, фильтруя примеры по отраслям или направлению машинного обучения.

Вот лишь некоторые примеры из базы:

▪️GitLab: проверка качества сгенерированного ИИ материала;
▪️Netflix: классификация видеоконтента;
▪️Google: исправление грамматических ошибок

🔗 Ссылка на полную базу


👾 Небольшая игра для понимания концепции активного обучения

Этот сайт содержит описание такого подхода, как активное обучение. Его суть заключается во взаимодействии алгоритма с некоторым источником информации, способным размечать запрошенные данные.

В игре вам предлагается разметить точки на графике так, чтобы построенная разделяющая линия совпала с истинной границей принятия решения.

🔗 Ссылка на игру


Репост из: Библиотека питониста | Python, Django, Flask
🤖💼 ТОП-6 самых высокооплачиваемых профессий в сфере ИИ

Forbes опубликовал список самых высокооплачиваемых профессий в сфере ИИ. Рассказываем, какие профессии лидируют и какие навыки требуются.

Зарплаты указаны для западного рынка.

👉 Читать подробности в статье

Показано 18 последних публикаций.