🐈 Твой будущий пет-проект поэтапно, ч. 2: парсим, предобрабатываем и изучаем данныеПрошлые части:
1. Откуда взять идею и данныеВ прошлой части (которая невероятно быстро набрала 50 реакций!) мы рассказали, откуда можно взять идею для твоего пет–проекта. Скорее всего, она будет попадать в одну или несколько категорий из следующих 5 (в зависимости от того, что ты хочешь развивать):
–
Аналитика + визуализация (e.g. сделать красивый дашборд)
–
Обучение моделек (e.g. дообучить llmку)
–
Сбор и подготовка данных (e.g. настроить регулярный парсинг)
–
Развертывание моделей (e.g. поднять llamу)
–
А/Б, проверка гипотез (e.g. провести стат тест)
В этой серии постов постараемся затронуть все категории проектов и их этапы. И первые этапы (сбор данных, предобработка и EDA) подходят для большинства категорий
# Сбор данных В прошлой части рассказали про то, откуда брать данные, но не рассказали, что делать, если вы не нашли подходящего датасета. В таком случае можно найти источник, и:
1) Вытащить данные через API– Вот
тут лежит небольшой список самых очевидных API
– Обычно к API всегда есть документация, и достать оттуда данные не составляет проблемы
2) Если API нет, спарсить их– Про парсинг мы уже писали
подробный пост, которого вполне достаточно для большинства сайтов
– Если у сайта сильная защита, то, скорее всего, вам стоит подумать над другим источником данных 🙂
– Если не хочется писать скрипты, то есть готовые воркфлоу в хайповой lowcode платформе n8n, их можно найти
тут (кстати, в бигтехах все чаще используется лоукод, если хотите пост про опенсорсный lowcode, то нужно набрать 50 сердечек ❤️ на этом посте)
# Предобработка данных– Самую базу можно найти, например, в
этой статейке– Про предобработку текстов можно почитать
тут– Про работу с изображениями можно посмотреть
слайды из Вышки–
Статейка с полезными штуками для препроцессинга временных рядов
# EDA (Исследовательский анализ данных)– Разведочный анализ включает в себя построение графичков, тесное знакомство с данными, извлечение инсайтов из них
– Если вы новичок, и вам нужно понять, что такое exploratory data analysis, прочитайте
эту статью–
Тут есть наш пост с ссылками на лекции Александра Дьяконова
– А еще мы писали про то, как чувак делал EDA для музыкантов с
last.fm, менее научно, но можно посмотреть для развлечения
– Если вы решили делать пет-проект в рамках кагл-соревы, можете посмотреть
пример EDA для соревнованияЧтобы вышла следующая часть, давайте наберем 150 🔥 под этим постом, и добьем первый уровень для канала (
забустить по ссылке), чтобы мы могли публиковать сторисы
А еще обязательно пишите в комментариях свои вопросы по пет-проектам, и мы постараемся ответить на них прямо там же или в следующих частях 🙂