Базы данных | Access, SQL, Big Data


Гео и язык канала: Россия, Русский
Категория: Технологии


Всё о базах данных простым языком.
Сотрудничество: @max_excel
РКН: vk.cc/cHhG5h

Зарегистрирован в РКН
Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Организуем High Availability PostgreSQL

Чтобы система долго работала без сбоев и перерывов, нужно поработать над отказоустойчивостью. В этой статье автор даст несколько способов её построить и покажет готовое решение.

Базы данных


Яндекс открыл исходный код YTsaurus Flow — фреймворка для потоковой обработки данных

Он обрабатывает события по мере поступления, а не ждёт, пока они накопятся для пакетной обработки. Инфраструктурную часть фреймворк берёт на себя: долгосрочное состояние хранит в динамических таблицах YTsaurus, а число партиций для каждого этапа подбирает автоматически и сам перераспределяет нагрузку между машинами. Код открыт под Apache 2.0.

Как это работает на практике, видно по кейсу Рекламы. Чтобы дообучать модели, нужно понять, кликнули ли по показанному объявлению, и приложить к этому ML-факторы. Раньше события раскладывали по почасовым таблицам, а клик мог попасть в соседний час, поэтому self-join показов и кликов через MapReduce делали, только дождавшись следующей таблицы. Уже при нарезке на почасовые таблицы промежуточные копии данных по несколько раз писались на диск и читались обратно.

Теперь события группируются по ключу на лету, и клик попадает в ту же запись состояния, что и показ. Тяжёлую очередь факторов (сотни терабайт в час в сжатом виде) в состояние не пишут: её читают с отставанием на час, когда клик, если он был, уже учтён.

В итоге задержка сократилась с десятка-другого часов примерно до двух, почти на порядок, и без лишней записи огромных объёмов данных.

Базы данных


Видео недоступно для предпросмотра
Смотреть в Telegram
Разработка баз данных: Интервью

0:17:38 Программист под Oracle и PL/SQL
0:20:13 Согласованность данных
0:25:38 Тесты в БД
0:28:55 API в базах данных
0:31:17 Хранение кода и системы контроля версий
0:33:38 CI & CD
0:40:00 Про администраторов баз данных (DBA)
0:42:47 Как происходят вмешательства в базу
0:49:13 Кодревью
0:58:04 Про бэкапы
0:59:07 Инструменты
1:01:53 Задачи в ритейле
1:06:28 Работа с большими данными
1:10:30 Чем хорош Oracle как провайдер БД

Смотреть это видео на youtube: youtu.be/_liOxMtBNR8


Организация хранения исторических данных в Oracle

В этой статье автор разберет разные способы организации хранения исторических данных в Oracle. Под историческими данными будем понимать историю (лог) изменения данных в таблице.

Базы данных


Как оплачивать зарубежные сервисы в 2026 году?

Можно бегать между посредниками и бояться блокировок после оплаты, а можно выпустить международную карту Lumio Pay и пользоваться любимыми сервисами без рисков.

— выпуск карты за 2 минуты
— лучший курс пополнения на рынке (у конкурентов на 20% выше)
— пополнение рублями или криптой
— чистые BIN карт, оплата без риска блокировок

Пока все ищут идеальное решение, оно у тебя перед глазами: @LumioPay


Видео недоступно для предпросмотра
Смотреть в Telegram
Основы SQL

В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.

00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных

Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY


​​Хочешь быстро подтянуть свои знания в Excel и Google Sheets?
Устал собирать информацию по крупицам?

Тогда самое время воспользоваться специальным онлайн-курсом от Skillbox: «Excel + Google-таблицы с нуля до PRO», который научит тебя всем необходимым навыкам.

Ты получишь:
• Обучение, основанное на практике;
• Общение с наставником;
• Скидку 50%; 🎁
• Курс PowerPoint в подарок;
• Вечный доступ к курсам;
• Возможность рассрочки;
• Диплом Skillbox.

Не упусти такую возможность, прокачивай свои навыки: clck.ru/3RfjPF


Как мы продукт на PostgreSQL переводили

В этой статье автор поделится своими наработками как научить приложение работать с СУБД PostgreSQL и провести первую миграцию боевой системы.

Базы данных


Видео недоступно для предпросмотра
Смотреть в Telegram
Как ХК «Авангард» автоматизировал бизнес-аналитику?

После переезда на новую арену у клуба вырос объём данных о продажах билетов, кейтеринге и мерчандайзинге. Чтобы оперативно работать с этой информацией, «Авангард» автоматизировал отчётность и построил дашборды на Yandex DataLens и Yandex Cloud. Теперь бизнес-пользователи могут практически в реальном времени анализировать фактический спрос и сравнивать его с прогнозом. А с помощью нейроаналитика в DataLens можно просто задать вопрос по данным — система сама найдёт нужную информацию и сформулирует ответ. За три года выручка от продажи билетов выросла более чем на 80%. Подробнее о кейсе — в ролике.

👉 Узнать больше о Yandex DataLens


Деревья ltree в PostgreSQL – простым языком

В этой статье автор подробно разберет иерархические деревья ltree в PostgreSQL и расскажет о базовых приёмах извлечения данных из таких деревьев.

Базы данных


Видео недоступно для предпросмотра
Смотреть в Telegram
Основы работы в Oracle SQL Developer

В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.

Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0


Как был создан потоковый SQL-движок

Потоковый SQL-движок обеспечивает, чтобы результаты SQL-запросов всегда оставались актуальны, и их не приходилось пересчитывать. Даже в тех случаях, когда меняются данные, на которых основан запрос.

Базы данных


Видео недоступно для предпросмотра
Смотреть в Telegram
Теория баз данных

В этом видеоуроке автор подробно разбирает основы баз данных.

00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы

Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ


Как собрать полноценную платформу для обработки, хранения и визуализации данных в едином интерфейсе

В гибридной инфраструктуре локальный и облачный контуры можно соединить через Cloud Interconnect по приватному каналу. Это позволяет распределять нагрузки между собственными мощностями и облаком в рамках одной инфраструктурной схемы.

Для работы с данными Yandex Cloud обновила on-premises-платформу Stackland, которая разворачивается внутри инфраструктуры компании. Теперь на ее базе можно собрать полноценную платформу данных из готовых PaaS-компонентов: ClickHouse и PostgreSQL для хранения и обработки, Object Storage и Trino для аналитики, Airflow для оркестрации процессов и DataLens для визуализации.

Для оптимизации хранения Intelligent Tiering автоматически распределяет данные между тремя классами Object Storage в зависимости от частоты обращения. А Billing API позволяет отслеживать расходы с детализацией до отдельных сервисов и ресурсов.

Таким образом, компании могут объединять локальную и облачную инфраструктуру, разворачивать платформу данных в собственном контуре и управлять затратами без необходимости собирать каждый компонент с нуля.

Базы данных


Проблемы при переходе с MS SQL на PostgreSQL: типы данных

В этой статье автор продолжит серию и поделится проблемами некоторых различий типов данных в MS SQL и PostgreSQL.

Базы данных


Проблемы при переходе с MS SQL на PostgreSQL: активное использование временных таблиц

В этой статье автор подробно расскажет о наиболее распространенной проблеме, возникающей при переходе с MS SQL на PostgreSQL.

Базы данных


Как устроена виртуальная машина SQLite

Среди встраиваемых баз данных SQLite уникальна не только благодаря своему транзакционному уровню хранения данных, построенному по принципу Б-дерева, но и благодаря собственному надёжному движку выполнения SQL. В этой статье автор подробно разбирает, как SQLite синтаксически анализирует, оптимизирует и выполняет ваши SQL-запросы.

Базы данных


Когда для работы с данными используется сразу несколько систем

По данным Yandex B2B Tech, 70% аналитических команд используют от 5 до 10 инструментов для загрузки, хранения, обработки и анализа данных. В результате приходится отдельно настраивать интеграции и обмен информацией между системами.

Yandex B2B Tech представила DataLens Platform, где хранилище, обработка данных, отчеты, дашборды и ИИ-аналитика объединены в одной среде. В платформе также есть ИИ-помощник, которому можно задавать вопросы на обычном языке и получать показатели на основе корпоративных данных.

По оценке разработчиков, такой подход может сократить совокупные затраты на аналитику до 30%, а подготовку отчетов и дашбордов ускорить в 3–5 раз.

Сначала платформа будет доступна в Yandex Cloud. Общедоступный релиз запланирован на март 2027 года.


Почему Trino такой быстрый: динамические фильтры

Принцип большинства оптимизаций производительности в аналитических SQL-движках — ответить на запрос пользователя, затратив минимум вычислительных ресурсов. Динамические фильтры — это оптимизация, которая создает дополнительный предикат для одной из сторон оператора Join на основе данных другой стороны. Рассмотрим реализацию динамических фильтров на примере Trino.

Базы данных


Видео недоступно для предпросмотра
Смотреть в Telegram
Иерархические (рекурсивные) запросы

При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.

Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE

Показано 20 последних публикаций.