Репост из: Клуб CDO
Дайджест статей
📰 Автоматизация Data Quality: как мы изменили подход к нашим инструментам
🔗 https://habr.com/ru/companies/tbank/articles/1085014/
💡 Отдай генерацию DQ-проверок агенту поверх каталога метаданных с обязательным HITL: 373 таблицы покрыты за три дня силами трёх стажёров.
📰 От сырых проверок качества данных до понятной картины в OpenMetadata
🔗 https://habr.com/ru/companies/magnit/articles/1085076/
💡 Интегрируя внешние DQ-проверки в OpenMetadata, ставь Kafka перед медленным API (около 1 с на запрос) и используй 409 как идемпотентность.
📰 Как устроена платформа данных «АстраЗенека» в России: BI, DWH и Data Lake в одном контуре
🔗 https://habr.com/ru/companies/astrazeneca/articles/1085060/
💡 Разводи запросы по контурам: официальная цифра - в DWH, гипотеза - в озеро, а приёмку работ делай через описание объектов в каталоге.
📰 VK Data Platform под капотом: как устроена платформа для Data Lakehouse
🔗 https://habr.com/ru/companies/vktech/articles/1086190/
💡 Выбирая Lakehouse, проверяй изоляцию compute-пулов над единым Iceberg-слоем, иначе тяжёлый Spark ETL будет тормозить BI.
📰 BI в эпоху ИИ: BI больше не нужен? Да здравствует BI
🔗 https://habr.com/ru/companies/luxms_bi/articles/1086568/
💡 Вкладывайся в обвязку, а не в модель: LLM - расходник, а права, семантика данных и аудит действий агента переживают любую смену модели.
📰 Data-driven или data-hopeful: зачем аналитике становиться системой
🔗 https://habr.com/ru/companies/garage8/articles/1086780/
💡 Оценивай аналитику матрицей зрелости по семи доменам и расти на одно деление за цикл, защитив 10-15% времени аналитиков.
📰 Data mart vs semantic layer when do you need both aedbad
🔗 https://medium.com/@kausik.kb.bhowmik/data-mart-vs-semantic-layer-when-do-you-need-both-ae625db547ad
💡 Прежде чем покупать semantic layer, напиши контракт на одну спорную метрику и прогони его параллельно со старой логикой.
📰 From Messy Data Models to Agentic Data Catalogs: Building an AI Data Architect with OKF and Gemini
🔗 https://medium.com/google-cloud/from-messy-data-models-to-agentic-data-catalogs-building-an-ai-data-architect-with-okf-and-gemini-75a20caee9ed
💡 Храни метаданные как Markdown в Git со ссылками-связями, и агенту хватит одного read-инструмента, чтобы трассировать lineage.
📰 Автоматизация Data Quality: как мы изменили подход к нашим инструментам
🔗 https://habr.com/ru/companies/tbank/articles/1085014/
💡 Отдай генерацию DQ-проверок агенту поверх каталога метаданных с обязательным HITL: 373 таблицы покрыты за три дня силами трёх стажёров.
📰 От сырых проверок качества данных до понятной картины в OpenMetadata
🔗 https://habr.com/ru/companies/magnit/articles/1085076/
💡 Интегрируя внешние DQ-проверки в OpenMetadata, ставь Kafka перед медленным API (около 1 с на запрос) и используй 409 как идемпотентность.
📰 Как устроена платформа данных «АстраЗенека» в России: BI, DWH и Data Lake в одном контуре
🔗 https://habr.com/ru/companies/astrazeneca/articles/1085060/
💡 Разводи запросы по контурам: официальная цифра - в DWH, гипотеза - в озеро, а приёмку работ делай через описание объектов в каталоге.
📰 VK Data Platform под капотом: как устроена платформа для Data Lakehouse
🔗 https://habr.com/ru/companies/vktech/articles/1086190/
💡 Выбирая Lakehouse, проверяй изоляцию compute-пулов над единым Iceberg-слоем, иначе тяжёлый Spark ETL будет тормозить BI.
📰 BI в эпоху ИИ: BI больше не нужен? Да здравствует BI
🔗 https://habr.com/ru/companies/luxms_bi/articles/1086568/
💡 Вкладывайся в обвязку, а не в модель: LLM - расходник, а права, семантика данных и аудит действий агента переживают любую смену модели.
📰 Data-driven или data-hopeful: зачем аналитике становиться системой
🔗 https://habr.com/ru/companies/garage8/articles/1086780/
💡 Оценивай аналитику матрицей зрелости по семи доменам и расти на одно деление за цикл, защитив 10-15% времени аналитиков.
📰 Data mart vs semantic layer when do you need both aedbad
🔗 https://medium.com/@kausik.kb.bhowmik/data-mart-vs-semantic-layer-when-do-you-need-both-ae625db547ad
💡 Прежде чем покупать semantic layer, напиши контракт на одну спорную метрику и прогони его параллельно со старой логикой.
📰 From Messy Data Models to Agentic Data Catalogs: Building an AI Data Architect with OKF and Gemini
🔗 https://medium.com/google-cloud/from-messy-data-models-to-agentic-data-catalogs-building-an-ai-data-architect-with-okf-and-gemini-75a20caee9ed
💡 Храни метаданные как Markdown в Git со ссылками-связями, и агенту хватит одного read-инструмента, чтобы трассировать lineage.