Копаемся в метасторе

Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего

Из наиболее полезных таблиц я для себя выделила:

🤩COLUMNS_v2 - о колонках
🤩CTLGS - о каталогах
🤩DBS - о схемах
🤩ROLES - о ролях
🤩SDS (Storage Descriptors) - о путях к таблицам
🤩TABLE_PARAMS - о свойствах таблиц
🤩TBLS - о таблицах

И на основе этого мы можем вывести сводную инфу по всем схемам, таблицам, полям:


SELECT
d."NAME",
t."TBL_NAME",
t."OWNER",
s."LOCATION",
c."COLUMN_NAME",
c."TYPE_NAME",
c."COMMENT"
FROM "TBLS" as t
JOIN "DBS" d
ON t."DB_ID" = d."DB_ID"
JOIN "SDS" s
ON t."SD_ID" = s."SD_ID"
JOIN "COLUMNS_V2" c
ON s."CD_ID" = c."CD_ID"
--WHERE d."NAME" = 'raw'
--AND t."TBL_NAME" = 'test'
ORDER BY d."NAME", t."TBL_NAME", c."INTEGER_IDX";


А на этой картинке представлена ER-диаграмма модели данных

@data_engineerette