Услуги · Управление данными
OpenMetadata: полная картина ваших данных без ручного ввода
Откуда взялась цифра в отчёте? Какие дашборды сломаются, если поменять таблицу? Кто отвечает за показатель и что он означает? В крупной компании ответ на каждый такой вопрос стоит часов переписки. OpenMetadata отвечает за минуты — а мы внедряем её так, чтобы каталог наполнялся сам и показывал путь данных от системы-источника до бизнес-термина на дашборде.
OpenMetadata — единый справочник обо всех данных компании
OpenMetadata (OMD) — каталог метаданных. В нём собраны источники, таблицы хранилища, пайплайны, BI-модели, дашборды, метрики и бизнес-глоссарий, а главное — связи между ними.
Программа бесплатна: это проект с открытым кодом под лицензией Apache 2.0. Нет платы за лицензии, зависимости от вендора и ограничений по числу пользователей или подключённых систем. Платить стоит только за то, что создаёт ценность, — грамотное внедрение и настройку под ваш ландшафт.
Каталог снимает ежедневные проблемы у конкретных людей
| Кто | Проблема | Что даёт OpenMetadata |
|---|---|---|
| Руководитель, бизнес-заказчик | В двух отчётах «выручка» разная, и непонятно, какому верить | Единое определение термина в глоссарии и видно, на каких данных построена каждая цифра |
| Аналитик | Полдня уходит на поиск нужной таблицы и выяснение, что значат поля | Поиск по каталогу, описания, владельцы и примеры использования в одном месте |
| Дата-инженер | Страшно менять таблицу: неизвестно, что сломается дальше | Происхождение данных показывает все зависимые пайплайны, модели и дашборды до изменения |
| BI-разработчик | Дашборд показывает ерунду, а причину надо искать по всей цепочке | Путь от меры на дашборде до источника и статус качества данных на каждом шаге |
| Новый сотрудник | Месяцы уходят на то, чтобы понять, где какие данные | Каталог служит картой: что есть, где лежит, кто отвечает, как связано |
| Безопасность и комплаенс | Неясно, где хранятся персональные данные и у кого к ним доступ | Теги чувствительности, которые распространяются по цепочке, и управление правами |
| Руководитель направления данных | Нет прозрачности: что используется, что устарело, где дубли | Статистика использования, владельцы, неиспользуемые таблицы и дашборды видны сразу |
Пример. В квартальном отчёте падает показатель, совет директоров задаёт вопрос. Без каталога команда два дня выясняет, реальный это спад или сломалась загрузка. С настроенной OpenMetadata аналитик открывает метрику, видит дашборд, меру, модель, таблицу и пайплайн — и замечает, что вчерашний запуск загрузки упал. Ответ готов за 15 минут.
Лучшее сочетание возможностей, простоты и стоимости
На рынке есть коммерческие каталоги — Collibra, Alation, Informatica — и открытые аналоги: DataHub, Apache Atlas, Amundsen. OpenMetadata выигрывает у них по совокупности.
Нулевая стоимость лицензий
Коммерческие каталоги стоят десятки и сотни тысяч долларов в год, а многие из них сегодня недоступны российским компаниям.
Простая архитектура
Работает на привычной реляционной базе и поисковом движке, без Kafka, графовой БД и отдельного кластера. Проще развернуть, обновлять и сопровождать.
Всё в одной платформе
Каталог, происхождение до уровня колонок, проверки качества, профилирование, глоссарий, метрики, контракты данных и управление доступом.
Единая модель метаданных
Все сущности описаны строгими схемами, поэтому связь «термин — метрика — мера — таблица» хранится как связь, а не как текст в описании.
Широкий набор коннекторов
Из коробки — десятки баз данных, хранилищ, оркестраторов, BI-систем и ML-платформ.
Удобство для бизнеса
Понятный интерфейс на русском, обсуждения и задачи прямо на объектах, уведомления. Каталогом пользуются не только инженеры.
Открытый API
Любую сущность можно создать и связать через API — так мы пишем собственные загрузчики под любые системы.
Активное развитие
Большое сообщество и частые релизы: продукт не застынет и не исчезнет вместе с поставщиком.
В каждой организации каталог занимает свою нишу
Мы внедрили OpenMetadata в нескольких крупных организациях — и ни разу она не решала у двух клиентов одну и ту же задачу. Каталог встраивается туда, где сильнее всего болит: у одних это доверие к цифрам, у других — сложность изменений, у третьих — требования регулятора. Влияют и зрелость команды, и стек, и то, кто главный потребитель данных.
Единый источник правды для показателей
Десятки отчётов, где одна и та же метрика считалась по-разному. В каталоге закрепили определения терминов и метрик и видно, какой дашборд считает их правильно.
Анализ влияния изменений
Большое хранилище с сотнями пайплайнов. Перед любым изменением инженеры видят, какие модели и дашборды оно затронет, — изменения перестали неожиданно ломать отчёты.
Управление данными и комплаенс
Жёсткие требования к персональным данным. Каталог размечает чувствительные поля, контролирует их распространение по цепочке и помогает аудиту доступа.
Поддержка миграции
Переезд со старого хранилища на новое. Каталог показал, что реально используется, а что можно не переносить, и помог сверять старые и новые цепочки.
Самообслуживание аналитиков
Много бизнес-пользователей BI. Каталог стал витриной: где найти данные, кто за них отвечает и можно ли им доверять.
Ваша ниша
Определяем её в начале проекта: от неё зависит, какие системы подключать первыми, какие связи строить и какие роли получат доступ.
Небольшой компании OpenMetadata, скорее всего, не окупится
Мало данных — мало хаоса
Одна база, десяток таблиц и пара дашбордов помещаются в голове у двух-трёх человек. Вопрос «откуда цифра» проще решить разговором.
Владение не бесплатно
Программу нужно развернуть, обновлять, мониторить и наполнять. Для маленькой команды это заметная нагрузка, которая съест выгоду.
Без связанности нет эффекта
Ценность появляется, когда в каталоге много связанных объектов и пользователей. Каталог из 30 таблиц не даст эффекта «видно всё».
Есть решения проще
На малом масштабе хватает документации в dbt, вики-страницы с глоссарием и описаний прямо в BI.
Когда окупается. Несколько источников, хранилище с сотнями таблиц, регулярные пайплайны, десятки дашбордов и несколько команд, которые работают с данными.
Каталог, который наполняется сам
Каталоги данных умирают от ручного ввода: сначала команда энергично заполняет описания, через полгода всё устаревает, и каталогу перестают доверять. Мы строим внедрение так, чтобы этого не происходило.
Собственные загрузчики
Автоматически забирают из ваших систем таблицы, пайплайны, модели, меры, дашборды, описания и владельцев. Метаданные обновляются по расписанию и всегда соответствуют реальности.
Максимальная связанность
Связываем объекты в сквозные цепочки: от любого дашборда можно дойти до источника, а от любого термина — до конкретных цифр.
Пакет рекомендаций
Правила для команды: как называть и описывать таблицы, оформлять пайплайны в Airflow и модели в dbt, строить модели и меры в BI, размечать дашборды. Соблюдая их, разработчики документируют работу в каталоге автоматически.
Вручную остаётся только то, чего не знает ни одна система
- бизнес-термины и их определения
- часть метрик, которые не описаны в BI или dbt
- права доступа
Всё остальное каталог узнаёт сам
Таблицы, колонки, пайплайны и их запуски, модели dbt, модели данных и меры BI, листы и визуализации, описания и владельцы.
Сквозная цепочка из шести уровней — в обе стороны
Источники
Базы данных, 1С, файлы и внешние сервисы, из которых приходят данные.
Пайплайны
Процессы Airflow и скрипты загрузки: что читают, что пишут, когда последний раз отработали.
Хранилище
Таблицы, колонки и модели dbt с описаниями, тестами и зависимостями.
BI
Модели данных, меры, листы, визуализации и дашборды.
Метрики
Показатели компании и правила их расчёта — то, что не описано в BI или dbt.
Бизнес-термины
Глоссарий: что означает «выручка», «отток», «активный клиент».
Сверху вниз цепочка отвечает на вопрос «на что повлияет изменение в источнике», снизу вверх — «из чего на самом деле посчитан этот показатель».
Первые четыре уровня каталог получает сам. Людям остаётся описать смысл: термины, часть метрик и права доступа.
Отработанные подключения для современного стека
Airflow
Загружаем DAG-и и задачи как пайплайны, связываем их с таблицами, которые они читают и пишут, передаём статусы запусков. Видно, какой процесс наполняет таблицу и когда он последний раз отработал успешно.
dbt
Забираем модели, описания, тесты и зависимости, строим происхождение до колонок. Документация, которую разработчики пишут в dbt, сама появляется в каталоге.
BI-платформы
Подключаем модели данных, меры, дашборды и визуализации и связываем их с таблицами хранилища.
Qlik — собственный коннектор
Стандартный коннектор OpenMetadata забирает ограниченный набор объектов и почти не связывает их с хранилищем. Наш загружает модели данных и их связь с таблицами-источниками, меры и измерения с выражениями, листы и визуализации, описания и владельцев.
Для пользователей Qlik это значит, что дашборды перестают быть «чёрным ящиком»: каждая визуализация связана с мерой, мера — с полями модели, модель — с таблицами в хранилище.
Обычный рабочий день с настроенной OpenMetadata
Дата-инженер
Видит, что ночной пайплайн загрузки продаж упал, а проверка качества на таблице заказов нашла пропуски. По цепочке сразу видно три затронутых дашборда: он ставит на них пометку, и владельцы получают уведомление раньше, чем бизнес заметит странные цифры.
Аналитик
Получил задачу посчитать отток клиентов. Вместо вопроса в чат ищет «отток» в глоссарии: находит определение, связанную метрику, дашборд, где она уже считается, и таблицу под ним. Задача на день занимает час.
BI-разработчик
Хочет переименовать поле в модели. Открывает его в каталоге, видит все зависимые меры и визуализации, вносит изменение осознанно и предупреждает коллег.
Руководитель
Сомневается в цифре на дашборде. Нажимает на показатель и видит определение, владельца, время обновления и результат проверок качества. Вопрос «можно ли этому верить?» закрыт без звонков.
Владелец данных
Смотрит статистику: какие таблицы и дашборды никто не открывает, где дублируются расчёты, у каких объектов нет владельца. Это готовый план наведения порядка.
Обсудим ваш проект
Проведём демонстрацию на примере, близком к вашему ландшафту
- Определим, какую нишу каталог займёт именно у вас
- Подключим ваши системы готовыми загрузчиками
- Выстроим сквозную связанность и передадим команде правила