Данные есть у всех. Доверие к данным есть не у всех. RBC Data Platform — корпоративное хранилище данных на открытых технологиях от RBC Group. Вместе с ним вы получаете RBC Data Portal: одно окно, в котором видно, откуда пришла каждая цифра, кто за неё отвечает и почему ей можно верить.
Коротко
- Хранилище строится по слоям от источника до витрины: Stage, ODS, Raw Vault, Business Vault и витрины. Новый источник подключается без переделки уже сделанного.
- Портал даёт единый вход администраторам, владельцам данных, бизнес-пользователям и комиссии приёмки: навигатор, каталог метаданных, карантин качества, мониторинг, приёмочные испытания.
- Для отчётности и дашбордов подключаем Apache Superset, открытую BI-платформу без платы за лицензии пользователей.
Что входит в решение
- Корпоративное хранилище данных по методологии Data Vault 2.0 с правилами расчёта в виде кода и автоматическими тестами.
- Портал управления: единая точка входа в хранилище для всех ролей.
- Контроль качества с карантином и ответственными за каждый маршрут данных.
- Мониторинг загрузок, качества и инфраструктуры с готовыми оповещениями.
- Аналитика: дашборды Apache Superset поверх витрин.
Архитектура: от источника до витрины
Данные проходят понятный путь: сырые копии источников (Stage), очищенный оперативный слой (ODS), историзированное ядро (Raw Vault и Business Vault) и витрины для отчётов. Отдельно ведутся справочники и атрибуты, которые бизнес заполняет сам.
Технологическая основа открытая: StarRocks и Apache Iceberg для хранения и запросов, dbt для правил расчёта и тестов, Airflow и NiFi для загрузок. Правила расчёта описаны как код, поэтому каждое изменение видно, проверяемо и обратимо.
Слои хранилища и что видит каждая роль через портал
Портал: одно окно в хранилище
- Вход и права. Локальные учётные записи, Active Directory или OIDC; роли берутся из групп. Права проверяются на сервере при каждом запросе, персональные данные маскируются, все действия попадают в журнал аудита.
- Навигатор по слоям. В карточке каждого объекта видны колонки, данные, код модели и родословная.
- SQL-консоль. Чтение доступно во всех слоях, запись есть только у отдельной роли, с подтверждением и аудитом.
- Каталог метаданных. Бизнес-глоссарий с согласованием «в четыре глаза», каталог отчётов, происхождение данных вплоть до поля и анализ влияния изменений.
- Витрины и отчёты. Просмотр с фильтрами, выгрузка в Excel, регуляторные отчёты по отчётным датам со сравнением «дата к дате» и «период к периоду».
- Справочники без программиста. Бизнес-пользователи ведут справочники в таблице, похожей на Excel, или загружают файлы; каждая загрузка проходит проверку и контроль качества.
Карантин качества: плохие данные не проходят молча
Если проверки задержали строки на пути в хранилище, владельцы данных получают оповещение. Они отвечают «принято в работу» или «исправлено в источнике», а допуск загрузки ставится со второй подписью. Ответственные назначены по маршрутам, поэтому вопрос «чьи это данные» не повисает в воздухе.
Мониторинг: что происходит с данными прямо сейчас
Дашборды мониторинга открываются прямо в портале: загрузки, качество и соблюдение сроков, состояние базы, оркестратора и серверов. В поставку входят готовые оповещения о полноте загрузки, сбоях пайплайна и состоянии коннекторов, а также регламент: что делать по каждому из них. Конфигурации подготовлены для сред разработки, тестирования и промышленной эксплуатации.
Аналитика поверх хранилища
Витрины становятся основой для дашбордов в Apache Superset, открытой BI-платформе без платы за лицензии пользователей.
Каталог метаданных и глоссарий дают каждому показателю согласованное определение, владельца и происхождение. Такие данные пригодны и для ИИ-инструментов, если заказчик решит подключить их в своём контуре.
Приёмка без сюрпризов
В портал встроены приёмочные испытания: тест-кейсы с инструкциями по ролям, контрольные запросы, которые запускаются кнопкой и сразу получают статус, протоколы в Word и Excel. Руководитель испытаний видит сводку: что пройдено, что в работе, что просрочено против плана.
Для кого это решение
- Банки. Регуляторная отчётность и витрины данных, включая требования, о которых мы писали в статье «Витрины данных АРРФР».
- Телеком-компании. Данные биллинга, абонентской базы, сети и финансов в одном хранилище: себестоимость каждой услуги, окупаемость оборудования и сети, обоснование тарифов перед регулятором.
- Холдинги и группы компаний. Единая отчётность из разных учётных систем.
- Производство и дистрибуция. Данные из ERP, планирования и кадровых систем в одном месте: Oracle JD Edwards, IBM Planning Analytics, RBC HCM Solutions.
Частые вопросы
Мы окажемся привязаны к поставщику?
Решение построено на открытых технологиях и открытых форматах данных.
Можно ли развернуть хранилище в закрытом контуре?
Да. Решение разворачивается в инфраструктуре заказчика, с отдельными средами разработки, тестирования и промышленной эксплуатации.
С чего начинается проект?
С обследования источников и первого контура: несколько систем, одна-две витрины, работающий портал. Дальше хранилище растёт источник за источником.
Покажем портал на живом примере
RBC Group строит корпоративные хранилища данных для банков, телеком-компаний и предприятий в Казахстане, Узбекистане, Украине и Азербайджане. Проведём демонстрацию портала и обсудим первый контур для ваших данных.
Связаться с намиmarketing@rbc-grp.solutions, +7 727 258 1712
Технологическая основа
- StarRocks — аналитический MPP-движок: отчёты и витрины считаются быстро даже на больших объёмах.
- Apache Iceberg — открытый формат хранения: данные остаются доступными другим инструментам, а не заперты в одной системе.
- dbt — правила расчёта описаны как код с тестами: каждое изменение видно и проверяемо.
- Apache Airflow и Apache NiFi — загрузки по расписанию и под контролем: видно, что загрузилось, когда и с каким результатом.
- OpenMetadata — каталог данных: у каждого показателя есть описание, владелец и происхождение.
- Apache Superset — дашборды и отчёты для бизнеса без лицензионных платежей за каждого пользователя.