Дані є в усіх. Довіра до даних є не в усіх. RBC Data Platform — корпоративне сховище даних на відкритих технологіях від RBC Group. Разом із ним ви отримуєте RBC Data Portal: одне вікно, у якому видно, звідки прийшла кожна цифра, хто за неї відповідає і чому їй можна вірити.
Коротко
- Сховище будується шарами від джерела до вітрини: Stage, ODS, Raw Vault, Business Vault і вітрини. Нове джерело підключається без переробки вже зробленого.
- Портал дає єдиний вхід адміністраторам, власникам даних, бізнес-користувачам і комісії приймання: навігатор, каталог метаданих, карантин якості, моніторинг, приймальні випробування.
- Для звітності та дашбордів підключаємо Apache Superset, відкриту BI-платформу без плати за ліцензії користувачів.
Що входить у рішення
- Корпоративне сховище даних за методологією Data Vault 2.0 з правилами розрахунку у вигляді коду та автоматичними тестами.
- Портал керування: єдина точка входу до сховища для всіх ролей.
- Контроль якості з карантином і відповідальними за кожен маршрут даних.
- Моніторинг завантажень, якості та інфраструктури з готовими сповіщеннями.
- Аналітика: дашборди Apache Superset поверх вітрин.
Архітектура: від джерела до вітрини
Дані проходять зрозумілий шлях: сирі копії джерел (Stage), очищений оперативний шар (ODS), історизоване ядро (Raw Vault і Business Vault) та вітрини для звітів. Окремо ведуться довідники й атрибути, які бізнес заповнює сам.
Технологічна основа відкрита: StarRocks і Apache Iceberg для зберігання та запитів, dbt для правил розрахунку й тестів, Airflow і NiFi для завантажень. Правила розрахунку описані як код, тому кожну зміну видно, її можна перевірити й відкотити.
Шари сховища і що бачить кожна роль через портал
Портал: одне вікно до сховища
- Вхід і права. Локальні облікові записи, Active Directory або OIDC; ролі беруться з груп. Права перевіряються на сервері під час кожного запиту, персональні дані маскуються, усі дії потрапляють до журналу аудиту.
- Навігатор шарами. У картці кожного об’єкта видно колонки, дані, код моделі та родовід.
- SQL-консоль. Читання доступне в усіх шарах, запис є лише в окремої ролі, з підтвердженням і аудитом.
- Каталог метаданих. Бізнес-глосарій із погодженням «у чотири ока», каталог звітів, походження даних аж до поля та аналіз впливу змін.
- Вітрини та звіти. Перегляд із фільтрами, вивантаження в Excel, регуляторні звіти за звітними датами з порівнянням «дата до дати» та «період до періоду».
- Довідники без програміста. Бізнес-користувачі ведуть довідники в таблиці, схожій на Excel, або завантажують файли; кожне завантаження проходить перевірку та контроль якості.
Карантин якості: погані дані не проходять мовчки
Якщо перевірки затримали рядки на шляху до сховища, власники даних отримують сповіщення. Вони відповідають «прийнято в роботу» або «виправлено в джерелі», а допуск завантаження ставиться з другим підписом. Відповідальних призначено за маршрутами, тому питання «чиї це дані» не зависає в повітрі.
Моніторинг: що відбувається з даними просто зараз
Дашборди моніторингу відкриваються просто в порталі: завантаження, якість і дотримання термінів, стан бази, оркестратора та серверів. До постачання входять готові сповіщення про повноту завантаження, збої пайплайна і стан конекторів, а також регламент: що робити за кожним із них. Конфігурації підготовлено для середовищ розробки, тестування та промислової експлуатації.
Аналітика поверх сховища
Вітрини стають основою для дашбордів в Apache Superset, відкритій BI-платформі без плати за ліцензії користувачів.
Каталог метаданих і глосарій дають кожному показнику погоджене визначення, власника і походження. Такі дані придатні й для ШІ-інструментів, якщо замовник вирішить підключити їх у своєму контурі.
Приймання без сюрпризів
У портал вбудовано приймальні випробування: тест-кейси з інструкціями за ролями, контрольні запити, які запускаються кнопкою й одразу отримують статус, протоколи у Word та Excel. Керівник випробувань бачить зведення: що пройдено, що в роботі, що прострочено проти плану.
Для кого це рішення
- Банки. Регуляторна звітність і вітрини даних, зокрема вимоги, про які ми писали у статті «Вітрини даних АРРФР».
- Телеком-компанії. Дані білінгу, абонентської бази, мережі та фінансів в одному сховищі: собівартість кожної послуги, окупність обладнання та мережі, обґрунтування тарифів перед регулятором.
- Холдинги та групи компаній. Єдина звітність із різних облікових систем.
- Виробництво та дистрибуція. Дані з ERP, планування та кадрових систем в одному місці: Oracle JD Edwards, IBM Planning Analytics, RBC HCM Solutions.
Часті запитання
Чи будемо ми прив’язані до постачальника?
Рішення побудовано на відкритих технологіях і відкритих форматах даних.
Чи можна розгорнути сховище в закритому контурі?
Так. Рішення розгортається в інфраструктурі замовника, з окремими середовищами розробки, тестування та промислової експлуатації.
З чого починається проєкт?
З обстеження джерел і першого контуру: кілька систем, одна-дві вітрини, працюючий портал. Далі сховище зростає джерело за джерелом.
Покажемо портал наживо
RBC Group будує корпоративні сховища даних для банків, телеком-компаній і підприємств у Казахстані, Узбекистані, Україні та Азербайджані. Проведемо демонстрацію порталу й обговоримо перший контур для ваших даних.
Зв’язатися з намиmarketing@rbc-grp.solutions, +7 727 258 1712
Технологічна основа
- StarRocks — аналітичний MPP-рушій: звіти й вітрини розраховуються швидко навіть на великих обсягах.
- Apache Iceberg — відкритий формат зберігання: дані залишаються доступними іншим інструментам, а не замкнені в одній системі.
- dbt — правила розрахунку описані як код із тестами: кожну зміну видно й можна перевірити.
- Apache Airflow і Apache NiFi — завантаження за розкладом і під контролем: видно, що завантажилося, коли і з яким результатом.
- OpenMetadata — каталог даних: кожен показник має опис, власника і походження.
- Apache Superset — дашборди та звіти для бізнесу без ліцензійних платежів за кожного користувача.