Сучасні підприємства використовують складні екосистеми: від ERP та CRM до Hadoop та хмарних сховищ. Коли дані розпорошені між десятками систем, аналітика стає викликом. Наприклад, у промисловому холдингу продажі з різних ERP потрапляють у Data Warehouse через ETL, де змішуються з даними MDM. Без єдиного реєстру аналітик не може зрозуміти, чим sales_2019 відрізняється від sales_final.
14 травня 2019 року було представлено Apache Atlas 2.0.0. Цей реліз став відповіддю на потребу великих Hadoop-середовищ у сучасних інструментах управління метаданими.
Ключові зміни в Apache Atlas 2.0
Оновлення орієнтоване на актуальні технологічні стеки: Hadoop 3.1, Hive 3.1, HBase 2.0, Solr 7.5 та Kafka 2.0. Серед найважливіших інженерних покращень варто виділити:
- Soft-Reference Attributes: Спрощують моделювання зв'язків між сутностями без надмірної складності графа.
- Контроль унікальності: Захищає каталог від дублювання метаданих при повторних завантаженнях.
- Atlas Index Repair Tool: Важливий інструмент для адміністрування індексів JanusGraph.
- Incremental Metadata Export: Дозволяє ефективніше обмінюватися описами даних між різними середовищами.
Data Lineage: від джерела до результату
Data Lineage дозволяє візуалізувати шлях даних. Уявімо фінансового директора, який бачить невідповідність у звіті. Завдяки Atlas можна простежити, як дані FactSales залежать від конкретних полів в ERP, що пройшли через ETL. Якщо виникає помилка, функція Impact Analysis допомагає швидко ідентифікувати, які звіти будуть порушені змінами в структурі джерела.
Business Glossary та контекст
Технічні назви на кшталт DWH.FactSales не дають бізнес-розуміння. Створення Business Glossary дозволяє пов'язати технічну таблицю з визначенням, наприклад, «Чиста виручка». Це перетворює каталог на спільну мову для бізнес-користувачів та IT-команд. Важливо пам'ятати, що класифікація в Atlas — це лише інструмент маркування, а для реальної безпеки слід використовувати інтеграцію з Ranger або іншими механізмами контролю доступу.
Поради з міграції
Перехід на версію 2.0 потребує ретельної підготовки. Необхідно провести інвентаризацію всіх версій залежностей, створити повну резервну копію метаданих та протестувати оновлення на репрезентативному наборі даних. Особливу увагу варто приділити перевірці користувацьких типів та правил доступу, оскільки нові обмеження унікальності можуть вплинути на існуючі метадані під час першого запуску.
Успішне управління даними не обмежується інсталяцією програмного забезпечення. Це процес, що вимагає визначення відповідальних власників, регулярного супроводу бізнес-словника та оцінки якості даних. Apache Atlas 2.0 дає технічну основу для того, щоб перетворити хаос технічних об'єктів на впорядковану інформаційну систему.
Автор матеріалу