Віддалені команди й DataOps: як організувати розроблення, тестування та супровід корпоративних інформаційних систем без офісу
29 червня 2020 року стало зрозуміло, що пандемія COVID-19 перетворила дистанційну роботу з тимчасового заходу на нову модель ІТ-управління. Компанії, які раніше покладалися на неформальну комунікацію в офісі, зіткнулися з ризиками при розробленні та підтримці корпоративних даних. Тепер критично важливою стає формалізація через DataOps.
Організація розробки та CI/CD
Для віддаленої команди Git стає єдиним джерелом правди. Код ETL, SQL-процедури та конфігурації мають проходити через Pull Requests та обов’язковий Code Review. Це мінімізує помилки, коли один розробник змінює схему даних, а інший про це не знає. CI/CD для Data Warehouse має включати не лише синтаксичні тести, а й перевірки якості бізнес-даних, узгодженості схем та регресійне тестування, що дозволяє уникнути некоректних фінансових показників після оновлення.
Технологічні оновлення червня 2020 року
У червні 2020 року було випущено Apache Spark 3.0.0. Це реліз, що суттєво впливає на продуктивність завдяки Adaptive Query Execution (AQE), який оптимізує плани виконання запитів на льоту. Важливо пам'ятати, що модернізація потребує ретельного тестування: порівняння Baseline-показників із результатами на новому Spark-рушії є обов’язковим, оскільки оновлення може змінити поведінку складних JOIN-операцій.
Операційний Handover та контроль
У гіпотетичному прикладі великого холдингу, де CRM змінює структуру API, впровадження Data Contracts стає запобіжником від збоїв у звітності DWH. Команда не повинна дізнаватися про зміни після падіння ETL — технічні вимоги та версійність API мають бути узгоджені заздалегідь. У питаннях супроводу, за відсутності офісу, Runbooks (інструкції з відновлення) повинні стати основним інструментом. Кожен інцидент має бути зафіксований, а права доступу до продуктивних даних — суворо обмежені через Secrets Management, уникаючи зберігання паролів у коді.
Ролі та експертиза
Для реалізації таких процесів DMIG зосереджується на ETL та DQ, IQusion IT забезпечує автоматизацію через BPM, Softline IT відповідає за стабільність серверної та мережевої інфраструктури, а SL Global Service оптимізує хмарні та гібридні середовища. Кожна з цих ланок має діяти в єдиній екосистемі DataOps, де якість інформаційної послуги є головним KPI, незалежно від фізичного розташування співробітників.
Автор матеріалу