Metaduomenimis grindžiamas ETL: greitesnis naujų duomenų išteklių kūrimas

Manome, kad atėjo laikas atskleisti, kaip mes dirbame ir kodėl mūsų taikoma metaduomenimis valdoma metodika (angl. „metadata-driven approach“) leidžia duomenų integravimo projektus įgyvendinti efektyviau nei taikant tradicinius sprendimus. Nors tradicinis ETL (angl. Extract, Transform, Load) bėgant metams gerokai patobulėjo, jis išlieka itin svarbus duomenų integravimo projektuose. Šiame tinklaraštyje atskleisime duomenų integravimo filosofiją, kuria vadovaujamės kurdami savo sprendimus. Žemiau aprašyti principai jau įgyvendinti SAS pagrindu sukurtame programinės įrangos sprendime - „MDIS Data Management“ (toliau - MDIS).  Šį sprendimą jau daugelį metų sėkmingai naudoja mūsų klientai viešajame, draudimo ir bankininkystės sektoriuose. Šis tekstas skirtas esamiems ir būsimiems mūsų klientams, ir visiems, kurie domisi šiuolaikinėmis duomenų integravimo metodikomis.

‍

‍

ETL sistemų priežiūros iššūkiai

‍

Organizacijos, naudojančios tradicinius duomenų integravimo įrankius, dažnai susiduria su gerai pažįstama problema: didėjant duomenų kiekiui, verslo taisyklių skaičiui ir reguliavimo reikalavimams, ETL sistemas prižiūrėti tampa vis sudėtingiau.

Iš pradžių nesudėtingi ETL procesai laikui bėgant tampa sunkiai valdomi – juos sudaro šimtai tūkstančių programinio kodo eilučių, tūkstančiai duomenų srautų (angl. data flows) ir vis didesnė priklausomybė nuo kelių patyrusių programuotojų.

‍

‍

Kodėl tradicines ETL sistemas sunku palaikyti

‍

Tradiciniai ETL projektai paprastai grindžiami rankiniu būdu kuriamomis programomis, grafiniais ETL duomenų srautais, rankiniu būdu prižiūrima vykdymo seka, individualiai kuriama vykdymo eiliškumo logika ir išsamiu testavimu po kiekvieno pakeitimo.

Projektams plečiantis, ilgėja jų įgyvendinimo laikas ir didėja priežiūros sąnaudos. Net ir nedideli reikalavimų pakeitimai gali pareikalauti didelių korekcijų keliose ETL procesuose.

‍

‍

Problemos priežastis – tradicinis ETL sprendimų projektavimo būdas

‍

Mūsų taikomas, metaduomenimis grindžiamas metodas, iš esmės keičia situaciją. Užuot kūrę statinius ETL duomenų srautus, programuotojai MDIS aplinkoje sukuria metaduomenis, kurie nurodo, kokie duomenų integravimo uždaviniai turi būti atlikti, o vykdymo platforma pati nustato, kaip jie turi būti įvykdyti.

Tai gerokai sumažina kūrimo darbų apimtį, supaprastina priežiūrą ir mažina diegimo rizikas.

‍

Metaduomenys vietoje statinių ETL srautų

‍

MDIS aplinkoje mūsų programuotojai konfigūruoja metaduomenis, aprašančius tikslines lenteles, tikrinimo taisykles, transformacijas, istorinių duomenų kaupimo logiką, procesų priklausomybes ir vykdymo parametrus.

Vykdymo variklis automatiškai sugeneruoja reikiamą duomenų apdorojimo logiką.

‍

Automatinis duomenų apdorojimo eiliškumo nustatymas

‍

Viena sudėtingiausių užduočių, didelėse ETL aplinkose, yra tinkamo lentelių apdorojimo eiliškumo užtikrinimas.

Užuot, lentelių  apdorojimo tvarką fiksuojant tiesiogiai programos kode, MDIS analizuoja tikrinimo taisykles, lentelių priklausomybes ir procesų ryšius bei automatiškai nustato lentelių apdorojimo eiliškumą.

‍

Įrašų lygmens apdorojimas gerina našumą

‍

MDIS generuoja SAS kodą, kuriame esminis darbas atliekamas viename SAS DATA žingsnyje. Jis skaito šaltinio lentelę eilutė po eilutės ir atlieka reikiamas transformacijas, jungimus su kitomis lentelėmis bei atlieka duomenų kokybės patikrinimus eilutės lygmeniu. Taigi, šaltinio lentelė nuskaitoma tik vieną kartą, o paskirties lentelė sukuriama vienu žingsniu.

Norėdamos atlikti tuos pačius veiksmus, tradicinės duomenų bazių valdymo sistemos turi naudoti kelis SQL žingsnius ir (arba) lėtai veikiančius duomenų bazės kursorius (angl. database cursors). Dėl šių priežasčių, toks našumas, kokį užtikrina MDIS, negali būti pasiektas.

‍

Lygiagretusis apdorojimas be rankinio optimizavimo

‍

MDIS naudoja istorinius vykdymo duomenis procesų vykdymui optimizuoti. Remdamasi ankstesnių vykdymų rezultatais, MDIS nustato ar lygiagretus vykdymas yra tikslingas, parenka optimalų lygiagrečių sesijų skaičių ir sudaro procesų vykdymo grafiką, atsižvelgdamas į jų tarpusavio priklausomybes.

‍

Paprastesnė sistemos priežiūra

‍

Verslo reikalavimai nuolat keičiasi. Reguliuojamuose sektoriuose tai gali reikšti naujas tikrinimo taisykles, audito reikalavimus, ataskaitų pakeitimus ir naujas pirminių duomenų sistemas.

MDIS metaduomenimis grindžiamoje architektūroje verslo logika atskiriama ir saugoma konfigūruojamuose metaduomenyse, todėl pakeitimai atliekami lokaliai, sumažėja regresinio testavimo apimtis ir diegimų rizikos.

‍

Integruota operacinė analitika

‍

MDIS procesų vykdymo, tikrinimo, duomenų pokyčių registrai, automatinis anksčiau nesėkmingai pasibaigusių procesų pakartotinis perleidimas bei vykdymo modeliavimas suteikia administratoriams centralizuotą visos ETL aplinkos operacinį vaizdą.

Šie registrai padeda suprasti, kas buvo įvykdyta, kokios tikrinimo taisyklės buvo pritaikytos, kas pasikeitė ir kuriuos procesus reikia perleisti.

‍

Viso duomenų integravimo gyvavimo ciklo palaikymas

‍

Metaduomenimis grindžiama architektūra supaprastina kūrimą, testavimą, pradinį duomenų įkėlimą, sistemų eksploatavimą ir būsimus keitimus.

‍

Išvados

‍

Įmonių/įstaigų duomenų aplinkoms nuolat augant ir sudėtingėjant, tradicinių ETL sprendimų priežiūra tampa vis sudetingesnė ir brangesnė. Be to, pakeitimų įgyvendinimas dažnai tampa nebeįmanomas.

MDIS architektūroje statiniai ETL srautai pakeičiami konfigūruojamais metaduomenimis ir automatizuota vykdymo logika. Tai sumažina įgyvendinimo darbų apimtį, supaprastina priežiūrą ir leidžia organizacijoms daugiau dėmesio skirti verslo poreikiams, o ne techniniams ETL procesams. Visa tai leidžia gerokai greičiau kurti ir diegti naujus duomenų išteklius.

‍

‍

...Būsimuose tinklaraščiuose pateiksime daugiau informacijos ir atskleisime dar daugiau.

‍