Data Warehouse Automation

DWA TOOLS OG DATA WAREHOUSE AUTOMATION – ALT DU BEHØVER VIDE

Data Warehouse Automation

Der tales meget om Data Warehouse Automation, forkortet DWA. Men hvad handler det egentligt om – og hvordan kan det hjælpe dig?.  Hvad er godt at have med i tankerne, når du skal vælge et DWA værktøj?. Her er svarene på disse og nogle andre spørgsmål om automatisering af Data Warehouse.

HVAD ER DATA WAREHOUSE AUTOMATION?

Som ofte er der mange forskellige definitioner, men den ene er at DWA omfatter alle centrale processer i et Data Warehouse herunder design, udvikling, test, implementering, drift, konsekvensvurdering og forandringshåndtering. Forrester definerer DWA som: “Software der automatisk laver et Data Warehouse ved at analysere data og anvende ”Best Practices” for DW design embedded i teknologien. Et andet navn for denne type teknologi er.” Metadata-genereret analyse”.

HVORFOR DWA?

Et Data Warehouse er stadig en yderst nyttig metode til håndtering af information. Problemet har været, at det tager for lang tid at bygge et Data Warehouse, og at det endelige resultat er ikke tilstrækkeligt fleksibel. Dette har ført til meget frustration, og det er her, hvor DWA kommer ind. Data Warehouse Automation fremskynder udviklingen og forenkler vedligeholdelsen af ​​Data Warehouse.

HVAD ER INKLUDERET I DWA?

For den teknisk interesseret, så består DWA-automatisering af følgende dele:

  1. Forenklet Data Warehouse Design.
  2. Automatiseret Build (dvs. generere kode)
  3. Automatiseret Distribution af kode til servereren
  4. Automatiseret batch-udførelse af ETL-koden på serveren.
  5. Automatiseret overvågning og rapportering af batch-udførelse.
  6. Optimering og parallelisering af dataindlæsning for øget effektivitet

SCRIPT ELLER VÆRKTØJ

Det er muligt, manuelt at lave scripts der genererer kode og dermed automatiserer processerne til Build, Deploy og Run. Men generelt foregår automatisering ved hjælp af et DWA-værktøj. Fordelene som DWA kan levere er udforskning af kildedata, ETL generering, test automatisering, datamodellering, metadatahåndtering, implementeringshåndtering, planlægning, automatiseret dokumentation, vedligeholdelse og ændring af Data Warehouse. Men vigtigere end de tekniske egenskaber ved DWA-værktøjerne, så er som sagt evnen til at levere et Data Warehouse projekt hurtigere og med mindre ressourcer.

HELE LIVSCYKLUSSEN

En livscyklus for et Data Warehouse omfatter bl.a. modellering, mapping, udvikling, test og ændringshåndtering. Den grundlæggende ide er, at DWA vil indeholde hele Date Warehouseerets livscyklus, der illustreres i følgende model:

DWA

TO GENERELLE METODER

Når det gælder DWA værktøjets design er der to forskellige gennerelle metoder. Den første er en modeldreven strategi, den anden er en data-dreven tilgang.

MODEL- DREVEN STRATEGI INKLUDERER

At du designer dine modeller med forretningen som udgangspunkt, og når modellerne er godkendte, søger du efter kildedata og importerer dem til den repræsentative model.

FORDELE

Det er sandsynligt, at du kun bruger de data, du har brug for.

Forretningsbehovet dokumenteres tydeligt.

ULEMPER

Det kan være langsomt, fordi du har brug for mange anstrengelser fra forretningen, der kan være udfordrende og langsomme, for eksempel i større virksomheder.

Det kan være vanskeligt at synkronisere modellen med den fysiske model. Kan have forkerte forventninger, fordi du kan modellere et dimensionskoncept, men til sidst har du ikke data til rådighed.

DATA-DREVEN TILGANG INKLUDERER

At du hurtigt genererer en model med de data der er tilgængelige. Metoden bliver også en måde at kommunikere med forretningen, ved hurtigt at kunne vise slutresultatet med et BI værktøj

FORDELE

Du arbejder kun med data, der rent faktisk er tilgængelige der, og virksomheden har allerede en reel model, der repræsenterer data og kan udvikles. Dette passer godt til den fleksible metode for DWA værktøjer.

ULEMPER

Det viser ikke på en enkel måde, regler eller dataforhold mellem modellen og faktiske kildedata til virksomheden.

DWA

Dagens DWA-værktøjer findes i en skala mellem de to forskellige tilgange. Et værktøj er helt modeldrevet, mens andre er datadrevne. Der findes dog også dem, som er en blanding af de to, og de bygger designprocessen ved at kombinere modeller og data.

FORDELE MED ET DWA VÆRKTØJ

  • Hurtigt igang. Dette giver dig mulighed for at opbygge et Data Warehouse forholdsvis hurtigt. Reducerer din udviklingstid drastisk.
  • Øget fleksibilitet. Mulighed for at handle hurtigt og nemt at ændre på krav.
  • Fokus på det vigtige. Giver mulighed for at fokusere på rapportering og analyse i stedet for at blive fanget i ETL-kode.
  • Kode med kvalitet. DWA-værktøj giver en testet, komplet og læsbar kode.
  • Klare rammer og regler. Værktøjet producerer en ensartet kode, navngivningsstandarder, tabel, visning, indeks osv. Det giver en form for positiv ensartethed der sætter grænser og regler.
  • Konsekvens. Udviklere kommer og går, men så længe de fortsætter med at bruge de samme værktøjer, er det nemt for en udvikler at forstå andres arbejde. Hvis du arbejder med et større projekt, hvor flere udviklere bygger et Data Warehouse, gør et DWA-værktøj det nemt at oprette et Data Warehoue, der uanset  af udviklere følger den samme struktur i alle dele.

PRÆKONFIGUREREDE MODELLER

Der fidens en yderligere dimension, når det gælder DWA-værktøjer og det er indhold. Dybest set er en DWA “bare” et værktøj, der genererer kode, tabeller, visninger osv. Men ved at tilføje et prækonfigureret indhold, ofte kaldte modeller, så øges værdien af et DWA-værktøj yderligere.

Prækonfigurerede modeller gør det muligt at oprette et Data Warehouse endnu hurtigere og mere effektivt. Prækonfigurerede modeller kan være baseres på forskellige årsager f.eks et bestemt kildesystem, et accpepteret starschema eller måske en kombination af de to.

Prækonfigurerede modeller er ofte baseret på en eller anden form for standard eller normal tilstand, og du bør derfor forvente, at de har brug for justeringer, der passer til din virksomhed. Ikke desto mindre er det en hurtig og effektiv måde at komme i gang med et Data Warehouse. Det indbyder også til en iterativ udviklingsproces.

SÅDAN VÆLGER DU ET GODT VÆRKTØJ

I dag er der mange DWA-værktøjer på markedet. Alt fra værktøjer, der grundlæggende er en kodegenerator, der genererer kode og ikke mere til avancerede værktøjer, der indeholder dokumentation, overvågning, evne til at spore processer og flow. Hvad der er vigtigt at huske på, når du vælger DWA-værktøjer, er, at værktøjet ikke kun skal generere en god kode. Værktøjet vil også give dig et godt overblik over din datalagring og forholdet mellem objekter i datalagring. Derudover er der forudkonfigurerede modeller, så det tilføjer merværdi, da det bidrager til en hurtigere implementering af din datalagring.

Et godt DWA-værktøj skal:

  • Give mulighed for at oprette forbindelse til datakilder og udforske dem (data profiling)
  • Give mulighed for at håndtere læsning (inklusive inkremental læsning) fra disse kilder
  • Lade dig at kombinere data fra forskellige kilder til et enkelt fakta eller dimensionstabel
  • Hjælpe dig med hurtigt at opbygge fakta og dimension tabeller samt andre tabeller og visninger
  • Lade dig at oprette transformationskode, eller gøre det for dig
  • Genere kode der kortlægger kilden til målet og udføre Extract, Transform, Loadgenereret kode, der håndterer ting som Slowly Moving Dimensions, nul poster for ukendte data osv
  • Give dig mulighed for visuelt at følge flowet  i dit Data Warehouse og se forholdet mellem forskellige objekter
  • Genere teknisk og brugerdokumentation til dit Data Warehouse.

 

ADVECTAS EGNE DWA VÆRKTØJER

Selvom der er mange værktøjer på markedet, har vi hos Advectas set, at der manglerde et godt alternativ, og derfor har vi udviklet os et DWA-værktøj under sit eget varemærke – Xencian.

Xencian Data Warehouse Automation er baseret på et metadata-drevet design. Med Xencian DWA importeres metadata, alternativt er værktøjet forsynet med en færdig metadata-model fra et eller flere kildesystem. Derefter modelleres Data Warehouse i en grafisk grænseflade i stedet for at skrive kode. Fordelen ved dette er, at brugeren ser dataflowet grafisk, og kan følge hver operation der laves på vejen. Systemet er også selvdokumenterende, så det er nemt at vedligeholde og fejlfinde. Desuden genererer Xencian DWA ETL pakken automatisk fra den grafiske model, og softwaren er optimeret ved parallelisering for at give så effektiv dataindlæsning som muligt.

LÆS OM XENCIAN DWA

OPSUMMERING

Med et godt DWA-værktøj implementerer du et Data Warehouse hurtigere, med færre ressourcer, samtidig med at du fjerner personlig afhængighed, forenkler vedligeholdelse og fremtidig ændringer.  Derudover er der forudkonfigurerede modeller, der giver ydereligere merværdi og endnu hurtigere implementering af dit Data Warehouse.

Skrevet af Jørgen Larsson Senior ERP BI konsulent

 

Tilmeld Event & Nyheds-liste