Data Management

DATA management –
udnyt guldet i jeres data!

Digitalisering giver adgang til store mængder detaljerede data, der i dag betragtes som “det nye guld”. Værdien ligger i evnen, i at kunne analysere data og komme frem til et bedre beslutningsgrundlag. Men store datamængder byder også på store udfordringer: Hvordan skal vi indsamle, gemme, gøre tilgængeligt, udnytte, strukturere og sikre vores data på den bedste måde?

Data Management handler om, hvordan i bedst udnytter det fulde potentiale i jeres digitale guld.

Interessen for Data Management øges i takt med, at flere og flere kommer i gang med avancerede Business Intelligence-initiativer såsom Self Service BI og prediktiv analyse med Data Science / Machine Learning. Dette har igen øget behovet for data fra flere kilder, og for at kunne sikre sig, at de rigtige stamdata med maksimal kvalitet og detaljeringsgrad bruges i disse analyser.

Det mest almindelige problem er, at data er opdelt i flere forskellige kildesystemer, og at disse ikke kommunikerer med hinanden på en god måde. Løsningen har traditionelt set været at bygge et Data Warehouse på en server i et serverrum, og derefter hente, konvertere og gemme data fra datakilderne i Data Warehouset. Der har relevante data siden været tilgængelige for rapporter og analyser.

Data Management-området gennemgår store ændringer

Der er sket meget i de senere år, og lige nu gennemgår Data Management-området store ændringer. Tendenser som data i skyen, Self Service BI og efterspørgslen efter proaktive, prediktive eller endda præskriptive indsigter har øget ændringshastigheden i mange virksomheder.

I dag investerer traditionelle virksomheder også i analyseafdelinger med data scientists og dataanalytikere. Dermed bliver data-arkitekturen og Data Management-løsningen stadig vigtigere. Spørgsmål der skal stilles, er blandt andet: Hvordan skal modellen sættes op? Hvordan og for hvem skal oplysningerne være tilgængelige? Hvordan skal løsningen se ud, for at oplysningerne skal blive så nøjagtige som muligt? Hvor hurtigt kan jeg få oplysningerne?

De nye udfordringer, og de muligheder virksomheder og organisationer står overfor, har ændret synet på data, og hvordan vi kan udnytte dets fulde potentiale.

Har du brug for hjælp til at få styr på guldet i dine data? Er du velkommen til at kontakte os!

Kontakt os

Hvis du har spørgsmål eller bekymringer, så kontakt os venligst. Vi svarer hurtigt.

Tendenser og udfordringer
inden for Data Management

Cloudification – et nyt, attraktivt alternativ

Cloudification er gået fra mest at være et ”hot” koncept til at være et attraktivt alternativ. Microsoft, Amazon og Google gør store fremskridt på dette område, og de etablerer sig også i Norden med store centre. Derudover kommer nichespillere som Snowflake og Matillion, der anvender deres Cloud Data Warehouse-løsninger på cloudgiganternes platforme (Azure, AWS og Google Cloud) og derefter delvist konkurrerer med de store Cloud-platformers egne værktøjer.

Vi ser også, at flere og flere virksomheder i de nordiske lande nu skifter til at gemme deres data i skyen, og der er mange fordele ved det.

Først og fremmest reducerer cloudbaserede løsninger hindringerne for nye Data Warehouse-initiativer, da du ikke behøver at investere i dyre servere og softwarelicenser. Med en løsning i skyen undgår du også nogle af de problemer der er med administration og opgraderinger, samt yderligere skalerbarhed, elasticitet og muligheden for at få et mere afbalanceret omkostningsbillede.

En traditionel serverløsning er også dimensioneret efter spidsbelastning, hvilket gør den unødvendig kraftig (dyr) ved normal brug. En cloud-løsning dimensionere istedet dynamisk, baseret på aktuelle storage- og computerkraft behov.

Ulemper? Der er selvfølgelig nogle aspekter, du skal overveje, såsom informationssikkerhed, autorisationsstyring og evnen til at flytte data, hvis du ønsker det. Det langsigtede omkostningsbillede bør også analyseres, selvom det er vanskeligt i et så hurtigt skiftende område.

 Self Service BI – øger behovet for at blande data

Det bliver stadig mere almindeligt, at forskellige funktioner inden for virksomheder og organisationer arbejder med analyser af forskellige slags gennem såkaldt Self Service BI. Dette stiller krav til effektive, men brugervenlige Self Service-værktøjer, hvilket gør det nemt at bygge analyser, visualiseringer og rapporter uden involvering af IT-afdelingen. På denne måde reduceres både leveringstider og efterspørgslen hos it-afdelinger.

Men det er ikke nok med de rigtige værktøjer. Analyser øger også behovet for strukturerede, kvalitetssikrede og autorisationsstyrede data. De mere avancerede brugere har også brug for, muligheden for at kunne tilføje deres egne data, også kaldet Data Blending – som falder inden for området Self Service Data Preparation.

Nogle BI-værktøjer har indbygget support til dette, andre kræver komplementær software. Blandt de førende leverandører af Self Service Data Preparation programmer er for eksempel Alteryx.

Data Science stiller nye krav til datahåndtering

I dag handler Business Intelligence ikke kun om reaktiv eller deskriptiv analyse og rapportering, men også om forskellige niveauer af avanceret, proaktiv analyse ved hjælp af Machine Learning (ML). Mere specifikt handler det om prediktiv, præskriptiv og endda kognitiv analyse med opgaven at forudse hændelser, foreslå handlinger eller blot udføre aktiviteter (actions). I alle tilfælde med det overordnede mål at styrke forretningsværdien og øge konkurrenceevnen.

Efterhånden som Data Science-initiativer og proaktiv analyse bliver mere almindeligt, er efterspørgelsen på andre typer data, samt krav til granularitet (detaljeringsniveau) opstået. Frem for alt vokser behovet for at udnytte eksterne data, ustrukturerede data, streaming-data og andre typer data (billede, lyd, sociale medier osv.).

Traditionelt har virksomheder og organisationer fyldt deres Data Warehouse med deres egne, interne og fint strukturerede data. Men den sædvanlige ETL (Extract, Transform, Load) -metode fungerer ikke fuldt ud, når formålet er avanceret analyse ved hjælp af Data Science. ETL fungerer heller ikke i såkaldt Shared nothing- eller Massivt parallelle miljøer som Azure eller Snowflake.

For at håndtere store datamængder (ofte kaldet Big Data) skal Data Warehouset suppleres med en såkaldt Data Lake. I en Data Lake udføres ingen bearbejdning; de indsamlede data hverken filtreres eller struktureres, men gemmes som rå data i den højest mulige detaljeringsgrad.

Ved denne type analysearbejde er konceptet ELT (Extract, Load, Transform) blevet stadig mere almindeligt. Transformationstrinnet, der inkluderer anvendelse af forretningslogik (beregninger, filtrering og aggregeringer), flyttes derefter til afslutningen af ​​processen for ikke at ødelægge data for Data Scientists og Data Engineers, og kan endda drage fordel af mange computernoder.

En konsekvens af dette er, at eksisterende ETL-værktøjer også har brug for at kunne håndtere ELT-processer, og at nye, rent ELT-værktøjer er kommet frem.

IoT bidrager til nye analytiske muligheder

Internet of things (IoT) indebærer at ting som maskiner, køretøjer, varer, husholdningsapparater, beklædning – selv dyr og mennesker! – er udstyret med små indbyggede sensorer og processorer. Disse enheder kan derefter rapportere den aktuelle status og give oplysninger om omgivelserne via Internettet.

Industrielle IoT-applikationer genererer en masse data såsom streaming-data og sensordata. Disse data skal håndteres til analyse og handling. Hovedsagentligt foregår processen i tre trin – Datafangst, Dataindsigt & visualisering og dataregistrering.

Karakteristisk for denne type data er, at de streames ofte, at de forekommer i meget høje mængder, og at de vokser hurtigt. Data bruges til at overvåge og analysere store mængder over tid, men også til at oprette aktiviteter baseret på begivenheder på kort sigt. For eksempel kan en bilfabrikant bruge mængden af ​​sensordata i en bilmodel til at analysere energiforbruget i en bestemt motor over tid. Den samme datakilde kan også bruges til at underrette en bilejer – eller et værksted i nærheden – om, at bremseklodser snart skal udskiftes.

Nye skærpede krav til datasikkerhed

Som et resultat af blandt andet GDPR og til en vis grad også ISO 27001 (informationssikkerhedsstyringssystem) strammes kravene til, hvordan data skal gemmes og håndteres. Bestemmelserne vedrørende for eksempel personoplysninger er strenge, og en overtrædelse kan være meget bekostelig.

Mange virksomheder gemmer i dag deres personlige data flere steder. For at være i stand til at administrere personoplysninger på en korrekt og sikker måde, er der behov for god støtte. En Master Data Management (MDM) -løsning er en del af en sådan proces.

Master data er de stamdata, der er fælles, og de optræder i funktioner og transaktioner i forskellige systemer i en virksomhed. Master data er normalt relateret til ansatte, kunder, leverandører, partnere og produkter.

Master Data Management er en måde at strukturere information på, for at man kan få ensartede data i en organisation. Kort sagt handler MDM om at rette dårlig datakvalitet ved kilden og håndtere konstante forandringer. Der skal være en enkelt reference til information – en kilde til “sandhed”, som andre systemer kan læne sig mod.

Ændringer øger kravene til fleksibilitet

Virksomheder købes og sælges, og forretningsmodeller omdefineres i en tilsyneladende stigende hastighed. Dette giver anledning til nye regler og ændret forretningslogik, som Data Management-løsninger skal håndtere. I forbindelse med forretningsopkøb spiller integration en vigtig rolle i beslutningen om en Data Management-løsning. Ønsker om en homogen systemstruktur og muligheden for at integrere deres forretningssystemer, giver andre forudsætninger for Data Management-løsningen, sammenlignet med en heterogen struktur med flere forskellige forretningssystemer.

Andre faktorer der stiller krav, er udarbejdelse af regnskaber, koncerndækkende analyse og rapporteringsform. Selv håndtering af fælles master data, der opstår fra flere redundante systemer, skal også håndteres. Her opstår behovet for en struktureret proces og systemstøtte inden for Master Data Management (MDM) .

Hvis du vil diskutere dine udfordringer med Data Management –

Så er du velkommen til at kontakte os!

Data Science
Power Apps

Sådan bygger du fremtidens
Data Management-platform

Mange Data Management-projekter er kørt i grøften på grund af en alt for stiv proces eller manuelt kodet Data Warehouse. Det tager lang tid at skrive kode, og derudover kan koden blive vanskelig at administrere med tiden, når løsningerne vokser. For at fremskynde udviklingsarbejde, implementering og skabe en ensartet struktur, er der kommet forskellige teknologier i løbet af de seneste år.

Du kan se dem som en slags Best Practise for en sikker og rimelig fremtidssikker Data Management-platform.

BIML – første skridt væk fra manuel kodning

BIML er et scriptingsprog baseret på XML designet til DW-udvikling. I stedet for at oprette manuelle rutiner, tabeller, oversigter, procedurer med kode- og / eller SSIS-pakker, udvikles generiske scripts i BIML, som derefter kan køres på forskellige platforme. Dette bruges hovedsageligt, når du starter et Data Warehouse projekt, eller når du opgraderer eller udskifter den platform, som Data Warehouset kører på.

DWA-værktøjer – det næste trin i automatisering

I stedet for manuelt at skrive kode eller bruge BIML-scripts, kan Data Warehouset modelleres og bygges ved hjælp af et Data Warehouse Automation-værktøj. Objekter, relationer og operationer modelleres derefter i en grafisk grænseflade, derefter genererer værktøjet automatisk nødvendige objekter på den underliggende databaseplatform. Dette sparer meget tid i projekterne, og administrationen minskes over tid, da alle objekter og al logik er bygget på samme måde, uanset hvem der har bygget dem.

Modellering af dit Data Warehouse

Nye modelleringsteknikker har således vist sig at være mere fleksible og smidige sammenlignet end tidligere. Vi ser, at modelleringskonceptet Data Vault vinder frem, og nu er et seriøst alternativ til den klassiske Kimball-modellering. Især hvis forretningsreglerne ændres kontinuerligt over tid, og at kravet til sporbarhed er stort.

Data Catalog – vigtigheden af orden og styring

Efterhånden som Data Management-løsningen fyldes med data, øges behovet for orden og styring. For at kunne bevare løsningerne og deres indhold over tid, skal indholdet dokumenteres og katalogiseres. Indholdet bliver derefter søgbart.

Selv metadata (data om dets data) skal også opdateres for at kunne spore deres forhold til andre objekter. Denne type relationel sporbarhed kaldes normalt Data Lineage, mens objekterne er katalogiseret i et Data Catalog. Nogle værktøjer har indbyggede Data Lineage-funktioner, andre kræver, at man bygger dette manuelt. Uanset metoden er det investeringen værd.

Datavirtualisering – gem kun de samme data én gang

Datamængderne stiger kontinuerligt og som regel i et stadigt hurtigere tempo. Samtidig er det styrende princip, ikke at skulle gemme de samme data flere gange. Dette har drevet fremkomsten af ​​Data Virtualization (Data Sharing og Data Cloning) – teknologier, der kan sprede data uden at duplikere eller flytte dem. Data Virtualization erstatter ikke et Data Warehouse, men kan være et supplement til at understøtte forskellige modeller af en Business Intelligence-ramme.

Ofte findes der en traditionel BI-løsning med færdige rapporter, men til mere agile rapporter via et Self Service BI-værktøj kan Data Virtualization være en del af en løsning. I et Data Virtualization-værktøj kan nye data tilføjes hurtigt og nemt, for eksempel for at teste en tese eller for at udføre periodiske eller lignende analyser.

Pas på helheden – ikke kun den tekniske løsning!

Indtil videre har vi stort set kun set på forskellige tekniske løsninger i form af systemer og værktøjer. Men Data Managememt har ingen egenværdi. Det er kun, når de rigtige data af den rigtige kvalitet kommer til praktisk brug gennem forskellige rapporter og analyser, at værdien opstår. En god Data Management-platform skal derfor bygge videre på de strategier, forretnings- og styringsmodeller, der danner grundlaget for din virksomhed. Samtidig bør der stilles spørgsmål til disse, og eventuelt ændres for at udnytte værdien i dine data bedre. Det samme kan også gælde for aktuelle kompetencer, arbejdsmetoder og organisering.

Vil du vide mere om fremtidens Data Management-platform?

 

Så kontakt os!

Master Data Management Få styr og orden på jeres data en gang for alle!

Master Data Management er definitionerne, processerne, ansvarsfordelingen og teknologiplatformen til at skabe og vedligeholde master data. Master data er den type data, der er fælles for en virksomhed eller en myndighed, et eksempel på dette er definitionen af ​​kunde, organisationsnummer, ansatte, personnummer, leverandør, partner, kontrakt, konto eller produkt. Disse data deles ofte af mange interessenter, forretningsprocesser og it-systemer.

Master data er ekstra vigtige data, som vi ønsker at knytte beskrivende termer til, for eksempel personnumer, hvor du vil have beskrivende såkaldt information som fornavn, efternavn, adresse, telefonnummer og kundenummer. Personnummer er master data, som attributterne hører til, og master data sammen med attributter udgør et master data domæne. På samme måde kan vi arbejde med produkter, kunder, ansatte, storbøger og mere.

Master data er ofte en forudsætning for at være i stand til at gøre en masse andre ting, såsom succesfuld digitalisering, selvbetjenings-BI af forskellige slags, rapportering, opfyldelse af juridiske krav (f.eks. GDPR) og data science – hvis ikke datakvaliteten er god, så kommer disse initiativer ikke til at lykkes.

HVORFOR ER MASTERDATA VIGTIGT?

Der er flere grunde til, at master data er vigtige, men her er nogle eksempler:

En fælles kilde til sandheden

Master data sikrer, at alle har de samme oplysninger, og at alle har enighed om for eksempel, hvad en kunde eller et bestemt produkt er. At have forskellige definitioner og svar på samme sag skaber usikkerhed, og sandsynligheden og betingelserne for at træffe de rigtige beslutninger på ret information mindskes.

Overholdelse

Love og forskrifter, såsom GDPR, foreskriver, at organisationen skal have styr på og beskytte personoplysninger. Derefter er det vigtigt at vide, hvilke personoplysninger du har, i hvilke systemer og hvordan de styres / beskyttes.

Customer360

Mange virksomheder ønsker at finde ud af deres kunders adfærd. Inden for eksempel bank og forsikring kan en kunde findes i flere produkter og dermed i flere forskellige systemer. Hvis du skal lykkes med kundepleje og sikre, at kunden øger sin forretning, skal du forstå kundernes adfærd. Derudover er der regler for Know-Your-Customer (KYI), hvor du blandt andet skal sikre dig, at kunden får et leveret oplysninger, før et produkt købes. Dette tilrådes også for at holde styr på master data.

Rapportering

Når du rapporterer fra flere forskellige systemer, vil du vide, om du rapporterer om det samme objekt.

Data Science

For at træne avancerede analysemodeller kræves store mængder data af god kvalitet. Master data-værktøjer kan bruges til at sikre kvalitet. Hvis data er af dårlig kvalitet eller inkonsekvente, vil resultatet af analysen være ukorrekt.

Det er derfor vigtigt udfra mange aspekter at have god kvalitet i ens data. Organisationer der ønsker at fortsætte med at være konkurrencedygtige i den nye digitale verden, behøver ikke kun at holde styr på deres data, de skal også sikre, at de er nøjagtige, så de kan træffe de bedst mulige beslutninger.

Sådan kommer du i gang med MASTER DATA MANAGEMENT

Når man starter sit Master Data Management-projekt, skal alle være enige om, hvad der er master data, og hvordan man kan drage fordel af dem. Dette inkluderer definition af:

  • Hvad er en kunde, eller hvad er en ansat?
  • Hvor i vores systemer er de, og med hvilke oplysninger?
  • Er oplysningerne korrekte?
  • Er oplysningerne komplette?

Det næste trin er at se på, hvordan organisationen arbejder med master data.

Så er det nødvendigt at definere:

  • Hvem opretter en ny kunde?
  • Hvordan gør de det?
  • Hvad er datakravene for, at en kunde skal være komplet og ikke en duplikat?

Endelig skal du definere – hvem er ansvarlig for at sikre, at kundens data er i god stand nu og over tid? Og hvad sker der, hvis vi f.eks. køber et firma og får flere kunderegistre?

Applikationer til Master Data Management indeholder funktionalitet til at understøtte virksomheden med definitioner, processer og ansvar samt flette data fra forskellige systemer og matche begreper der ser ens ud til at skabe en såkaldt “Golden Record”. Golden Record er samlægning af ​​al information, vi har om for eksempel en kunde og den bedste informationskilde, vi i øjeblikket har. Master data kan derefter bruges til rapportering eller opdatering af kildesystemer. De fleste Master Data platforme opretholder også forholdet til kildesystemet, så du ved, hvilke oplysninger der kommer fra hvilket system. Master data kan også beriges ved at finde eksterne kilder til for eksempel kreditoplysninger eller for at verificere adresser.

VIGTIG RÅD PÅ VEJEN

  • Begynd med at blive enige om og fortsætte arbejdet med at oprette fælles poster og definitioner. Master data er ofte et politisk spørgsmål inden for større organisationer, fordi det handler om at overveje noget fælles. Dette er altid vanskeligt, da forskellige interessenter har forskellige mål, drivkræfter og mål. Løsningen er generelt at etablere en separat fælles løsning for MDM med tilhørende organisation for, at kunne blive enige om en fælles sandhed.
  • Sørg for at etablere et fælles Master Data system, et eksempel på dette er kunde, leverandør, produkt og ansatte.
  • Afsæt tid til at etablere processer til vedligeholdelse af master data.
  • Læg vægt på at etablere en organisation til kontrol og implementering af master data processer.

HVORDAN KAN VI hjælpe dig på vejen?

Hos Advectas har vi eksperterne til at støtte dit Master Data Management-initiativ. Vi tilbyder alt fra strategisk rådgivende ekspertise fra alle perspektiver, som MDM berører, både forretningsmæssige såvel som tekniske dele. I årenes løb har vi opsamlet dyb ekspertise på en række udvalgte platforme til implementering af systemstøtte.

Hos os er Master Data Management ofte en integreret del af BI, integration eller applikationsudviklingsarbejde. I årenes løb har vi også været involveret i at drive fokuserede MDM-projekter med vores kunder. På det sidste har vi bemærket en stigende efterspørgsel, da flere og flere virksomheder investerer i f.eks. Self Service-værktøjer og Data Science. Der sker meget indenfor dette område lige nu, og vi ser altid efter at holde os ajour med den nyeste teknologi, så vores kunder bliver og forbliver konkurrencedygtige. De Master Data platforme som vi normalt arbejder med, er Profisee og Tibco.

Advectas – totalleverandør inden for Data Management

Data Management er et komplekst område, der omfatter flere forskellige dele. Advectas specialister kan hjælpe dig med det hele, alt fra opsætning af et lille, traditionelt Data Warehouse til udvikling af unikke strategidokumenter og roadmaps til store projekter.

At vælge den rigtige vej for sin Data Management-platform i en verden, der ændrer sig hurtigt, kræver kvalificeret ekspertise. Ligeledes at implementere de projekter, der vil være aktuelle. Advectas har i mange år opbygget den nødvendige viden og erfaring. Blandt vores kunder er mange af Nordens største virksomheder og organisationer.

Uafhængig partner ved valg af produktløsninger
Advectas er også uafhængig, når det kommer til produktløsninger, og vi anbefaler altid, hvad der er passende baseret på aktuelle forhold. Samtidig samarbejder vi med en række strategiske partnere – aktører med produkter, der er på forkant inden for hvert område med hensyn til udvikling, modenhed og markedstilstedeværelse.

For eksempel er det en proces med mange forskellige aspekter at tage stilling til, om man skal flytte hele eller dele af ens data til skyen. Med en gennemprøvet metode understøtter og sikrer vi hele processen fra initiativ og POC til løsning i fuld skala. I årenes løb har vi hjulpet kunder med ny etableringaf Cloud Data, Data Warehouse / Data Lakes og “lift and shift” af eksisterende On-premiss-løsninger til skyen.

For så vidt angår Cloud Data Warehousing er Advectas partnere med Amazon, Microsoft, Google, Snowflake, Matillion og Birst. Alle disse er bygget til at drage alle de fordele, vi har set med skyen. Området forandres hurtigt, og vi er konstant på forkant, hvilket kan resultere i yderligere partnerskaber på lang sigt.

Uanset området inden for Data Management stræber vi efter at holde alle vores konsulenter på forkant med hensyn til viden, da ny teknologi og nye anvendelsesområder kommer til, og andre områder går ind i en mere modenhedsfase.

Ekspertise inden for hele Business Intelligence-området

I modsætning til mange andre har Advectas ekspertise inden for hele Business Intelligence-området. Dette betyder, at vi ikke kun har specialistkompetence inden for Data Management, men inden for alt hvad der er forbundet med dette: budget og planlægning, grupperapportering, Self Service BI, Data Science og mere. Dette giver os mulighed for at levere Data Management-løsninger, der er optimalt tilpasset dine BI-behov.

Advectas har også kvalificerede managementkonsulenter med stor indsigt i BI og Data Management. En næsten unik ressource, der kan give strategisk rådgivning og praktisk støtte til de forudsætninger og organisatoriske evner, der er nødvendige for at arbejde indsigt-drevet. Læs mere om Advectas Management Consulting her.

Du er velkommen til at kontakte os for en dialog om jeres udfordringer med Data Management!

Blogs om Data Management

Tilmeld Event & Nyheds-liste