Data Management –
Ta vara på guldet i er data!

Digitaliseringen ger tillgång till stora mängder detaljdata, vilket idag ses som ”det nya guldet”. Värdet ligger i möjligheten att analysera data och ta fram bättre beslutsunderlag. Men stora mängder data innebär också stora utmaningar: Hur ska vi inhämta, lagra, tillgängliggöra, utnyttja, strukturera och säkra vår data på bästa sätt?

Data Management handlar om hur du på bästa sätt tar vara på den fulla potentialen i ert digitala guld.

Intresset för Data Management ökar i takt med att allt fler kommer igång med avancerade Business Intelligence-satsningar, exempelvis Self Service BI och prediktiv analys med Data Science/Machine Learning. Detta har i sin tur ökat behovet av data från fler källor – och att säkerställa att rätt grunddata med maximal kvalitet och detaljeringsgrad används vid dessa analyser.

Det vanligaste problemet är att data finns uppdelad i flera olika källsystem, och att dessa inte kommunicerar med varandra på ett bra sätt. Lösningen har traditionellt varit att bygga ett datalager på en server i en serverhall, och sedan hämta, konvertera och lagra data från datakällorna i datalagret. Där har relevant data sedan varit tillgänglig för rapporter och analys.

Data Management-området under kraftig förändring

Men mycket har hänt under de senaste åren och just nu är Data Management-området under kraftig förändring. Trender som exempelvis data i molnet, Self Service BI och efterfrågan på proaktiva, prediktiva eller till och med preskriptiva insikter har ökat förändringstakten hos många bolag.

Idag satsar även traditionella verksamheter på analysavdelningar med data scientists och dataanalytiker. Därmed blir dataarkitekturen och data management-lösningen allt viktigare. Frågor att lösa ut är bland andra: Hur ska modellen sättas upp? Hur och för vem ska informationen vara tillgänglig? Hur ska lösningen se ut för att informationen ska bli så korrekt som möjligt? Hur snabbt kan jag få informationen?

De nya utmaningarna, och samtidigt möjligheterna som företag och organisationer ställs inför, har ändrat synen på data och hur vi kan nyttja dess fulla potential.

Behöver du hjälp med att ta vara på guldet i er data? Välkommen att kontakta oss!

Trender och utmaningar inom
Data Management

Cloudifiering – ett nytt, attraktivt alternativ

Cloudifiering har gått från att mest vara ett hett begrepp till att vara ett attraktivt alternativ. Microsoft, Amazon och Google är på stark frammarsch inom området och etablerar sig även i Sverige med stora anläggningar. Till detta kommer nischaktörer som exempelvis Snowflake och Matillion, vilka applicerar sina Cloud Data Warehouse-lösningar på molnjättarnas plattformar (Azure, AWS och Google Cloud) och då delvis konkurrerar med de stora Cloud-plattformarnas egna verktyg.

Vi ser också att allt fler företag i Norden nu går över till att lagra sitt data i molnet, och det finns många fördelar med det.

Först och främst minskar molnbaserade lösningar hindren för nya Data Warehouse-initiativ, då du inte behöver investera i dyra servrar och programvarulicenser. Med en lösning i molnet slipper du även en del bekymmer med administration och uppgraderingar, samt vinner i skalbarhet, elasticitet och möjligheten att få en mer balanserar kostnadsbild.

En traditionell serverlösning dimensioneras också efter toppbelastning, vilket gör den onödigt kraftfull (dyr) vid normal användning. En molnlösning dimensioneras istället dynamiskt, utifrån aktuellt lagringsbehov och krav på beräkningskraft.

Nackdelar? Det finns naturligtvis aspekter du behöver överväga såsom informationssäkerhet, behörighetsstyrning och möjligheten att kunna flytta data om ni skulle önska. Också den långsiktiga kostnadsbilden bör analyseras, även om det är svårt i ett så snabbt föränderligt område.

Self Service BI – ökar behovet av att mixa data

Det blir allt vanligare att olika funktioner inom företag och organisationer arbetar med analyser av olika slag genom så kallad Self Service BI. Detta ställer krav på effektiva men användarvänliga self service-verktyg, så att det blir enkelt att bygga analyser, visualiseringar och rapporter utan inblandning från IT-avdelningen. På så sätt kapas både ledtider och IT-avdelningarnas eftersläpning (backlog).

Men det räcker inte med rätt verktyg, analyser ökar även behovet av strukturerad, kvalitetssäkrad och behörighetsstyrda data. De mer avancerade användarna behöver dessutom möjlighet att addera egna data, så kallad Data Blending – vilket faller inom området Self Service Data Preparation.

En del BI-verktyg har inbyggt stöd för detta, andra kräver kompletterande programvaror. Bland de ledande leverantörerna av fristående program för Self Service Data Preparation finns exempelvis Alteryx.

Data Science ställer nya krav på datahantering

Idag handlar Business Intelligence inte enbart om reaktiv eller deskriptiv analys och rapportering, utan även om olika nivåer av avancerad, proaktiv analys med hjälp av Machine Learning (ML). Mer specifikt handlar det om prediktiv, preskriptiv och till och med kognitiv analys med uppgift att förutse händelser, ge förslag på åtgärder eller helt enkelt utföra aktiviteter (actions). I samtliga fall med det övergripande målet att stärka affärsnyttan och öka konkurrenskraften.

I och med att Data Science-initiativ och proaktiv analys blir allt vanligare har efterfrågan på andra typer av data, samt krav på granularitet (detaljnivå), tillkommit. Framför allt växer behovet av att även utnyttja externa data, ostrukturerade data, strömmande data och andra typer av data (bild, ljud, social media m.m.).

Traditionellt har företag och organisationer fyllt sina datalager med egen, intern och fint strukturerade data. Men det vanliga tillvägagångssättet ETL (Extract, Transform, Load) fungerar inte fullt ut när ändamålet är avancerad analys med hjälp av Data Science. ETL fungerar inte heller i så kallade Shared nothing- eller Massively parallell-miljöer som exempelvis Azure eller Snowflake.

För att hantera omfattande datamängder (ofta kallad Big Data) behöver datalagret kompletteras med en så kallad Data Lake. I en Data Lake sker ingen bearbetning; den insamlade data varken filtreras eller struktureras utan sparas som oförvanskad rådata på högsta möjliga detaljeringsgrad.

Vid denna typ av analysarbete har istället konceptet ELT (Extract, Load, Transform) blivit allt vanligare. Transformations-steget, som innefattar applicerande av affärslogik (beräkningar, filtreringar och aggregeringar), flyttas då till slutet av processen för att inte förstöra data för Data Scientists och Data Engineers, och även för att dra nytta av många beräkningsnoder.

En konsekvens av detta är att befintliga ETL-verktyg även behöver kunna hantera ELT-processer och att nya, renodlade ELT-verktyg vuxit fram.

IoT bidrar till nya analysmöjligheter

Internet of Things (IoT) innebär att saker såsom maskiner, fordon, gods, hushållsapparater, kläder – till och med djur och människor! – förses med små inbyggda sensorer och processorer. Dessa enheter kan sedan rapportera aktuell status och ge information om omgivningen, via Internet.

Industriella IoT-applikationer genererar mycket data som exempelvis strömmande data och sensordata. Denna data behöver hanteras för analys och åtgärder. I huvudsak sker processen i tre steg – Datafångst, Datainsikt och Dataekevering.

Utmärkande för denna typ av data är att den är ofta är strömmande, förekommer i mycket höga volymer och att den växer snabbt. Data används för att följa och analysera stora flöden över tid, men även för att på kortare sikt skapa aktiviteter baserat på händelser. Exempelvis kan en biltillverkare använda volymen av sensordata i en bilmodell för att analysera energiförbrukningen hos en viss motor över tiden. Samma datakälla kan även användas för att meddela en bilägare – eller en närliggande verkstad – om att bromsbeläggen snart måste bytas.

Nya striktare krav på datasäkerhet

Till följd av bland annat GDPR och i viss mån även ISO 27001 (ledningssystem för informationssäkerhet) har kraven på hur data ska lagras och hanteras skärpts. Regelverket kring exempelvis persondata är strikt och en överträdelse kan bli mycket kostsamt.

Många företag lagrar idag sina persondata på flera ställen. För att kunna administrera persondata på ett korrekt och säkert sätt behövs bra stöd. En Master Data Management-lösning (MDM) är en del i en sådan process.

Masterdata är de grunddata som är gemensamma och återkommer i funktioner och transaktioner i olika system i en verksamhet. Masterdata är vanligtvis relaterat till anställda, kunder, leverantörer, partners och produkter.

Master Data Management är ett sätt att strukturera information för att få enhetliga data i en organisation. Kortfattat handlar MDM om att åtgärda dålig datakvalitet vid källan och hantera ständig förändring. Det ska finnas en enda referens för information – en källa av ”sanning” som andra system kan luta sig emot.

Förändringar ökar kraven på flexibilitet

Bolag förvärvas och knoppas av, och affärsmodeller görs om i en till synes allt högre takt. Detta ger upphov till nya regelverk och förändrad affärslogik som Data Management-lösningarna måste hantera. I samband med företagsförvärv spelar integrationsfilosofin stor roll vid beslut om en Data Management-lösning. Önskemål om en homogen systemstruktur och möjlighet att integrera sina affärssystem ger andra förutsättningar för Data Management-lösningen jämfört med en heterogen struktur med flera olika affärssystem.

Andra faktorer som ställer krav är sammanställning av bokslut, koncerngemensam analys och rapporteringsform. Även hantering av gemensamma masterdata som uppkommer vid flera redundanta system behöver hanteras. Här återkommer behovet av en strukturerad process samt systemstöd inom Master Data Management (MDM).

Så bygger du framtidens
Data Management-plattform

Många Data Management-projekt har kört i diket på grund av en alltför rigid process eller ett manuellt kodat datalager. Att skriva kod tar lång tid och dessutom kan koden bli svår att administrera över tid, i takt med att lösningarna växer. För att snabba på utvecklingsarbetet och implementationen, och för att skapa en enhetlig struktur, har olika teknologier vuxit fram de senaste åren.

Du kan se dem som ett slags Best Practice för en trygg och rimligt framtidssäker Data Management-plattform.

BIML – första steget bort från manuell kodning
BIML är ett scriptspråk baserat på XML som är utformat för DW-utveckling. Istället för att bygga manuella rutiner, tabeller, vyer, procedurer med kod och/eller SSIS-paket utvecklas generiska script i BIML som sedan kan köras på olika plattformar. Detta nyttjas främst vid starten av ett datalager-projekt eller när det är aktuellt med en uppgradering alternativt byte av plattform som datalagret körs på.

DWA-verktyg – nästa steg i automatiseringen

Istället för att manuellt skriva kod eller använda BIML-script, kan datalagret modelleras och byggas via ett Data Warehouse Automation-verktyg. Objekt, relationer och operationer modelleras då i ett grafiskt gränssnitt, sedan genererar verktyget automatiskt nödvändiga objekt på den databasplattform som ligger till grund. Detta sparar mycket tid i projekten och administrationen underlättas över tid då alla objekt och all logik är byggd på samma sätt, oavsett vem som byggt dem.

Data Catalog – vikten av ordning och reda

I takt med att Data Management-lösningen fylls med data, ökar behovet av ordning och reda. För att kunna underhålla lösningarna och dess innehåll över tid behöver innehållet dokumenteras och katalogiseras. Innehållet blir då även sökbart.

Även metadata (data om sitt data) bör uppdateras för att kunna spåra dess relationer till andra objekt. Denna typ av relationsspårabarhet brukar kallas för Data Lineage, medan objekten katalogiseras i en Data Catalog.

Vissa verktyg har inbyggda funktioner för Data Lineage, andra kräver att du bygger detta manuellt. Oavsett metod så är det värt investeringen att göra detta.

Modellering av ditt datalager

Nya modelleringstekniker har därmed vuxit fram för att vara mer flexibla och agila jämfört med tidigare. Vi ser att modelleringskonceptet Data Vault vinner mark och nu är ett seriöst alternativ till den klassiska Kimball-modelleringen. Framförallt om verksamhetens regelverk förändras löpande över tid samt att kravet på spårbarhet är stort.

Data Virtualization – lagra samma data endast en gång

Datavolymerna ökar kontinuerligt och som regel i en allt snabbare takt. Samtidigt är den styrande principen att inte lagra samma data flera gånger. Detta har drivit uppkomsten av Data Virtualization (Data Sharing och Data Cloning) – tekniker som kan sprida data utan att duplicera eller flytta den. Data Virtualization ersätter inte datalager, men kan vara ett komplement för att stödja olika modeller av ett Business Intelligence-ramverk.

Ofta finns en traditionell BI-lösning med färdiga rapporter, men för mer agila rapporter via ett Self Service BI-verktyg kan Data Virtualization vara en del i en lösning. I ett Data Virtualization-verktyg kan ny data läggas till snabbt och enkelt, exempelvis för att testa en tes eller göra analyser av engångskaraktär eller liknande.

Se till helheten – inte bara den tekniska lösningen!

Så här långt har vi i princip endast uppehållit oss kring olika tekniska lösningar i form av system och verktyg. Men Data Management har inget egenvärde. Det är först när rätt data av rätt kvalitet kommer till praktisk användning genom olika rapporter och analyser som det uppstår värde. En bra Data Management-plattform måste därför bygga på de strategier, affärs- och styrmodeller som utgör basen för er verksamhet. Samtidigt bör dessa ifrågasättas, och eventuellt förändras för att bättre utnyttja kraften i er data. Detsamma kan även gälla aktuell kompetens, arbetssätt och organisation.

Vill du veta mer om framtidens data management-plattform?

Hör av dig!

Master Data Management

Få ordning och reda på er data,
en gång för alla!

Master Data Management är definitionerna, processerna, ansvarsfördelningen och teknikplattformen för att skapa och underhålla masterdata. Masterdata är den typ av data som är gemensam för ett företag eller i en myndighet, exempel på detta är definitionen av kund, organisationsnummer, anställd, personnummer, leverantör, partner, avtal, konto eller produkt. Dessa data delas ofta av många intressenter, affärsprocesser och IT-system.

Masterdata är extra viktig data som vi vill koppla beskrivande termer till, exempelvis personnummer där man vill ha beskrivande så kallad information som exempelvis förnamn, efternamn, adress, telefonnummer och kundnummer. Personnummer är masterdata som attributen tillhör och masterdata tillsammans med attribut utgör en masterdatadomän.

På liknande sätt kan vi jobba med produkter, kunder, anställda, huvudböcker med mera. Masterdata är ofta en förutsättning för att man skall kunna göra en massa andra saker som exempelvis en lyckad digitalisering, self-service BI av olika slag, rapportering, uppfylla lagkrav (t.ex. GDPR) och data science – om inte datakvaliteten är bra så kommer inte dessa initiativ att lyckas.

Varför är Masterdata viktigt?

Det finns flera anledningar till varför masterdata är viktigt men här följer några exempel:

En gemensam källa till sanningen
Med masterdata säkerställer man att alla har samma information och att alla har samsyn kring exempelvis vad en kund eller en viss produkt är. Att ha olika definitioner och svar på samma sak skapar osäkerhet och sannolikheten samt förutsättningarna att fatta beslut på rätt information minskar.

Efterlevelse

Lagar och regler som exempelvis GDPR förskriver att organisationen skall ha ordning på och skydda personuppgifter. Då är det viktigt att veta vilka personuppgifter man har, i vilka system och hur de förvaltas/skyddas.

Kund360
Många företag vill få reda på sina kunders beteenden. Inom exempelvis bank och försäkring kan en kund finnas i flera produkter och därmed i flera olika system. Om man skall lyckas med kundvård och se till att kunden ökar sin affär så måste man förstå kundbeteendet.Dessutom finns regelverk för Know-Your-Customer (KYC) där man bland annat måste försäkra sig om att kunden delgivits information innan en produkt köps. Detta är också lämpligt att hålla ordning på i masterdata.

Rapportering
När man rapporterar från flera olika system vill man veta att man rapporterar på samma objekt.

Data Science
För att träna upp avancerad analysmodeller krävs stora mängder data av bra kvalitet. För att säkerställa kvalitet kan masterdata-verktyg användas. Är data av dålig kvalitet eller inkonsekvent kommer utfallet av analysen att bli fel.

Det är alltså viktigt ur många aspekter att ha god kvalité på sitt data. Organisationer som vill fortsätta vara konkurrenskraftiga i den nya digitala världen behöver inte bara ha koll på sitt data, de måste även se till att den är korrekt så att de kan fatta bästa tänkbara beslut.

Behöver du hjälp? Välkommen att kontakta oss!

Så kommer ni igång med Master Data Management

När man startar upp sitt Master Data Management-projekt så måste alla vara överens om vad som är masterdata och hur man tar tillvara på det.

Det gäller bland annat att definiera:

Vad är en kund eller vad är en anställd?
Var i våra system finns de och med vilken information?
Är informationen riktig?
Är informationen komplett?

Nästa steg är att titta på hur organisationen jobbar med masterdata.

Då gäller det att definiera:

Vem lägger upp en ny kund?
Hur gör de det?
Vad finns det för krav på data för att en kund skall vara komplett och inte en dubblett?

Slutligen behöver man definiera – vem som bär ansvaret för att kundens data är i gott skick både nu och över tid? Och vad händer om vi förvärvar ett bolag och får in exempelvis fler kundregister?

Applikationer för Master Data Management innehåller funktionalitet för att stödja verksamheten med definitioner, processer och ansvar samt slå samman data från olika system och matcha ihop begrepp som ser lika ut för att skapa en så kallad ”Golden Record”. Golden Record är sammanslagningen av all information vi har om exempelvis en kund och den bästa källan för information vi har för tillfället. Masterdata kan sedan användas för rapportering eller uppdatering av källsystem. De flesta masterdataplattformar håller även relationen till källsystemet kvar så att man vet vilken information som kommer från vilket system. Masterdata kan även berikas genom att man gör uppslag i externa källor för exempelvis kreditinformation eller för att verifiera adresser.

VIKTIGA RÅD PÅ VÄGEN

Börja med att enas och driva arbetet med att skapa gemensamma register och definitioner. Masterdata är ofta en politisk fråga inom större organisationer eftersom det handlar om att betrakta något gemensamt. Detta är alltid svårt eftersom olika intressenterna har olika mål, drivkrafter och syften. Lösningen är generellt att etablera en separat gemensam lösning för MDM, med tillhörande organisation för att med gemensamma krafter enas om en sanning.
Se till att etablera ett gemensamt system för hantering av masterdata, exempel på detta är kund, leverantör, produkt och anställd.
Lägg tid på att etablera processer för underhåll av masterdata.
Lägg vikt vid att etablera en organisation för styrning och genomförande av masterdataprocesser.

HUR KAN VI HJÄLPA DIG PÅ VÄGEN?

På Advectas har vi experterna för att stötta din Master Data Management-satsning. Vi erbjuder alltifrån strategisk rådgivande kompetens i alla perspektiv som MDM berör, både verksamhetsmässiga såväl som tekniska delar. Under åren har vi samlat på oss djup kompetens på ett antal valda plattformar för implementering av systemstöd.

Hos oss är Master Data Management ofta en integrerad del av arbetet inom BI och integration eller applikationsutveckling. Under åren har vi även varit med och drivit fokuserade MDM-projekt tillsammans med våra kunder. På senare tid har vi märkt av en ökande efterfrågan då alltfler företag satsar på bland annat Self Service-verktyg och Data Science. Det händer mycket inom detta område just nu och vi ser hela tiden till att hålla oss uppdaterad på den senaste tekniken så att våra kunder ska bli och förbli konkurrenskraftiga.

Den Masterdataplattform vi vanligtvis arbetar med är Profisee

Vi hjälper dig gärna, kontakta oss!

Advectas – helhetsleverantör inom
Data Management

Data Management är ett komplext område som omfattar flera olika delar. Advectas specialister hjälper dig helheten; allt från att sätta upp ett litet, traditionellt datalager till att ta fram unika strategidokument och färdplaner (roadmaps) för stora projekt.

Att välja rätt väg för sin Data Management-plattform i en snabbt föränderlig värld kräver kvalificerad kompetens. Likaså att genomföra de projekt som blir aktuella. Advectas har under många år byggt upp den kunskap och erfarenhet som krävs. Bland våra kunder finns många av Sveriges största företag och organisationer.

Oberoende part vid val av produktlösningar

Advectas är också oberoende när det kommer till produktlösningar och rekommenderar alltid det som är lämpligt utifrån aktuella förutsättningar. Samtidigt har vi samarbete med ett antal strategiska partners – aktörer med produkter som ligger längst fram inom respektive område avseende utveckling, mognad och marknadsnärvaro.

Att exempelvis fatta beslut om att flytta hela eller delar av sin data till molnet är en process med många olika aspekter att ta hänsyn till. Med beprövad metodik stödjer och säkrar vi hela processen från initiativ och POC till fullskalig lösning. Genom åren har vi hjälpt kunder både med nyetableringar av Cloud Data, Datalager/Data Lakes samt ”lift and shift” av befintliga On-premise lösningar till molnet.

När det gäller just Cloud Data Warehousing så är Advectas partner med Amazon, Microsoft, Google samt Snowflake, Matillion och Birst. Alla dessa är byggda för att kunna tillgodogöra sig alla de fördelar vi sett med molnet. Området förändras i rask takt och vi ligger ständigt i framkant, vilket kan resultera i ytterligare partnerskap på sikt.

Oavsett område inom Data Management strävar vi efter att alla våra konsulter ligger i framkant kunskapsmässigt, allteftersom ny teknik och nya användningsområden tillkommer och andra områden mer går in i en mognadsfas.

Expertis inom hela Business Intelligence-området

Advectas har, till skillnad från många andra, expertis inom hela Business Intelligence-området. Det innebär att vi inte bara har specialistkompetens Data Management, utan inom allt som är kopplade till detta: budget och planering, koncernrapportering, Self Service BI, Data Science m.m. Detta gör att vi kan leverera Data Management-lösningar som är optimalt anpassade för era behov av BI.

Advectas har även kvalificerade Management-konsulter med stor insikt inom BI och Data Management. En närmast unik resurs som kan bidra med strategiska råd och praktiskt stöd kring de förutsättningar och organisatoriska förmågor som behövs för att arbeta insiktsdrivet. Läs mer om Advectas Management Consulting.

Kontakta oss gärna för en dialog kring era utmaningar inom
Data Management!