Leer in 10 minuten

  • Waarom een geïntegreerde data-architectuur nodig is
  • Waarom een data-architectuur over meer dan data gaat
  • Wat je naast een data-architectuur nog meer moet regelen

Hoe maak je een bedrijf datagedreven als informatie verspreid ligt over losstaande oplossingen die zich ieder op een specifieke vorm van datagebruik richten? Een traditioneel data warehouse met data marts voor managementrapportage, een data lake voor data science en een data streaming platform voor real time analytics. Dat maakt je als organisatie niet erg wendbaar. Hoe meer vormen en soorten van datagebruik zich aandienen – en dat gebeurt als je datagedreven wilt zijn – hoe onhoudbaarder die situatie wordt. En zo ontstaat al snel de behoefte aan een centraal dataplatform dat flexibel genoeg is om in de huidige én toekomstige behoeften te voorzien. Vanuit een bedrijfsbrede data-architectuur, die verder reikt dan alleen het leveren van data. Tijd om anders te gaan denken!

Datagebruik verandert

Een nieuwe, overkoepelende data-architectuur moet de sneltreinvaart waarmee datatoepassingen zich ontwikkelen zowel flexibel als beheersbaar houden. Er is niet alleen meer vraag naar (meer) data, het soort toepassingen verandert ook enorm.  Data wordt niet meer alleen gezien als een bijproduct van de primaire processen dat je gebruikt om te rapporteren en trends te ontdekken. Wie datagedreven wil worden, kijkt naar alle mogelijke manieren om data maximaal te benutten. Strategisch, tactisch én ook operationeel. Denk bijvoorbeeld aan:

  • Self service BI waarbij business users niet alleen zelf rapportages maken, maar ook geavanceerde data-analyses kunnen ontwikkelen met makkelijk te gebruiken tools als Microsoft Power BI, Qlik Sense, Tableau of Alteryx zonder diepgaande IT-kennis.
  • Embedded BI waarbij operationele applicaties KPI’s tonen om zo de cyclus van actie – inzicht – reactie te versnellen.
  • Data science om patronen in grote hoeveelheden data te ontdekken en algoritmes te bouwen die voorspellen of zelfs acties voorschrijven.
  • Het compleet datagedreven maken van operationele processen waarbij acties automatisch worden geïnitieerd door algoritmes die hebben ‘geleerd’ van historische data.

Met name het operationele gebruik van data zal de komende jaren snel groeien. Data-analyse wordt steeds meer real-time (of zelfs streaming) en geautomatiseerd uitgevoerd en verregaand geïntegreerd met de operationele processen en systemen. De nieuwe data-architectuur zal alle soorten gebruik moeten faciliteren, zodat er niet voor alles een oplossing bedacht wordt, maar er één architectuur ontstaat voor alle vormen van datagebruik. De data-architectuur wordt met deze ontwikkelingen bovendien ook steeds meer ‘van de business’ en niet meer alleen een IT-aangelegenheid. Ook dat stelt eisen aan de architectuur en hoe erover gecommuniceerd wordt.

Meer dan de data

Het klinkt misschien raar, maar een moderne data-architectuur gaat over meer dan alleen de levering van data. Uiteraard is het faciliteren van datastromen een belangrijk onderdeel van de architectuur, maar de data-architectuur gaat ook over allerlei andere ‘capabilities’ met betrekking tot het gebruik van data. Een paar voorbeelden van componenten die je tegen zou kunnen komen in een moderne data-architectuur om die capabilities te ondersteunen:

  • Een infrastructuur voor een datalab, waarin data scientists algoritmes kunnen ontwikkelen en valideren op grote datasets.
  • Model management: het in productie brengen van (data science) algoritmes, het periodiek controleren van die algoritmes (welke versie heeft welke beslissingen genomen) en het hertrainen van modellen, om te zorgen dat voorspellingen betrouwbaar zijn.
  • Code repositories waarin databewerkingen als code worden opgeslagen om deze met geautomatiseerde processen en geautomatiseerd testen vanuit een ontwikkelomgeving in productie te nemen, inclusief versiebeheer.
  • Een datahub: de ondersteuning van alle dataleveringen (inclusief die aan primaire bedrijfsprocessen en -systemen) via automatisering van dataverwerking en datalevering.
  • Een data catalog waarmee gebruikers snel de juiste data kunnen vinden en kunnen zien waar data vandaan komt en hoe die bewerkt is. Alles volgens het data governance beleid van de organisatie.
  • Het verzorgen van ‘auditeerbaarheid’ van datastromen en datakwaliteit, maar ook van datagebruik en van modellen.
  • Authenticatie- en autorisatiediensten waarmee de gebruikers en de technische componenten hun benodigde toegang kunnen krijgen.
  • Het monitoren van alle systemen en datastromen.

Automatisering, auditeerbaarheid en monitoring van dataverwerking, datagebruik, modellen en algoritmes maakt onlosmakelijk onderdeel uit van de data-architectuur. Ontwikkeling en implementatie van data governance beleid gaat hand in hand met de realisatie van een nieuwe data-architectuur.

Waarom nu?

Waarom is er recent zoveel aandacht voor het moderniseren van data-architecturen? Waarom zijn we hier niet al veel langer mee bezig? Daar zijn twee redenen voor.

Ten eerste lopen steeds meer organisaties – in hun inspanning om meer datagedreven te worden – vast met hun bestaande oplossingen. Ze realiseren zich dat het ombouwen van bestaande data warehouses en data lakes waarschijnlijk meer gaat kosten dan het ontwikkelen van een nieuwe data-architectuur. Bovendien zien ze dat de technologie die ze gebruiken niet meer toereikend is voor de datavolumes, gewenste snelheden en analysetoepassingen waar de business behoefte aan heeft. Doorgaan op de traditionele weg gaat dingen alleen maar complexer maken. Nog los van de data governance eisen die er zijn. Kortom: de bestaande ‘architectuur’ kan de vraag niet meer bijbenen.

Ten tweede is er de afgelopen periode veel technologie volwassen geworden die geweldige mogelijkheden opent voor het snel, efficiënt, slim en betaalbaar gebruiken van data. Cloud platformen brengen krachtige en zeer schaalbare mogelijkheden binnen handbereik voor opslag en verwerking van data. Inclusief allerlei standaardmogelijkheden voor dataextractie, verwerking, opslag en analyse. Technologie voor datavirtualisatie helpt om data-architecturen veel flexibeler en dus wendbaarder te maken. En data science toepassingen zijn de experimentele fase voorbij, met serieuze mogelijkheden voor ‘model management’, waardoor het breedschalig toepassen van algoritmes mogelijk wordt. Kortom: de tools zijn binnen handbereik gekomen en betrouwbaar geworden.

De moderne data-architectuur

Een moderne data-architectuur faciliteert dus alle typen datagebruik van een organisatie en sluit bedrijfsbreed aan bij de primaire processen en systemen. De architectuur benadert data vanuit een hoger niveau en verbindt alle applicaties met elkaar. Dat creëert snelheid in het bijsturen van bedrijfsprocessen, het nemen van beslissingen of maken van keuzes voor het ontwikkelen van nieuwe producten of diensten. Het wordt zelfs mogelijk om algoritmes zelf, in real-time beslissingen te laten nemen. Data is niet langer een bijproduct van de primaire processen, maar komt in het hart van de organisatie te staan. Voorspellen is niet langer een functie van een enkele applicatie, maar een geïntegreerd en geautomatiseerd onderdeel van de architectuur. Data wordt een strategisch bedrijfsmiddel en wordt door de architectuur ook als dusdanig behandeld.

Doordat de rol van een moderne data-architectuur veel breder is dan die van traditionele oplossingen en daarmee ook onmisbaar wordt voor het primaire proces, worden automatisering, auditeerbaarheid en governance extra belangrijk.

De data-architectuur gaat over alle ingaande en uitgaande datastromen, en alle keuzes die daarbij gemaakt worden. De architectuur schrijft voor welke data waar wordt opgeslagen en welk type databewerkingen waar worden uitgevoerd, over alle systemen heen. Dat heeft dus ook tot gevolg dat eigenaren van een systeem (bijvoorbeeld de ERP-applicatie) er niet meer automatisch voor kunnen kiezen om logica onder te brengen in hun ‘eigen’ systeem, want misschien is het volgens de data-architectuur beter om die logica centraal door te voeren. Alleen op die manier kan de betrouwbaarheid en wendbaarheid van de architectuur, en daarmee de organisatie, voor de toekomst gegarandeerd worden.

De visualisatie van een moderne data-architectuur ziet er dan ook anders uit dan die van een traditionele data warehouse oplossing. Bijvoorbeeld met componenten om streaming data te verwerken, data science modellen te verwerken of de performance van modellen te monitoren.

Op weg naar een nieuwe data-architectuur?

Het mag duidelijk zijn dat het ontwerpen van zo’n data-architectuur niet eenvoudig is. Zeker niet als je de bestaande oplossingen zoveel mogelijk een plek wilt geven in de nieuwe data-architectuur. We hebben hier al diverse artikelen over gepubliceerd. Ook hebben we beschreven hoe je daarbij de business aangehaakt houdt. Een stappenplan vind je in ons e-book over de moderne data-architectuur.

Meer dan architectuur

Waar data-architectuur meer omvat dan de data, omvat een datagedreven strategie meer dan alleen een data-architectuur. Je kunt nog zo’n mooie data-architectuur ontwerpen, als de organisatie niet klaar is om die op een goede en veilige manier in gebruik te nemen, heb je er niets aan. Het gebruik van voorspellende modellen in ieder bedrijfsproces komt pas tot stand als dit terugkomt in de strategie van je organisatie, als je medewerkers weten hoe ze zo’n voorspellend model moeten gebruiken en als de juiste automatische controles plaatsvinden op de kwaliteit van het model. Het kenmerk van succesvolle datagedreven bedrijven is dat ze, naast hun data-architectuur, goed scoren op de volgende kenmerken:

  • Datamanagement: er is een goed data governance beleid, vertaald naar de juiste datamanagement processen en hulpmiddelen.
  • Datastrategie: toepassing van data is onderdeel van het strategisch plan van de organisatie, vertaald naar beleid en gedragen op directieniveau.
  • Datavaardigheid: medewerkers worden opgeleid en gecoacht in het toepassen van data in hun dagelijks werk.
  • Self service: er is ruimte voor decentrale initiatieven met data door medewerkers met verstand van de primaire processen en dit wordt gefaciliteerd.

Het is belangrijk om te weten waar je staat op al deze gebieden en waar je je als eerste op wilt ontwikkelen. Zodat je stapsgewijs uitgroeit tot een écht datagedreven organisatie.

Conclusie

Data, en het gebruik ervan, wordt steeds belangrijker voor organisaties. Om alle vormen van datagebruik te ondersteunen heb je allerlei vormen van datalevering nodig die samenkomen in een moderne data-architectuur. Een bedrijfsbrede architectuur die alle primaire en secundaire bedrijfsprocessen kan ondersteunen en mogelijkheden biedt om data te leveren aan alle gebruikers (en systemen) en om ze te ondersteunen bij het gebruik van die data. Daarbij zijn automatisering, auditeerbaarheid en governance belangrijke kernprincipes.

Om data succesvol in het hart van je organisatie te zetten, is een moderne data-architectuur een essentieel fundament, maar er is meer. Het is belangrijk om te zorgen dat ook je datastrategie, de datavaardigheid van je medewerkers en de processen rondom data management in lijn zijn met het beoogde gebruik van data binnen je organisatie.

Hoe zie de datastrategie van jouw organisatie eruit? En hoe wendbaar is jullie data-architectuur?

Stefan Koster