Leer in 8 minuten

  • Wat een moderne data-architectuur oplevert
  • Welke rol de cloud speelt
  • Hoe je de overstap maakt

Zit jouw organisatie ook met een verouderd dataplatform? Een centraal datawarehouse heeft jaren goed gewerkt als hart van je informatievoorziening. Maar nu is de boel te log geworden en loop je vast door teveel data, teveel kopieerslagen en allerlei verschillende datatypes. Dat belemmert je innovatie. Drie tips helpen je een data-architectuur neer te zetten waar je alle kanten mee uit kunt.

Het geheim van een moderne data-architectuur? Dat is de cloud, in combinatie met datavirtualisatie. In dit artikel focussen we op de cloud en de grote voordelen van cloudtechnologie voor je dataplatform. Denk om te beginnen aan de enorme schaalbaarheid en flexibiliteit waarmee je grote hoeveelheden data probleemloos verwerkt en analyseert. Je betaalt bovendien meestal alleen voor wat je gebruikt en je hoeft geen grote investeringen vooraf te doen. Je kunt klein beginnen, snel opschalen en weer stoppen zonder dat het je veel geld kost. Daarbij komt het grote aanbod aan ‘kant-en-klare’ technologie dat via de cloud beschikbaar is: geautomatiseerde bouwblokken waarmee je binnen een paar minuten aan de slag bent. Al deze voordelen stellen je in staat om radicaal andere data-architecturen te ontwerpen en te bouwen. Deze drie tips vertellen hoe je dat doet.

1. Maak van je dataplatform een logisch, géén fysiek geheel

We hebben lang met z’n allen geprobeerd om alle data van een dataplatform zo veel mogelijk fysiek bij elkaar te zetten. Maar al je gegevens in dezelfde datastore of zelfs op één machine zorgt al snel voor problemen. Je kunt nu eenmaal geen datastore vinden die alle datatypes met elkaar kan integreren. En voor sommige toepassingen heb je eenvoudigweg specialistische oplossingen nodig die een bepaald dataformaat beter ondersteunen. Ook is het lastig om de datagroei bij te benen. Je bent gebonden aan de verwerkingscapaciteit van die ene datastore en kunt niet even snel opschalen.

In een cloud data-architectuur is dat helemaal anders. Je dataplatform bestaat uit meerdere componenten, die in plaats van een fysiek geheel een logisch geheel vormen. Je kiest simpelweg datastores die passen bij de data die je wilt opslaan en analyseren. Daarvoor zijn er steeds meer technologische oplossingen beschikbaar, die elk hun eigen kracht hebben. Per datastore bepaal je welke technologie je inzet om bijvoorbeeld nieuwe use cases te ondersteunen of grote datasets te verwerken. De omgeving wordt één logisch geheel door de verschillende datastores bij elkaar te brengen met een unified delivery-laag. Met de datavirtualisatietechnieken van vandaag vul je zo’n laag perfect in. Zo is het optimaliseren van queries op de huidige datavirtualisatieplatformen sterk verbeterd en biedt de cloud voldoende schaalbare (reken)kracht om de onderliggende datastores het zware werk te laten doen.

2. Bouw een data-architectuur die uitgaat van verandering

Binnen een cloud platform als Azure of AWS volgen technologische ontwikkelingen elkaar razendsnel op. Je architectuur ontwerpen voor verandering is dan ook belangrijker dan ooit. Hoe maak je een cloud data-architectuur wendbaar? Dat doe je door je architectuur te ontwerpen aan de hand van ‘capabilities’. Die capabilities koppel je los van elkaar, zodat je ze afzonderlijk kunt ontwikkelen.

Capabilities zijn brokken functionaliteit die losstaan van de technologie. Ze beschrijven wat een platform moet kunnen en niet met welke technologische oplossing dat wordt ingevuld. De onderliggende technologie kan dus veranderen, terwijl de capabilities van een component dezelfde blijven. Hieronder zie je een versimpelde weergave van een capability-model van een cloud data-architectuur. De capabilities (in het lichtgrijs) zijn gegroepeerd per fase van de life cycle waarin de data zich bevindt (connect, ingest, process, store, serve, consume) en in twee ondersteunende lagen (operatie en hosting). Je kunt ze verder opdelen in sub-capabilities.

Een voorbeeld ter verduidelijking. De capability ‘gestructureerde opslag’ voert het opslaan van gestructureerde informatie uit, meestal in een database. Wil je meer detail aanbrengen, dan deel je deze capability op in de sub-capabilities relationele opslag (zoals in standaard databases), spatial opslag (databases die locatiegegevens kunnen opslaan en bewerken), graph-opslag (databases die werken met een graph- of netwerkmodel) en timeseries-opslag (databases geoptimaliseerd voor het opslaan en doorrekenen van tijdreeksen).

Ontkoppeling

Hoe vul je nu de technologie voor de capabilities in? Traditioneel wordt er meestal gekozen voor systemen die zo veel mogelijk capabilities afdekken. Bijvoorbeeld grote suites voor datamanagement van Informatica of Talend en algemene databaseplatformen zoals Oracle 11g en Microsoft SQL server. Maar dit soort grote systemen vervang je niet een-twee-drie. In de cloud switch je eenvoudig per capability naar een technisch beter alternatief en profiteer je van het ‘pay-per-use’-model. Heel anders dus dan bij een on-premise oplossing die je voor meerdere jaren aanschaft en waarbij het tussendoor uitzetten je een hoop geld kost. Ook de integratie van producten is een stuk makkelijker binnen een cloud data-architectuur. Leveranciers van cloudoplossingen zijn van huis uit gericht op integratie. Ze bieden gestandaardiseerde interfaces (API’s) waarmee ontkoppelen en integreren een peulenschil is.

Op deze manier ben je in staat per capability de beste technologie te kiezen. En komt er een nog betere oplossing op de markt? Dan heb je altijd een exit-strategie waarmee je snel de overschakeling maakt.

3. Begin klein en ontwikkel iteratief

We zijn geneigd om altijd eerst een bestaande omgeving naar een nieuwe omgeving temigreren.Maar de vraag is of dat je wel voldoende oplevert. Je blijft immers hetzelfde doen, alleen met een andere technologie. De business krijgt er niets nieuws bij. In de cloud kun je dit helemaal anders aanpakken. Je zet bestaande, waardevolle use cases over naar je nieuwe platform, waar je ze uitbreidt met nieuwe functionaliteit.  Zo lever je direct meerwaarde aan je bedrijf, terwijl je je nieuwe data-architectuur stap voor stap opbouwt. Ook krijg je sneller ondersteuning vanuit de organisatie om door te pakken met je nieuwe architectuur en uiteindelijk al je toepassingen te migreren.

Deze manier van werken is mogelijk doordat je in de cloud alleen betaalt voor wat je gebruikt. Het maakt niet uit dat er in het begin maar een paar use cases op je nieuwe omgeving draaien. Het kost niet veel geld, maar kan al wel veel opleveren. En wil je opschalen? Dat is met cloudtechnologie zowel technisch als financieel eenvoudig.

Dezelfde iteratieve aanpak laat zich ook goed toepassen op het realiseren van nieuwe use cases. Dat heeft alles te maken met de ontkoppeling van je capabilities en de flexibiliteit die de unified delivery-laag je biedt. Waarom zou je direct alle capabilities van je data-architectuur inzetten en een nieuwe use case met een goud omlijnd randje maken? Het is beter om eerst klein te beginnen met een oplossing waarin je weinig capabilities gebruikt. Voordat je veel tijd en geld investeert, kunnen gebruikers dan eerst de waarde van de data ontdekken. Denk bijvoorbeeld aan het direct aanbieden van ruwe brondata via de unified delivery-laag, met een tool voor datapreparatie om daarin op ontdekking te gaan. Pas wanneer de data waardevol blijken te zijn, voeg je capabilities toe. Bijvoorbeeld cataloguing om de data voor iedereen vindbaar te maken of historisatie om wijzigingen van je data vast te leggen.

Om een lang verhaal kort te maken: de toekomst van je data-architectuur ligt zonder twijfel in de cloud. Je bent in alle opzichten flexibel en kunt snel inspelen op de wensen van de business, met een optimale kostenefficiëntie.

Welke use cases helpen jou een moderne data-architectuur te bouwen en te ontkomen uit de wurggreep van je datawarehouse?