In de moderne, data gedreven wereld is het vermogen om data om te zetten in concrete waarde cruciaal voor succes. Organisaties die hun data effectief inzetten, behalen niet alleen een concurrentievoordeel, maar optimaliseren ook hun bedrijfsprocessen en stimuleren groei. DIKW Intelligence helpt MKB-ondernemingen bij het ontwikkelen en implementeren van een datastrategie op maat, waarmee het volledige potentieel van data binnen en buiten de organisatie wordt ontsloten.
Trends in analytics
Sinds een paar jaar, met de opkomst van clouddiensten voor analytics en de ambitie om data gedreven te werken, krijgen drie nieuwe (architectuur) concepten meer bekendheid. Data Democratie, Data Mesh Architectuur en Data Fabric Architectuur. De afgelopen decennia zijn voornamelijk 2 en 3-tier oplossingen toegepast ook wel bekend als respectievelijk Kimball en Inmon of Data Vault.
Wat kunnen deze nieuwe trends in het data en analytics landschap betekenen voor organisaties? Hoe verhouden deze zich tot elkaar?
Voordat we in gaan op het beantwoorden van deze vragen een korte uitleg van de concepten. Een zoekopdracht op internet levert al snel vele beschrijvingen op.
Dit blog geeft een beknopt overzicht van deze 3 met de belangrijkste kenmerken en inzicht wat dit voor uw organisatie kan betekenen.
Verwacht geen ander resultaat als je hetzelfde blijft doen
Een van de meest gehoorde klachten is het gebrek aan tijdige toegang tot
betrouwbare data en de middelen om deze te verwerken tot data producten.
Data Autocratie
Van oudsher is het maken van nieuwe data producten een IT-feestje, vaak centraal
georganiseerd en gedirigeerd. Een backlog, één team van data engineers, -scientists
en -analisten die de business vraag vaak uit 2de hand vernemen, via een business
informatie analist, alsof ze zelf niet kunnen praten met degene die de vraag stelt. En
omdat het centraal georganiseerd is, wordt het ondersteunde systeem een Data
Warehouse ook centraal ingericht.
In het kort een autocratie!
Dit heeft uiteraard voor- en nadelen, zoals.
Voordelen:
- Afdwingen van uniforme data definities, wat de consistentie van rapportages ten
goede komt. - Data beschikbaar op een plek, voorkomen van gesleep met data door de
organisatie. Wat inefficiënt is en in het kader van AVG regelgeving ook risico’s met
zich meebrengt.
Nadelen:
- Zoals geschetst vormt de centrale organisatie vaak een bottleneck zeker bij
toenemende vraag. Ook al wordt het team groter, dan vergt dat weer veel
onderlinge afstemming. - Veelal een one-site fits all oplossing, elke vraag complex of eenvoudig wordt op
dezelfde manier opgelost. - Het DWH team staat op afstand van de bronnen en soms ook tot de vraag. Er gaat
veel tijd verloren in het leren kennen van de brondata en vervolgens aansluiten op
de vraag tot een product.
Data democratie
Data democratie is niet zozeer een systeem architectuur maar een manier van
organiseren. Het adresseert de toenemende vraag naar het zelfstandig kunnen
uitvoeren van data analyses, met als ultiem doel de data-gedreven strategie van een
organisatie te realiseren.
Data-democratie bevordert bottom-up ideeën omdat geïnformeerde medewerkers
beter bijdragen aan strategie en processen
In een data democratie heeft iedereen, dus ook niet data-specialisten, het recht om
zelfstandig data producten te maken, maar net als in een democratische
samenleving zijn er ook plichten.
Hieronder de basis spelregels:
- Vrije toegang voor iedereen: Alle medewerkers krijgen toegang tot bedrijfsdata op
basis van rol en noodzaak, zonder poortwachters of complexe aanvragen; data is
het nieuwe “gelijk speelveld“. - “You create it you own it.” Als vervaardiger van een data product ben je ook
verantwoordelijk voor het onderhoud, vastleggen van definities, registratie, tijdig
beschikbaar stellen, gebruikers ondersteunen e.d.. - Hergebruik van bestaande data producten, maak geen kopieën of vele varianten
op hetzelfde data product. - Data geletterdheid verplicht: Organisatie investeert in opleidingen zodat iedereen
data kan lezen, vertrouwen en toepassen in eigen werk. Iedereen neemt ook
actief deel aan dit proces van leren en experimenteren.
Welke architectuur past hier nu het beste bij?
Data Mesh architectuur
De data mesh architectuur is gebaseerd op het idee dat data een product is en niet bijzaak van een proces in een systeem. Volgens dit idee wordt het tijdig leveren van kwalitatief betrouwbare data voor analyses en rapportages ook onderdeel van die bronsystemen. We noemen dit shift-left. Dus het CRM systeem is ook verantwoordelijk voor het maken van datasets voor klant-analyses en bijvoorbeeld ERP over productiviteit.
Het combineren van 2 of meerdere bronnen is de verantwoording van de afnemer, deze maakt in feite weer een nieuwe data set. Die als zodanig weer beschikbaar wordt gesteld voor andere gebruikers. Volgens het “you create it, you own it” principe.
De kernprincipes:
- Domeineigendom – Domeinteams nemen volledige verantwoordelijkheid voor hun data. Analytische en operationele data worden georganiseerd rond domeincontexten en eigendom verschuift van centrale IT naar domeinteams.
- Data als product – Data wordt behandeld als product met externe afnemers. Domeinteams leveren hoogwaardige data die voldoet aan behoeften van andere domeinen, als openbare API.
- Self-service platform – Centraal platformteam biedt domeinonafhankelijke tools voor het bouwen, uitvoeren en onderhouden van inter-operabele dataproducten. Domeinteams werken naadloos zelf.
- Federatief beheer – Standaardisatie door beheergroep zorgt voor interoperabiliteit van alle dataproducten binnen organisatieregels. Creëert compliant data-ecosysteem.
Data Fabric architectuur
In tegenstelling tot het Data Mesh architectuur concept, wat meer organisatorisch van karakter is, is de Fabric architectuur veel meer een platform.
In het kort omschreven als: een metadata gedreven, centrale datamanagement laag die verspreide data logisch samenbrengt en als één omgeving presenteert (data federatie concept). Deze laag levert geïntegreerde services voor integratie, governance, kwaliteit, security en self service toegang over alle platformen heen.
De kernprincipes
- Gecentraliseerd datamanagement: één logisch governancelaag (policies, security, kwaliteit) bovenop alle bronnen, ongeacht technologie of locatie (on‑prem, multi‑cloud, SaaS).
- Logische in plaats van fysieke centralisatie: data mag in bronplatformen blijven; de fabric verbindt ze via een uniforme abstractielaag, vaak met virtuele views en slim ingerichte pipelines.
- Metadata‑ en kennisgraaf‑gedreven: uitgebreide catalogus, lineage en knowledge graph sturen integratie, data‑discovery en automatisering (bijvoorbeeld het genereren van pipelines of policies).
De kracht van de combinatie!
Op zichzelf staand zijn de besproken concepten geen vernieuwde ideeën, eerder een logische evolutie van architectuur, bestaande uit: organisatie, processen en technologieën.
Duidelijk is dat beide architecturen de complexiteit van data-management willen verminderen en de toegang tot data verbeteren. Tevens benadrukken beide dat data behandeld moet worden als een product, met kwaliteit, metadata, en overnance.
Beide zijn geen specifieke technologieën, maar conceptuele raamwerken die je moet implementeren om data democratie succesvol te maken. Beide zijn ontworpen om te schalen in complexe, gedistribueerde omgevingen.
Data Fabric is geschikt als je een complexe, legacy omgeving hebt en centrale integratie en automatisering wilt.
Data Mesh is geschikt als je organisatorische verandering wilt en domeinteams meer verantwoordelijkheid wilt geven.
In de praktijk ziet DIKW meerwaarde in hybride oplossingen, waarbij Data Mesh principes worden gecombineerd met Data Fabric technologie voor integratie en metadata-beheer.
Dus samengenomen een sterke combinatie die de belofte van een data gedreven strategie kunnen waarmaken. Met extra nadruk op culturele shift naar organisatie brede data-adoptie in plaats van alleen technische architectuur.
Download de hele whitepaper.
