Agile design thinking met een ML-ops sausje
Het idee achter de Intelligence Factory is al best wel oud, maar eigenlijk recent weer heel actueel. Nu iedereen data science en AI ziet als mainstream, komt de vraag weer terug: “Maar wat doen we er dan mee?” “Wat levert dat dan op?” Het belangrijkste doel van de inspanningen op het gebied van data science en AI is het creëren van waarde uit je data, dus om er daadwerkelijk geld mee te verdienen. Dit komt neer op dingen slimmer, sneller, of anders doen dan dat je deed. Je laat je overtuigen door data…
De experimenteerfabriek zorgt ervoor dat nieuwe inzichten uit je data op een fabrieksmatige manier in je organisatie kunnen worden ingezet. Weet je van tevoren of een experiment waarde gaat opleveren? Nee, dat zul je moeten gaan onderzoeken! Het is dus zaak dat je met een heleboel slimme ideeën komt die je snel kunt toetsen.
Data science experimenten realiseren, evalueren en implementeren
Waar CRISP-DM een beproefde methode is om een data science project op zichzelf vorm te geven, heb je met de Experimenteer Fabriek een raamwerk in handen om op een gestroomlijnde manier data science experimenten te realiseren, evalueren en implementeren.
Een belangrijke valkuil bij data science projecten is het feit dat maar een heel klein deel van de initiatieven die we starten de eindstreep halen. Veel projecten blijven hangen in schoonheid of lopen vast in het moeras van (vermeende) data kwaliteit problemen. De kunst is om je te blijven richten op de business case, ook hier geldt het Pareto principe. 80% van de waarde kun je ophalen met 20% van de data. Als je je blijft richten op die 80% dan accepteer je een model dat misschien niet het beste model is dat je zou kunnen maken. En ook accepteer je dat er met een betere datakwaliteit vast mooiere resultaten zouden kunnen worden behaald. De focus blijft op het realiseren van de waarde die wel voor het oprapen ligt… En als blijkt dat je de businesscase toch niet haalt dan parkeer je dit experiment en start je met de volgende case op de backlog!
Design Thinking: het genereren van fantastische ideeën!
De backlog van mogelijk interessante ideeën en usecases wordt vorm gegeven aan de hand van design thinking.
De vijf stadia van design thinking zijn:
- Inleven: onderzoek de behoeften van je gebruikers.
- Definiëren: stel de behoeften en problemen van je gebruikers vast.
- Ideate: daag aannames uit en creëer ideeën.
- Prototype: begin met het creëren van oplossingen.
- Test: probeer uw oplossingen uit.
If you fail, fail fast. 80% van de waarde in je data kun je met 20% inspanning uitnutten, de laatste 20% is vaak heel veel (te veel?) meerwerk.
Wij proberen altijd eerst aan te tonen dat de usecase überhaupt interessant is alvorens er meer tijd in te stoppen. Bij ons geldt de regel : 13 > 9 > 7 > 2 …
Deze regel is ontstaan bij de eerste implementatie van de Experimenteerfabriek (in 2017), de exacte aantallen zijn niet relevant maar hopelijk snap je het idee er achter:
Je begint aan 13 experimenten , daarvan lijken na een eerste evaluatie 9 een positieve businesscase te hebben. Deze 9 usecases ga je daadwerkelijk live zetten in de organisatie. Na periode x (meestal 1 of 2 kwartalen afhankelijk van de case en omvang van de organisatie) blijken er daadwerkelijk 7 aantoonbaar positief waarvan er uiteindelijk 1 of 2 echte ‘golden nuggets’ zijn. De echte diamanten!
Dus je weet dat je veel experimenten moet doen om die paar waardevolle cases voor je organisatie te vinden!
Van ML Ops naar Data Ops
Als je dit leest, en je al een tijdje meeloopt in het vakgebied (zoals wij bij DIKW) dan weet je dat het daadwerkelijk implementeren van experimenten geen sinecure is. De “devil is in the detail”, zeker als het erop aankomt je algoritme te voeden met de data zoals je het model getraind hebt , inclusief alle preprocessing stappen, filters en bewerkingen uit je experiment. Daarnaast staat de klant of je proces nooit stil dus monitoren van je resultaten, data drift en kwaliteit blijft essentieel. En natuurlijk komt datakwaliteit je weer in de staart bijten. Juist in deze fase is het belangrijk issues te gebruiken in je voordeel in plaats van als excuus. Governance en eigenaarschap zijn key enablers voor de experimenteer fabriek en juist op het raakvlak van experiment naar business-as-usual liggen kansen voor structurele verbetering van je data kwaliteitsprocessen zodat je je organisatie naar een hoger analytisch volwassenheidsniveau kunt tillen!
Deze aanpak blijkt in de praktijk te werken! We hebben de experimenteer fabriek een aantal keer succesvol neergezet. Bij een grote telecomprovider in 2017 de eerste keer succesvol geïmplementeerd, in 2021 nog gevalideerd en nog steeds in gebruik met een jaarlijkse recurring revenue van 10 miljoen per jaar.
DIKW Services: beheer van jouw Intelligence Factory
Met DIKW Services zorgen wij dat jouw Intelligence Factory betrouwbaar blijft draaien, of deze nu is ingericht in Microsoft Azure of in onze eigen soevereine cloudomgeving. Wij monitoren, beheren en optimaliseren de complete data- en AI‑keten: van data-ingestie en modellering tot dashboards, AI-agents en ML‑modellen in productie. Dankzij onze Azure-specialisatie én onze privacy‑bewuste, Europese cloudinfrastructuur combineer je de wendbaarheid van de public cloud met de controle en compliance van een soevereine oplossing. Zo heb jij één partner die niet alleen de Intelligence Factory helpt ontwerpen en bouwen, maar deze ook als beheerde dienst voor je exploiteert.
Is de experimenteerfabriek ook iets voor jouw organisatie? Neem dan contact op.
