Vlog 20 De data-keten

We hebben het al vaak gehad over de betrouwbaarheid van data. Maar hoe zorg je daar in de praktijk voor? Vandaag duiken we in een belangrijk, technisch principe dat daar direct aan bijdraagt: een zo kort mogelijke dataketen.

Vaak zien we dat data uit een bronsysteem wordt gehaald, door een reeks van scripts en tools gaat, en pas na vele stappen in het datawarehouse belandt. Elke stap in die keten is een potentieel punt van falen, een kans op fouten en een extra schakel die je moet onderhouden. Het wordt nog erger als één van die stappen een ‘black box’ is: een tussensysteem of script waarvan niemand precies weet hoe het werkt.

Onze aanpak is anders: we volgen het principe van ‘zo min mogelijk schakels’. We streven ernaar de data zo direct mogelijk uit het bronsysteem te ontsluiten. Dit betekent niet dat er geen transformaties plaatsvinden, maar wel dat we die transformaties zo dicht mogelijk bij het bronsysteem definiëren, in een volledig transparante en beheersbare omgeving.

Waarom? Omdat dit de kans op fouten minimaliseert. Hoe minder stappen, hoe kleiner de kans dat er ergens in het proces iets misgaat. Bovendien maakt het troubleshooting vele malen eenvoudiger. Wanneer de data niet klopt, weet je precies waar je moet zoeken, of heb je in ieder geval minder plekken waar je moet zoeken, zonder te verdwalen in een complex web van onbekende systemen en scripts. De data blijft helder, traceerbaar en betrouwbaar.

Door de dataketen kort en transparant te houden, bouwen we aan een fundament dat niet alleen werkt, maar ook toekomstbestendig is.

Wil je ook bouwen aan een robuuste en overzichtelijke dataketen? Neem dan contact met ons op voor meer informatie.