"Verborgen gebreken"

Door datathatworks, 10 maart 2022

"Verborgen gebreken"

bbbHet success van business intelligence trajecten wordt vaak afgemeten aan de zichtbare resultaten van projecten. Het uiterlijk van de opgeleverde dashboards, de snelheid waarmee de rapporten zijn opgeleverd, de hoeveelheid rapporten die wordt opgeleverd, de performance van rapporten, de hoeveelheid data die beschikbaar is, etc. Het success op de lange termijn is echter in sterke mate afhankelijk van de resultaten die voor grote groepen gebruikers onzichtbaar zijn. Denk hierbij aan: de datakwaliteit, de mate waarin informatie op het juiste moment bij de juiste persoon aanwezig is, het vertrouwen dat verschillende doelgroepen in de informatie hebben, de bedrijfsresultaten die uiteindelijk behaald worden door de beschikbaarheid van bepaalde informatie, etc. In die zin kan je het vergelijken met de bekende ijsberg waarvan 80% zich onder het water oppervlak bevindt. Als alle betrokkenen vanaf dezelfde positie naar deze 'ijsberg' zouden kijken, ziet men welliswaar niet alles, maar wel allemaal hetzelfde. Het typische van business intelligence projecten is dat verschillende betrokkenen vanuit verschillende disciplines, en vanuit verschillende lagen van het bedrijf, elk vanuit zijn eigen perspectief naar deze 'ijsberg' kijkt en daarmee een totaal ander beeld kan hebben dan een andere betrokkene. Je zou kunnen zeggen dat een top level manager van bovenaf naar de ijsberg kijkt. Een technische bron deskundige kijkt van onder de ijsberg naar boven. Beide zien iets anders, en beide zien niet wat de ander ziet. Een management dashboard kan er op het oog perfect uitzien, terwijl de getoonde informatie geen waarde heeft.

Transparantie is de sleutel
Juist omdat elke belanghebbende op zijn of haar eigen wijze naar de data kijkt, is het belangrijk om constant informatie uit te wisselen. Hierbij moet de zender beseffen dat de ontvangende partij mogelijk een andere achtergrond heeft. Mensen uit de business ervaren de dagelijkse gang van zaken tijdens de uitvoering van de business processen als vanzelfsprekend en volkomen logisch. Technische data specialisten zijn hier vaak minder in thuis. Voor hen zijn data structuren zeer belangrijk en waardevol, terwijl de business process deskundigen hier weinig mee bezig zijn. Om succesvol te zijn, zullen data specialisten de business processen moeten snappen en proces specialisten de data structuren. Beide groepen zullen zich moeten inspannen om de andere groep te informeren op een wijze die de doelgroep aanspreekt. Omdat business processen aan verandering onderhevig zijn, en inzichten ook constant veranderen, is het noodzakelijk om deze informatie uitwisseling constant actueel te houden.

Documentatie blijft een uitdaging
Documentatie, die in een Business Intelligence / Data Warehouse architectuur onder het begrip Meta Data valt, is in veel gevallen een ondergeschoven kindje. De oorzaak hiervan ligt in het feit dat het doorgaans veel inspanning vergt om de documentatie up-to-date te houden. Het documenteren wordt door veel ontwikkelaars als oninteressant werk gezien. En ook vanuit de gebruikersgroep is aan het begin van een project weinig interesse in opgeleverde documentatie. Zoals gezegd stellen diverse betrokkenen andere eisen aan de documentatie, waardoor het lastig is om documentatie op te leveren die aan alle smaken voldoet. Met andere woorden: documenteren kost relatief veel en weinig mensen zien het als prioriteit. De meerwaarde van documentatie wordt ook vaak pas duidelijk nadat het systeem enkele jaren in gebruik is en meerdere aanpassingen en uitbreidingen heeft ondergaan. Op dat moment hebben de initieel betrokkenen het bedrijf vaak verlaten, waardoor ook de kennis over het systeem verdwenen is. Dat is vaak het moment dat een wakkere gebruiker in zijn zoektocht naar antwoorden de vraag opwerpt: "Kan ik de documentatie ontvangen van het systeem?". Dat is vaak het moment dat beheerders zich realiseren dat de documentatie al tijden niet meer wordt bijgewerkt. In tegenstelling tot hoe het doorgaans gezien wordt, is documentatie het belangrijkste onderdeel van een data analytics omgeving. Data zonder context heeft geen informatieve waarde, en het is de documentatie die de gebruiker van context voorziet.

De plaats van Context in de 'Data Centric' en 'Data Driven' company
In plaats van metadata of documentatie als sluitpost te zien van een data project, zou het eigenlijk op de eerste plaats moeten staan. Er zou tijdens de beginfase van het startproject gedefinieerd moeten worden welke documentatie vereist is voor welke doelgroepen, hoe deze documentatie up-to-date wordt gehouden en in welke vorm deze gepresenteerd wordt aan de verschillende doelgroepen. Men dient zich hierbij te realiseren dat de automatische metadata en data lineage functionaliteiten van ETL en Analytics tools meestal niet vanzelf 100% accurate metadata opleveren. Het achteraf geautomatiseerd afleiden van documentatie uit de gefabriceerde programmatuur blijkt doorgaans een brug te ver. Kortom, het ontwikkelen en beschikbaar stellen van documentatie zal centraal gesteld moeten worden in elk project. Documentatie zou de nummer 1 deliverable moeten zijn. Dit alles vereist een andere aanpak en architectuur dan de gebruikelijke. In een volgend artikel zal hiervan een voorbeeld uitgewerkt worden.

Reacties