Illustratie bij de connected architectuur

Connected architectuur: einde aan de informatiechaos

Geschreven door Marnix Dalebout & Martijn ten Napel
We leven in een tijd waarin datatechnologie zich versneld ontwikkelt. Door de sterke toename van informatie en de toepassingsmogelijkheden neemt complexiteit en daarmee informatiechaos toe.

Wij merken dat veel bedrijven worstelen met hun datagebruik. Niets lijkt zeker, behalve de verandering zelf. Door de jaren heen hebben wij een architectuur ontwikkeld die ‘by design’ om kan gaan met deze ontwikkelingen. Een architectuur die handvatten biedt om niet de beste, maar de best passende oplossing te vinden.

Deze architectuur noemen wij ‘connected architectuur’. Een middel om data-inrichting gestructureerd en toekomstbestendig op te tuigen. Een werkbaar receptenboek om stap voor stap een duurzaam datalandschap in te richten. Een handleiding waarmee een organisatie zichzelf continu kan aanpassen aan de toekomst.

Graag delen wij onze visie. Dat doen wij door het uitgeven van een boek, begin volgend jaar. En dat doen wij ook met online publicaties. In dit artikel geven we op hoofdlijnen weer wat connected architectuur is.

De chaos neemt toe

Organisaties zuchten onder een niet te stillen honger naar informatie. De vraag naar informatie is groter dan waaraan voldaan kan worden. Tegelijkertijd wordt verwacht dat nieuwe informatie steeds sneller beschikbaar komt. De verwachtingen worden opgeklopt door technologieleveranciers die gouden bergen beloven en door oneindige reeksen congressen, seminars, webinars en publicaties die allemaal over de belofte van data gaan.

Tussen informatieoplossingen mist vaak samenhang en integraliteit. Voor elk deelprobleem wordt een deeloplossing bedacht. En zo groeit er een woud aan oplossingen die ongeveer dezelfde informatie leveren, maar nét niet helemaal. Het landschap wordt complexer en de beheerlast zwaarder en onoverzichtelijker.

Data-inrichting wordt zo met de dag complexer en de chaos neemt toe. Dit heeft een negatieve invloed op het effectief leveren van nieuwe informatie. Daarbij komt dat met de steeds strenger wordende regelgeving het vaak onduidelijk is of je niet ongemerkt de wet aan het overtreden bent.

Managers en architecten willen de controle terugkrijgen. Ze zijn op zoek naar oplossingen die alle ontwikkelingen rondom datagebruik kunnen bijbenen. En ze zoeken naar richtlijnen om de juiste keuze te kunnen maken uit het overweldigende aanbod aan technologieën.

Het best passende antwoord

Aan ons wordt vaak de vraag gesteld: “Vertel me, wat moet ik doen om weer orde te krijgen in onze informatiechaos?”. Verbaasd wordt er gereageerd als we zeggen dat we niet naar de beste oplossingen zoeken, maar naar de best passende. Elke organisatie is anders ingericht en vraagt om een eigen benadering.

De gemeenschappelijke deler van onze aanpak is echter altijd het reduceren van complexiteit. Want niet alleen de uitdagingen van nu, maar ook de vragen van morgen zullen zich aan gaan dienen. Change will happen, be prepared.

Ons antwoord op de toenemende complexiteit, chaos en onzekerheid vatten wij onder de noemer ‘connected architectuur’, een gereedschapskist met instrumenten waarmee organisaties onderbouwde inrichtingsbeslissingen kunnen nemen.

Wat is connected architectuur?

  • Connected architectuur is een architectuur die zich zowel richt op het gebruik als op de verwerking van informatie. Een architectuur die én de organisatie van de informatievraag én de inrichting van informatieoplossingen in het datalandschap structureert.
  • Connected architectuur is niet één oplossing waar alle data wordt verzameld, maar een architectuur waarbij data ‘verbonden’ wordt tussen verschillende databronnen. We noemen dit het datalandschap.
  • Connected architectuur biedt ontwerppatronen en implementaties om een informatie-ecosysteem te creëren van data-omgevingen die samenwerken. Informatieproducten kunnen geleverd worden zonder dat de benodigde data eerst fysiek geïntegreerd hoeft te zijn.

Maar dat is het niet alleen.

  • De architectuur moet ook geborgd worden in de organisatie. Met een andere manier van denken kunnen nieuwe informatievragen met zo min mogelijk frictie in het datalandschap worden geabsorbeerd. Hierdoor kan het datalandschap evolueren met de ontwikkeling van een organisatie.

Hoe zijn we tot connected architectuur gekomen?

Op onze zoektocht naar de best passende oplossingen komt een aantal zaken bij elkaar:

  • Het ontdekken van overeenkomsten in de uitdagingen op het gebied van informatie door het stapelen van inzichten die we hebben opgedaan in veel en verschillende projecten;
  • Een leven lang werken met de principes die achter agile werkmethoden schuilgaan;
  • Nieuwe type data en de technologische diversiteit waarmee deze verwerkt kunnen worden;
  • Het boek ‘The Business unIntelligence’ van Barry Devlin waarin de auteur een nieuwe referentiearchitectuur aanreikt waarin nieuwe type data een plek krijgen;
  • Gartner’s logical data warehouse concept en wat dat betekent voor het voorbereid zijn op toekomstige informatievragen in organisaties.

We hebben dit uitgewerkt tot een werkbaar receptenboek dat we inmiddels een aantal keer hebben toegepast. Het is een architectuur die zich in de praktijk bewezen heeft.

Wat zijn de uitgangspunten van connected architectuur?

Connected architectuur hanteert de volgende uitgangspunten:

  1. Binnen een organisatie verloopt de ontwikkeling van vragen en inzichten niet synchroon. Je moet om kunnen gaan met verschillende snelheden van verandering binnen één organisatie en met verschillende kennisniveaus in het werken met informatie. Je moet een visie hebben op wat samenhang in de informatievoorziening is en hoe je daarop gaat sturen.
  2. De enige zekerheid is constante verandering:
    • De vraag verandert: Mensen hebben moeite te verwoorden en te beseffen welke data nodig zijn en waarvoor, nu maar zeker straks. Hoe meer met informatie wordt gewerkt, hoe sneller de verandering plaatsvindt.
    • De organisatie verandert: Er komen nieuwe mensen met andere skills, belangrijke mensen gaan weg. Processen, doelen, budgetten en prioriteiten veranderen. Organisaties groeien of krimpen, worden overgenomen, verbreden of verdiepen.
    • Technologie verandert: De innovatie van vandaag is de legacy van morgen. Nieuwe technologieën, zeker op het gebied van big data en analytics, verschijnen en verdwijnen in hoog tempo. Waar investeer je in?
    • Wetgeving verandert: Er is een discrepantie tussen wat kan en wat mag. De wetgeving die bepaalt wat mag, verandert regelmatig.

Gecontroleerde verandering van het datalandschap

Maar hoe ga je met constante verandering om? Ons antwoord is altijd: actief werken aan het reduceren van complexiteit. Dat betekent dat bij alles wat je doet, voor ieder besluit dat je neemt de vraag gesteld moet worden: ‘Blijft het simpel en begrijpt iedereen wat we gaan doen?’. Door de menselijke maat niet uit het oog te verliezen wordt het makkelijker om de consequenties van iedere keuze voor alle betrokkenen transparant te maken. Dat betekent dat je mensen, processen en informatie in balans met elkaar brengt en houdt, passend bij wat haalbaar is in een organisatie.

Dat resulteert in ons leidend principe van ‘precies genoeg’. Als je in een volatiele omgeving iedere keer een klein stapje neemt, ‘precies genoeg’ om de voorliggende vraag te beantwoorden, kan je iteratief het datalandschap laten evolueren, zonder het draagvlak van alle betrokkenen te verliezen.

Een uitbreiding aan of verandering in het datalandschap is niet willekeurig. Wij bieden een methode om een routekaart te maken waarin duidelijk is wat de inhoudelijke richting is, wat de kaders zijn waarbinnen het datalandschap ontwikkeld wordt en hoe je iedere keer weer de volgende stap neemt.

Hoe ziet connected architectuur eruit?

Onderstaande afbeelding geeft connected architectuur weer.

Weergave van de connected architectuur

  • Informatievalorisatie: Het doel van informatiegebruik is het zo veel mogelijk oogsten van de waarde die in informatie opgesloten zit. Connected architectuur richt zich op informatievalorisatie.
  • De toepassing van informatie gaat niet automatisch, dat moet je organiseren.
  • Mensen weten pas welke informatie ze nodig hebben als ze deze gezien hebben. Het principe van ‘precies genoeg’ geldt ook voor de vraagkant van de architectuur in de informatiebenuttingslaag.
  • De informatievraag wordt vertaald in oplossingen die in de informatieleveringslaag beschikbaar zijn en waarvoor de infrastructuurlaag de technologische fundering geeft.

Dit kader hebben wij uitgewerkt op drie vlakken. Samen met onze opdrachtgevers wordt de voor de organisatie best passende uitwerking van het model vormgegeven.

Deze drie vlakken zijn:

  1. Een samenwerkingsmodel, gebaseerd op de principes van agile werken. Het ‘precies genoeg’-principe zit hierin besloten.
  2. Een architectuur besluitvormingsproces om te bepalen wat ‘precies genoeg’ is en om de wendbaarheid van het datalandschap te borgen.
  3. Een datalandschap inrichtingsontwerp om het landschap duurzaam in te richten zonder dat het tot chaos leidt.

Om samenhang te houden en inhoudelijk richting te geven aan de ontwikkeling van het landschap, moet de invulling van de drie vlakken bestuurd worden vanuit een organisatieonderdeel dat hiertoe opdracht heeft. In de markt is dit bekend onder het BI competence center (BICC). We hebben een mening over hoe het BICC vormgegeven moet worden wil het effectief opereren, maar dat is een onderwerp dat buiten de scope van dit artikel ligt. We gebruiken het label BICC, maar raak niet gefixeerd op de naam.

Het samenwerkingsmodel

Over het samenwerkingsmodel is apart een boek te schrijven, maar we volstaan om te verwijzen naar de serie ‘agile onder architectuur’ voor de zienswijze die aan onze connected architectuur ten grondslag ligt.

Het architectuur besluitvormingsproces

De meeste organisaties waar wij binnenkomen, worstelen met de vraag ‘waar moet ik beginnen?’. Het architectuur besluitvormingsproces helpt om een begin te maken door de informatievragen te bundelen naar generiekere use cases en te bepalen welke use cases op korte termijn prioriteit moeten krijgen.

Het gevaar bestaat dat je specifieke puntoplossingen maakt. Om dat te voorkomen, is het architectuur besluitvormingsproces ingericht in twee processen. Deze zorgen voor een kader om te kunnen bepalen wat de juiste beslissingen zijn, zonder de doorontwikkeling van het gehele datalandschap uit het oog te verliezen.

  1. Het domeinarchitectuur proces. Een proces waarmee de routekaart bepaald wordt. Dit proces geeft antwoord op de vraag welke solution architecturen wanneer geïmplementeerd moeten worden om invulling te geven aan de belangrijkste use cases binnen een organisatie.
  2. Het solution architectuur proces. Een proces waardoor de best passende (‘precies genoeg’) inrichtingsbeslissingen kunnen worden genomen, gebaseerd op de verantwoordingsbegrenzingen zoals opgelegd door de domeinarchitectuur.

Het datalandschap inrichtingsontwerp

Datalandschappen, kan je op vele manieren inrichten. Om het landschap duurzaam te ontwikkelen en de samenhang te behouden, is er een referentiearchitectuur nodig die als blauwdruk voor het inrichtingsontwerp dient.

Wij hebben een blauwdruk gemaakt gebaseerd op de REAL architectuur van Barry Devlin, waarin we elementen uit het logisch data warehouse concept van Gartner hebben verwerkt om de connectiviteit vorm te geven.

Hoe de blauwdruk wordt vertaald naar een implementatieplan en solution architecturen is een onderwerp op zich. In ons boek gaan we daar uitgebreid op in, maar op deze plek willen we de blauwdruk kort presenteren.

weergave van de datalandschap architectuur

Bovenin zijn de vijf gebruikspatronen van informatie benoemd die in het landschap een plek krijgen. Voor meer uitleg over de gebruikspatronen verwijzen we naar het artikel ‘Het doel van de informatievraag: informatievalorisatie’.

De drie pilaren vertegenwoordigen de categorieën van informatie die elk om een andere verwerking vragen, maar die gebruikers tegelijkertijd in samenhang willen gebruiken.

Deze samenhang ontstaat niet vanzelf; er zijn voorwaarden nodig die samenhang tussen de verschillende oplossingen borgen. Dat zijn voorwaarden op het gebied van context van informatie, consistentie van informatie en toegangsbeheer tot die informatie in het datalandschap.

De drie elementen die hiervoor ingericht worden, zijn:

  1. Masterdata voor integratie, dat het patroon vormt hoe je informatie in verschillende oplossingen aan elkaar verbindt. Verbinden betekent dat je de informatie integraal over oplossingen heen kan bevragen zonder dat je de data eerst samen moet brengen in één oplossing. Dit is ook wel bekend als ‘loosely coupled information’.
  2. Masterdata voor autorisatie, dat het patroon vormt waarmee toegang tot gegevens vanuit één punt onderhouden kan worden over de verschillende oplossingen heen. Hiermee kan geoorloofd gebruik gecontroleerd worden.
  3. Het datamodel in de verschillende oplossingen dat aansluit op de masterdata patronen voor integratie en autorisatie.

De informatie verstrekkingslaag maakt gebruik van de verschillende elementen om informatie in een door gebruikers gewenst formaat of gewenste vorm beschikbaar te stellen.

Hoe de blauwdruk wordt ingevuld in de implementatie bepaalt de wendbaarheid van het datalandschap. De architectuur besluitvormingsprocessen zijn ingericht om dit te bewaken; het agile samenwerkingsmodel om de noodzakelijke ontwikkelingssnelheid van het datalandschap en wendbaarheid van geleverde informatie mogelijk te maken.

Ik wil graag meer weten over connected architectuur, waar kan ik de informatie vinden?

We zijn bewust dat we misschien meer vragen oproepen met de introductie van onze connected architectuur. Een uitgebreide beschrijving komt beschikbaar in een boek dat we volgend jaar uitgeven. Maar je kan natuurlijk altijd contact met ons opnemen als je meer wilt weten.

Illustratie bij de serie de complexiteit van informatieprojecten

De complexiteit van informatieprojecten

Informatieprojecten, of het nu Business Intelligence, Analytics of Big Data betreft, gaan vaak moeizaam. Ze worden als complex ervaren.

In de serie ‘de complexiteit van informatieprojecten‘ verken ik wat de oorzaken hiervan zijn. De serie begint met het onderscheiden van de verschillende gebruikspatronen van informatie. Deze gebruikspatronen bepalen hoe de interactie tussen gebruikers en ontwikkelaars moet worden vormgegeven en welke rol context speelt in die interactie.

De inzichten van deze serie kunnen hopelijk helpen bij het verbeteren van verwachtingsmanagement rond de bijdrage van betrokkenen, om de complexiteit te reduceren en het informatieproject tot een succes te maken.

Lees de serie

GDPR

GDPR en een centraal klantbeeld: een zegen of juist een extra uitdaging

25 mei 2018: Een datum die bij steeds meer bedrijven met hoofdletters in de agenda staat geschreven. Vanaf dat moment gaat de Europese General Data Protection Regulation, afgekort GDPR, ook daadwerkelijk gehandhaafd worden. Dat betekent dat er hoge boetes kunnen worden opgelegd aan bedrijven die niet compliant zijn, tot wel 4% van de jaarlijkse omzet of 20 miljoen euro. De Autoriteit Persoonsgegevens houdt toezicht op de handhaving van deze regels in Nederland.

Aan de andere kant wordt steeds meer waarde uit klant gerelateerde data gehaald. Degene die zijn klanten zo effectief mogelijk kan benaderen (op het juiste moment met de juiste aanbieding) heeft een voorsprong op de concurrentie. De prijs die je daar als persoon (en als samenleving) voor betaalt is dat er meer over jou als klant bekend wordt en dat er ook meer wordt vastgelegd.

Voorbeelden hiervan zijn het creëren van een centraal (360 graden klantbeeld), het opzetten van een masterdata omgevingen voor klantinformatie of het implementeren van een customer data platform. De vraag is of het opzetten van zo’n gecentraliseerde omgeving nu juist een voordeel of een nadeel is in het kader van de GDPR? Om deze vraag te beantwoorden moeten we eerst ingaan op wat de gevolgen zijn van GDPR

De GDPR (in Nederland wordt dit de Algemene verordening Gegevensverwerking of AVG) is bedoeld om bedrijven te dwingen privacybewust te zijn. Dit wordt ‘privacy by design’ genoemd. Het zorgt ervoor dat de balans niet doorslaat naar ongelimiteerd verzamelen en toepassen van klant gerelateerde data. Het idee is dat er een afweging wordt gemaakt of en welke data wordt vastgelegd en waarom, dit wordt ‘data minimization’ genoemd. Het ‘waarom’ is de doelbinding en is leidend in het gebruik van de data (het doelbindingsprincipe). Dit bewustzijn is niet alleen van toepassing op klant gerelateerde gegevens. Andere vormen van persoonlijke informatie zoals medewerker gegevens vallen ook onder de GDPR. Dit artikel gaat specifiek in op klant gerelateerde gegevens.

Hoe weet je nu dat je binnen de regels van deze wet opereert? Dat weet je dus niet zeker. De regulering schrijft regels voor maar geeft vooraf geen inzicht of de daadwerkelijk genomen maatregelen afdoende zijn om niet gestraft te worden. Het is net als bij de belastingen: je kunt de regels implementeren zoals jij denkt dat het hoort, maar de controle vindt pas achteraf plaats. Het belangrijkste is dat je transparant en expliciet maakt dat je hebt nagedacht over privacy binnen je organisatie en dat je bewust bepaalde besluiten hebt genomen om aan de GDPR-regels te voldoen. Je kunt dan bij een controle in ieder geval onderbouwd in overleg gaan.

Welke stappen kun je ondernemen om compliant te zijn? Dat is natuurlijk de hamvraag. Het ‘privacy by design’ principe is in de basis een cultuuruitdaging.  Er zijn ook enkele harde eisen en regels waaraan je moet voldoen en waar maatregelen voor genomen moeten worden:

  • Data Security
  • Breach Notification
  • Right to Access en Data Portability
  • Data Erasure / Right to be Forgotten

Data Security:

De meest voor de hand liggende eis is dat je als bedrijf je klantgegevens goed beschermt. Maatregelen op dit gebied komen in 2 vormen, namelijk maatregelen tegen ongeoorloofd gebruik en maatregelen tegen onbevoegde toegang (‘data breaching’).

De eerste zijn maatregelen in het kader van ‘data minimization’. Een belangrijke maatregel die in dit kader genoemd wordt, is ‘limit access to authorized users’, oftewel het voeren van een streng en consequent beleid ten aanzien van de toegang tot persoonsgegevens. Dit is aan de ene kant een organisationele of governance maatregel, namelijk krijgt iemand wel of geen toegang tot bepaalde gegevens.

Het kan echter ook nodig zijn extra beschermingsmaatregelen te nemen waarbij toegang tot specifiekere persoonsgegevens wordt gereguleerd. In de GDPR wordt namelijk nog onderscheid gemaakt tussen persoonsgegevens en gevoelige persoonsgegevens zoals financiële, afkomst of gezondheidsgegevens. Om op dit niveau de toegang tot specifieke gegevens te kunnen reguleren, moet de data wel als zodanig herkenbaar zijn. Dat kan via het classificeren van persoonsgegevens.

De tweede vorm maatregelen zijn maatregelen tegen allerlei vormen van hacking. Het beschermen van de toegang tot de data zelf kan op verschillende manieren:

Infrastructurele maatregelen: Denk aan het gebruik van VPN, strikte firewall regels en een gedegen patchbeleid.

Data beschermingsmaatregelen: Hiervoor worden wat handvaten voor maatregelen gegeven in de GDPR. Bijvoorbeeld door het extra beschermen van de persoonlijke data door encryptie en depersonalisatie technieken toe te passen. Dit laatste is overigens niet altijd mogelijk. Belangrijk in dit kader is dat data geclassificeerd is als persoonlijk en dat bekend is welke gegevens onder de GDPR vallen.

Authenticatiemaatregelen: Is de persoon die toegang wil tot de data ook daadwerkelijk de persoon die hij of zij zegt te zijn. De belangrijkste methode om tegenwoordig ongeoorloofd toegang te krijgen tot gegevens is ‘social hacking’, ofwel toegang krijgen door de zwakste schakel in het proces te gebruiken: de mens. Toegang tot systemen kan worden verkregen via simpele methodes als briefjes op computers of wachtwoorden die uitgewisseld worden via de mail. Maatregelen als 2-factor-authenticatie en het gebruik van certificaten kunnen hiervoor een oplossing bieden.

Autorisatie maatregelen: Dit gaat over de toegang die een gebruiker heeft tot bepaalde delen van de informatie of tot bepaalde functies op de data. Maatregelen op dit vlak gaan vaak samen met de data beschermingsmaatregelen en data classificatie is ook voor deze maatregelen een voorwaarde.

Breach Notification

Dit betekent dat je als organisatie processen moet hebben ingericht om tijdig en adequaat te handelen op het moment dat er een inbreuk is geweest op je data welke kan resulteren in een risico op de rechten en vrijheid van individuen. Je moet als organisatie in het kader van deze eis in staat zijn de getroffen personen op de hoogte kunnen stellen dat er inbreuk is gemaakt op hun persoonsgegevens.

Hiervoor zijn meetbare eisen gesteld. Vanaf het moment dat een inbreuk is vastgesteld moet je binnen 72 uur de personen van wie de gegevens op straat terecht zijn gekomen op de hoogte stellen (of je moet hele goede redenen hebben waarom dit niet in 72 uur mogelijk was).

Dat betekent dat je ten eerste geregeld moet hebben via goede monitoring en logging systemen dat je weet dat er ongeoorloofde toegang tot de data is geweest. Ten tweede moet je weten wiens rechten geschonden zijn en hoe zwaar de inbreuk is geweest. De classificatie van de persoonsgegevens speelt wederom een belangrijke rol, maar nu voor het bepalen van de zwaarte van de inbreuk.

Right to Access en Data portability

Een persoon heeft het recht om bij een bedrijf zijn of haar gegevens op te vragen in een technisch uitwisselbaar formaat. Net zoals een persoon zijn telefoonnummer kan meenemen, moet het ook mogelijk zijn om data ‘mee te nemen’ naar een andere leverancier. Als bedrijf moet je daar binnen een redelijke termijn op kunnen acteren. De regel is binnen een maand, maar kan verlengd worden naar 2 maanden als daar gegronde redenen voor zijn.

De grote uitdaging is te achterhalen welke gegevens allemaal van een persoon bekend zijn. Persoonsinformatie staat meestal verspreid over veel verschillende systemen die vaak ook niet gekoppeld zijn. Een eenduidig klantbeeld is een uitdaging waar veel bedrijven sowieso al mee worstelen. Een randvoorwaarde voor een invulling van deze eis is dus dat je alle gegevens die bekend zijn van een klant kunt identificeren.

De tweede stap is dat deze gegevens verzameld moeten kunnen worden en elektronisch ter beschikking worden gesteld.

Data erasure / Right to be Forgotten

Het recht van een persoon om verwijderd te worden uit de systemen van een organisatie en het recht om de persoonsgegevens buiten gegevens bewerkingen te houden. Hier zit een vorm van schizofrenie in. Naast de uitdaging zoals hiervoor beschreven om uit te vinden welke informatie allemaal van een persoon aanwezig is bij een bedrijf zijn er namelijk extra uitdagingen. Van sommige tot persoon herleidbare informatie is een bedrijf verplicht deze te bewaren. Dat kan bijvoorbeeld zijn om aan bepaalde eisen rondom dienstverlening achteraf te voldoen zoals terugroep acties van autobedrijven. Dat betekent dat het recht om vergeten te worden alleen geldt voor bepaalde, veelal marketing gerelateerde doelen.

Hoe gaat de controlerende autoriteit hier mee om? Dat zijn nog onduidelijkheden die vaak leiden tot te rigoureuze acties aan de kant van organisaties om maar aan de veilige kant van de lijn te blijven. Het vastleggen van de keuzes rondom de genomen maatregelen kan hierbij helpen.

Belangrijk is in ieder geval om een goed registratiesysteem op te zetten voor verwijderingen en de’ vergeetacties’ onweerlegbaar te loggen voor auditdoeleinden.

Centraal of niet?

Bij Free Frogs en PRDCT hebben we veel ervaring met het creëren van zo’n centraal data platform. De vraag was: Is centralisatie van klantinformatie een voordeel of juist een nadeel in het kader van de GDPR?

Aan de ene kant is het voor hackers lastiger om toegang te krijgen tot alle klant gerelateerde data als deze verspreid staan over verschillende systemen. Aan de andere kant, de schade is al geleden als zelfs maar op één systeem inbreuk wordt maakt. Daar wordt in de GDPR geen onderscheid in gemaakt.

Een ander nadeel kan zijn dat verschillende classificaties van persoonlijke gegevens op één plek aanwezig zijn. Dat betekent dat de data security maatregelen passend moeten zijn voor de persoonsgegevens van het hoogste classificatieniveau. De breach notification processen zullen echter in beide situaties gelijk zijn.

Maatregelen in het kader van data portabiliteit, right to access en right to be forgotten zijn juist weer veel eenvoudiger te nemen als er wel een centraal platform bestaat. Ten eerste zou namelijk duidelijk moeten zijn in welke systemen klant informatie staat. Er zijn processen opgezet om klantgegevens naar zo’n centraal platform te porteren en bestaat er dus een overzicht van waar de bron van deze gegevens zich bevindt en hoe de klantidentificatie plaatsvindt. Deze informatie kan gebruikt worden om klantgegevens weg te halen uit zowel de bronsystemen als wel het centrale platform zelf.

Ten tweede is het veel eenvoudiger een elektronisch overzicht te maken en over te dragen als alle persoonsgegevens centraal beschikbaar zijn.

Ten derde kan het centrale systeem gebruikt worden om klantgegevens alleen voor bepaalde doeleindes te laten gebruiken. Het platform dient dan als eenduidige plaats van waaruit allerlei (marketing) activiteiten plaatsvinden en waar ook eenduidig gebruiksregels geïmplementeerd kunnen worden.

Conclusie

Het implementeren van maatregelen in het kader van de GDPR is een onzeker pad omdat onduidelijk is of de genomen maatregelen afdoende zijn. Transparantie en het vastleggen van de genomen maatregelen en de redenatie is cruciaal om aan te geven van goede wil te zijn en dat je als bedrijf het privacy by design principe hoog in het vaandel hebt staan. Tegelijkertijd wil je gebruik maken van de mogelijkheden die klantgegevens bieden in het verbeteren van je concurrentiepositie. Deze delicate balans is de uitdaging. Het centraal bijeenbrengen van klantdata kan helpen om een aantal eisen van de GDPR makkelijker in te vullen.

self-service analytics

Self-service analytics is niet alleen een technisch vraagstuk

Self-service analytics zou de nadelen van – vaak logge – centraal geleide BI moeten ondervangen. De vraag is of dat wel lukt. Het succesvol implementeren van self-service analytics is veel weerbarstiger dan vaak wordt gedacht. Maar als je weet waar je op moet letten heeft self-service analytics wel degelijk grote toegevoegde waarde.

Exceldorado heerst nog altijd

Ondanks dat business intelligence (BI) als vakgebied inmiddels volwassen is geworden, heerst in veel organisaties nog Exceldorado: een jungle van losse, vrijwel onbeheerbare spreadsheets met vaak bijna, maar net niet helemaal dezelfde inhoud.

Dit is niet helemaal verwonderlijk, gezien de nadelen van ‘corporate BI’: lange ontwikkeltijden van nieuwe informatieproducten, inflexibele oplossingen en een bureaucratisch beheer door het (moeten) volgen van regels, procedures en standaarden. Allemaal dingen waar je als eindgebruiker niet op zit te wachten wanneer je snel een rapportage nodig hebt. De verleiding om dan maar snel even een Excel-rapportje te maken is dan groot.

Is dat erg? Ja, dat is erg. Het is verspilling van tijd en geld. Het kost veel tijd (vaak verborgen tijd van medewerkers in de business) om al die losse Excel-rapportages te maken en te onderhouden. Het is bovendien foutgevoelig, er is veel risico op slechte datakwaliteit, er is veel dubbele content en de verwarring over definities ligt op de loer.

Self-service analytics overbrugt de kloof

De oplossing voor deze kloof tussen eindgebruiker en corporate BI wordt steeds meer gezocht in een zelfbedieningsconcept voor business intelligence en analytics: self-service analytics. Eindgebruikers krijgen daarmee de mogelijkheid om met een gemakkelijk te hanteren BI-tool snel hun eigen rapportages en analyses te maken. Ze zijn niet meer afhankelijk van IT om rapporten voor ze te maken en kunnen daarmee veel sneller en flexibeler voorzien in hun eigen informatiebehoefte.

Klinkt goed, toch? Zeker. Ik denk alleen dat veel van de self-service implementaties zullen uitdraaien op een moderne versie van Exceldorado. Eindgebruikers krijgen de beschikking over data en een self-service BI-tool en gaan daarmee losse, vrijwel onbeheerbare rapporten met vaak bijna, maar net niet helemaal dezelfde inhoud maken. Hé, waar zagen we dat eerder?

Dezelfde chaos, maar dan in een nieuwe tool. Per saldo zijn we dan niets opgeschoten.

Self-service analytics implementeren is geen technisch vraagstuk

De spagaat van self-service is dat je aan de ene kant alle gebruikers het roer in handen wilt geven, terwijl je aan de andere kant wilt voorkomen dat het een chaos wordt. Een manier om uit deze ongemakkelijke spagaat te komen is het beperken van de data of van de mogelijkheden en functionaliteit van de self-service tool, zodat gebruikers geen domme dingen kunnen doen. Dit is echter noch een goede noch een structurele oplossing. Het is een technische oplossing voor een niet-technisch probleem. Bovendien gaan gebruikers dan toch weer hun eigen Excel-bestanden creëren en zijn we weer helemaal terug bij af.

Succesfactoren van self-service analytics

Het implementeren van self-service analytics is veel meer dan het ter beschikking stellen van een mooie nieuwe glimmende BI-tool. Een nieuwe tool (technisch) implementeren is het makkelijke deel van self-service analytics. Wat veel lastiger is zijn de zaken die self-service analytics tot een succes kunnen maken. Er zijn vele succesfactoren voor self-service analytics te benoemen. Hieronder ga ik in op wat ik de drie belangrijkste succesfactoren vind.

Zonder data governance geen self-service analytics

Self-service analytics en data governance gaan hand in hand. Het is geen goed idee om alle gebruikers ongebreideld maar toegang te geven tot allerlei data en iedereen toe te staan om rapportages te maken die binnen en buiten de organisatie worden gebruikt. Een zekere mate van governance zal altijd nodig zijn. Bijvoorbeeld om te bepalen wie toegang heeft tot welke data en wat die persoon daar mee mag doen. Het afdwingen van compliance-regels van (externe) toezichthouders stelt in sommige organisaties zware eisen aan data governance. Maar ook intern is een goede data governance nodig, bijvoorbeeld om te zorgen dat niet verschillende definities van dezelfde begrippen worden gebruikt.

Organiseer self-service analytics als een community

Een actieve gebruikers-community helpt enorm om de mogelijke nadelen van self-service analytics te ondervangen. Een gebruikersgroep kan onderling tips & trucs uitwisselen, elkaar ondersteunen in het gebruiken van data en van de BI-tool en kennis delen over definities en eerder ontwikkelde informatieproducten. Dit voorkomt dat iedere gebruiker weer het wiel gaat (of moet) uitvinden.

Dit is makkelijk gezegd, maar niet eenvoudig uit te voeren. Dit moet georganiseerd worden, onder meer door het bieden van een platform om kennis en ervaring uit te wisselen en om onderling te communiceren en door het aanstellen van super-users, data-stewards, data-ambassadeurs, of welke benaming je maar wilt hanteren. Het enthousiast krijgen van gebruikers voor een actieve deelname aan een dergelijke community vergt vasthoudendheid. Maar als het eenmaal deel uitmaakt van hun normale werkproces onderhoudt de community zichzelf.

Bied centrale ondersteuning waar nodig

Self-service analytics is nooit helemaal zelfbediening. Gebruikers zullen altijd enige mate van ondersteuning nodig hebben. Op welk gebied, dat is erg afhankelijk van de organisatie en van de gebruiker. Maar in veel gevallen zal de BI-afdeling nog veel datapreparatie voor zijn rekening nemen. Ook hulp bij het maken van (de meer complexe) rapportages zal vaak nodig zijn, net als het geven van training in het gebruik van de BI-tool. En vergeet ook niet dat de analisten van de BI-afdeling kunnen helpen bij het helder krijgen van de informatiebehoefte van gebruikers. Dit houdt in dat de BI-afdeling actief de business moet benaderen om te bepalen op welke manier ze het beste de business kunnen helpen.

Betrokkenheid van alle partijen

Het aanbieden van self-service analytics is geen bedreiging voor een bestaande BI-afdeling die gewend is zelf alle rapportages en dashboards voor gebruikers te ontwikkelen. De inhoud van het werk zal echter wel veranderen. Implementatie van self-service analytics vraagt grote inspanning van de BI-afdeling in het ondersteunen van gebruikers, het opzetten en stimuleren van een gebruikers-community en het organiseren van data governance. Het vereist vooral ook grote betrokkenheid van de eindgebruikers van self-service analytics.

 

 

 

Free Frogs illustratie 3 werelden IBCS

Combineer het beste van 3 werelden met IBCS

Kortgeleden was ik aan het bijpraten met een oud-collega. Hij vertelde dat medewerkers van zijn BI-afdeling zich gingen verdiepen in IBCS. In wat? IBCS? Die afkorting kende ik nog niet. Het blijkt te staan voor International Business Communication Standards.

Puntje van m’n stoel

Ik zat bij zo’n naam eerlijk gezegd niet onmiddellijk op het puntje van mijn stoel. Ik weet niet wat het is, maar ik word doorgaans erg onrustig van standaarden. Misschien komt het door eerdere negatieve ervaringen met rigide regels, standaarden en procedures die hun doel voorbij schieten. Of misschien ben ik gewoon te eigenwijs om me aan standaarden te houden. Maar mijn interesse werd behoorlijk groter toen ik ontdekte dat IBCS het gedachtengoed van onder andere Barbara Minto en Stephen Few heeft geadopteerd.

Barbara Minto is de bedenker van The Pyramid Principle (dé manier om een tekst of presentatie goed te structureren) en ik propageer haar methode al jaren. Stephen Few is een van de meest vooraanstaande denkers op het gebied van visualiseren van data op zo’n manier dat de informatie zo goed mogelijk aan de lezer wordt overgebracht. Zijn denkbeelden zijn voor mij al heel lang de basis bij het ontwerp van rapportages en dashboards.

Het overbrengen van de boodschap

Zowel Minto als Few houden zich dus bezig met de beste manier om een boodschap over te brengen. De een door het aanbrengen van structuur, de ander door een goede visualisatie. De combinatie van beide is voor mij enorm interessant.

Wat IBCS hier nog aan toevoegt is een uniforme notatie in tabellen en grafieken, zodat interpretatie over meerdere rapporten, dashboards en organisaties heen eenduidiger en dus makkelijker wordt.

Wat mij betreft brengt IBCS het beste van 3 werelden bij elkaar: structuur, vormgeving en uniforme notatie. Verplichte kost voor iedereen die rapportages en dashboards ontwerpt of bouwt!

Begrip gaat boven kennis

En natuurlijk geldt hier ook weer wat voor elke standaard geldt: het is belangrijker om te begrijpen wat de redenering achter de standaard is, dan alleen maar zonder na te denken de regeltjes toe te passen.

IBCS is een Creative Commons Project. Kijk voor meer informatie en aanmelden voor gratis lidmaatschap op de website van IBCS.

 

 

measure tapes

Gartner’s logisch data warehouse: mijn interpretatie van het concept

Ik heb Gartner’s logisch data warehouse altijd als een concept beschouwd: stof tot nadenken. Het raamwerk is opgebouwd uit verzamelde waarnemingen van hoe organisaties veranderd zijn in hun datamanagement uitvoeringspraktijk. Het raamwerk voedt de discussie over modern datamanagement voor analytics toepassingen.

Het logisch data warehouse is een denkproces, geen recept

Het recept om van een logisch data warehouse een werkend systeem te maken is niet bijgeleverd. Je moet zelf het concept vertalen in een passende architectuur en gaan nadenken hoe je die architectuur gaat invullen. Jouw gebruikstoepassingen, eisen en capaciteiten op gebied van informatie governance bepalen wat een passende architectuur is.

Het raamwerk helpt je om alle aspecten te benoemen en richting te geven aan gesprekken over wat passend is. Vooral de interactie tussen de verschillende logische componenten in het raamwerk en de consequenties van die interactie zijn belangrijk. Je wordt zo gedwongen om het plaatje in z’n geheel te blijven bekijken en je niet te verliezen in details.

Waar bestaat het logisch data warehouse concept uit?

De visualisatie van het concept staat in onderstaande afbeelding.
Gartner's logisch data warehouse concept

Zonder al te veel de tekenwijze te willen duiden vallen er een paar aspecten op:

  • Het grijze blok start halverwege de drie schuine blauwe blokken onderaan. Het impliceert dat het logisch DWH meer over het bovenste gedeelte gaat dan over de technologie van dataopslag en -transport.
  • Een groot deel van het logisch DWH bestaat uit componenten die de nadruk leggen op gebruik van, toegang tot en consistentie van betekenis van informatie. Het omvormen van de data naar het datamodel is belangrijker dan technologie waarmee dat uitgevoerd wordt.

Ik denk dat het concept iets anders benadrukt dan de technologie die meestal de aandacht krijgt als je zoekt op de term ‘logical data warehouse’. Die nadruk is geen verrassing, de meeste white papers zijn geschreven door technologieverkopers en de consultancy partijen die deze technologie implementeren. Concepten levert meestal geen cashflow op. Vrijwaring: voor ons ook niet.

Een logisch data warehouse is een virtueel data warehouse, toch?

Het merkwaardige is dat ‘logisch’ vaak vertaald wordt als ‘gevirtualiseerd’. In de afbeelding staat duidelijk dat het logisch data warehouse een mix van technologieën kan gebruiken.

‘Repositories’ betekent data warehouses, data marts of andere databases, ‘virtualization’ betekent verschillende technologieën om data bijeen te brengen en te transformeren over databases heen en ‘distributed processing’ betekent alles van middleware tot ETL om hetzelfde te doen.

Eén, twee van de drie of alle drie vormen samen de infrastructuurbasis waarop de decompositie van de data warehouse functies in logische componenten is gebaseerd: een ecosysteem van samenwerkende oplossingen. De drie schuine boxen in de afbeeldingen is de abstracte weergave van dat ecosysteem.

Het beheren en reguleren van toegang tot de data is lastig als het overal en nergens is opgeslagen en via verschillende processen bij elkaar gebracht wordt. Het bovenste deel van de afbeelding gaat over deze uitdaging.

Voor verschillende gebruikstoepassingen zijn andere oplossingen nodig.

Verschillende gebruikstoepassingen, van financiële rapportage tot ad hoc exploratie van gegevens, stellen andere eisen aan het datamodel. Een datamodel dat bestaat uit gegevenssets die verspreid zijn over databases. Iedere set aan gegevens komt met andere SLA eisen, afhankelijk van de gebruikstoepassing.
Wat exact bedoeld wordt met ‘taxonomy/ontology resolution’ is voer voor vrijdagmiddagborrels van architecten, maar ik gok erop dat ze het proces van betekenis en context geven aan data niet willen beperken tot de woorden ‘data modelleren’. Data modelleren wordt meestal geassocieerd met relationele gegevens.

Aan dezelfde informatie kunnen andere eisen gesteld worden op gebied van toegangsbeheer, gegevenskwaliteit en traceerbaarheid, afhankelijk van de gebruikstoepassing. Je hebt software nodig die je helpt om aan die eisen invulling te geven en gegevens te presenteren volgens een datamodel dat vooral op logisch niveau bestaat, maar geïmplementeerd is over een samenraapsel van fysieke databases en datatransport componenten.
De eisen kunnen overeenkomen of haaks staan op de beschikbaarheidseisen en beheersbaarheid eisen zoals vastgelegd in de SLA. Naar mijn menig is dat de betekenis van de middelste rechthoek in de afbeelding waarin een ‘is ongelijk’, ‘is gelijk’ en ‘bij benadering’ teken staan.

Dit staat voor mij voor de kern van het logisch data warehouse concept. Je moet je steeds de vraag blijven stellen hoe om te gaan met de soms tegenstrijdige eisen aan toegankelijkheid, beschikbaarheid, beheersbaarheid en gegevenskwaliteit, gebruikstoepassing afhankelijk, binnen een gedistribueerde architectuur.

Het logisch data warehouse concept dwingt je op voorhand over complexiteit na te denken.

Complexiteit is het monster dat ons iedere keer weer bedreigt met grote enterprise data warehouse projecten. De toegevoegde waarde van het logisch data warehouse concept is juist het op voorhand nadenken over complexiteit: je moet de afbeelding van boven naar beneden lezen, niet van beneden naar boven.

Gartner’s logisch data warehouse concept vertelt ons dat er niet één oplossing is die aan alle eisen tegemoet kan komen. Een gedistribueerde architectuur is het antwoord op de complexiteitsvraag, waarbij je de consequenties van een gedistribueerde architectuur voor data governance en toegankelijkheid van gegevens niet licht mag opvatten.

Being agile when the circumstances ask for it

De wendbaarheid van agile aanhangers

Agile heeft de warme belangstelling. De ideeën die begin deze eeuw zijn vastgelegd in wat het “manifest voor agile softwareontwikkeling” is gaan heten en de ervaringen die daar mee opgedaan zijn, vinden brede weerklank. Organisaties zijn er rijp voor onder druk van veranderende marktomstandigheden.

Het succes van het agile gedachtengoed trekt snelle commercie aan. Rond agile is een ware cottage industrie ontstaan. Het gaat zelfs zo ver dat op een groot reclamebord langs de A13 de producent van boekhoudsoftware zijn product als ‘agile’ aanprijst. Het gevolg is dat de boodschap van het manifest versluierd begint te raken achter de rituelen van de werkmethodieken.

Dit roept twee tegenreacties op. Aan de ene kant heb je mensen die niets van Agile (met hoofdletter) moeten weten. Ze ervaren dat de invoering ondoordacht gebeurt en dat het Haarlemmeroliegehalte van het geloof in Agile hoog is. Aan de andere kant zijn er agile aanhangers die met lede ogen het ideeëngoed verkwanseld zien worden. De “agnostic agile oath” heeft zijn intrede gedaan.

Waarom willen we ook al weer wendbaar worden?

Wendbaarheid is een middel om lange termijn continuïteit van een organisatie te borgen. De structuur van de organisatie is daarin volgend: het moet ondersteunend zijn om het middel effectief in te zetten.

De corporate cultuur van organisaties is sterk en gooi je niet zomaar om. De weerstand breken met een radicale invoering van andere werkmethodes kan werken. Je moet iets. Op grote schaal wordt de gehele organisatie gereorganiseerd in Scrum teams of Business DevOps teams. Maar dan?

Sturen op wendbaar worden is niet eenvoudig

De besturing van een omgeving die massaal agile werkmethoden heeft omarmd is niet eenvoudig. Ik heb een aantal weken geleden een interessante sessie gehad over de rol van architectuur in een agile omgeving. Eén van de deelnemers werkt bij zo’n grote corporate waar revolutionaire invoering van agile werkmethoden is uitgevoerd. Hij maakte de opmerking: “Ik focus alleen op wat bijdraagt aan de wendbaarheid van de organisatie en negeer de rest”.

Die opmerking heeft weken door mijn hoofd gespookt. Hij heeft groot gelijk. Je moet alleen energie stoppen in wat bijdraagt aan de organisatiedoelstellingen. Maar het blijft knagen:

  • Kennelijk gebeuren er dingen die niet bijdragen aan wendbaar zijn. Wat doe je daar mee als organisatie? Negeren? Ingrijpen? En wat is de verhouding tussen zaken die bijdragen en niet bijdragen?
  • Hoe kan je bepalen wat bijdraagt aan wendbaar zijn? Wat is de maatstaf? En waarom lukt het niet om de energie van de gehele organisatie op het beantwoorden van die vraag te richten?

De wendbaarheid van wendbaarheid

Hoe wendbaar ben je om je plan om te gooien als je merkt dat het niet het gewenste resultaat heeft? Moet je misschien inzetten op de plekken waar een wendbare mentaliteit het meest belangrijk is en het als een olievlek langzaam de organisatie in laten sijpelen, evolutionair boven revolutionair?

Ik weet het niet, ik heb er geen receptenboek voor. Maar ik weet wel dat het proces van proberen of iets werkt, constateren of het gewenste resultaat wordt bereikt en op basis van die leerervaring iets nieuws proberen in korte iteratieve periodes de basis is van iedere agile methodiek. De resultaten van dit proces van trial-and-error zijn belangrijker dan het ritueel waarmee je het proces uitvoert.

Informatieanalyse soft skills

Informatieanalyse: zonder soft skills kun je wel inpakken

Zonder de juiste consultancy-vaardigheden (soft skills) kun je als informatieanalist voor business intelligence wel inpakken. Technieken en methoden zijn hartstikke handig, maar bepalen niet of je uiteindelijk een goede informatieanalyse hebt gedaan. Daar zijn andere vaardigheden voor nodig.

Tips voor informatieanalyse

Een tijdje geleden kreeg ik de vraag of er nog goede tips zijn voor informatieanalyse op het gebied van business intelligence. Nu ben ik veel jaren actief geweest als business- en informatieanalist, dus de vraag was zo gek nog niet. Het antwoord is echter niet eenvoudig.

Technieken voor informatieanalyse binnen BI zijn er natuurlijk wel. Ik ben zelf bijvoorbeeld erg voorstander van BEAM. Maar volgens mij is dat uiteindelijk niet wat het succes van een informatieanalist bepaalt. Voor mij bepaalt het hebben van de juiste consultancy-vaardigheden het succes van een informatieanalist.
Ik heb weleens als de belangrijkste eigenschap van een informatieanalist genoemd: het stellen van de juiste domme vragen. Dat gaat enerzijds over de inhoud (de juiste vragen stellen), maar vooral ook over de attitude: precies willen weten hoe het zit. Ik noem dat de domme vragen stellen; ‘hoe zit dat precies?’

Soft skills zijn cruciaal

Nu denk ik dat het stellen van de juiste domme vragen heel belangrijk is en het gestructureerd vastleggen van de resultaten (met bijvoorbeeld BEAM als methode) ook. Ik heb echter de overtuiging dat je als informatieanalist zonder goede soft skills wel kunt inpakken. Heb je die vaardigheden niet, dan moet je gewoonweg iets anders gaan doen.

De vaardigheid is de ander zover te krijgen precies aan jou uit leggen hoe zijn wereld in elkaar steekt. En dat is heel moeilijk te leren, dat moet in je zitten. Al het andere, zoals methoden, technieken is relatief makkelijk aan te leren. Maar consultancy-vaardigheden liggen erg dicht tegen houding / attitude aan en daarmee dicht tegen je overtuigingen.

Overtuigingen veranderen is verschrikkelijk moeilijk, zo niet onmogelijk. Ik heb daarom niet de illusie iemand in een blogpost consultancy-vaardigheden te kunnen leren. Toch heb ik de loop der jaren wel een aantal makkelijk in een gesprek toe passen handigheidjes verzameld.

  • lichaamshouding in het gesprek. Neem in een gesprek een open lichaamshouding aan, dat is vaak een kwart gedraaid ten opzichte van je gesprekspartner. Dat geeft beide de mogelijkheid om elkaar aan te kijken, maar ook om eenvoudig even weg te kijken. Van elkaar aanstaren word je heel snel heel ongemakkelijk.
  • letterlijke herhaling woordgebruik. Probeer exact de woorden van de ander te herhalen. Wanneer je dat doet zal de ander je aardiger vinden en is dan meer bereid is je dingen te vertellen. Uit onderzoek blijkt bijvoorbeeld dat serveersters die de bestelling van de klant letterlijk herhalen meer fooi krijgen dan hun collega’s die dat niet doen *.
  • niet alleen open vragen stellen. Een bekende interviewtechniek is om alleen open vragen te stellen om daarmee je gesprekspartner niet in een bepaald richting te sturen. Ik heb gemerkt dat juist het poneren van stellingen en het presenteren van (veel te) stellige conclusies en samenvattingen nog heel veel nuance kan uitlokken. Open vragen stellen is een heel goed begin, maar in het vervolg kun je beter een beetje gaan ‘prikken’.
  • niet bang zijn voor stiltes. Veel mensen zijn bang voor stiltes in een gesprek en gaan die dan opvullen. Daar kun je gebruik van maken. Als je na een antwoord van je gesprekspartner het idee hebt dat er nog meer kan volgen, kun je natuurlijk een vervolgvraag stellen. Je kunt ook gewoon niets zeggen. De ander denkt dan er nog meer moet komen (want ook hij vindt stiltes ongemakkelijk) en gaat verder met praten.

Het is maar een kleine greep uit de technieken die je kunt toepassen. Ze helpen altijd bij het verhogen van de resultaten uit een gesprek. Maar zonder basis consultancy-vaardigheden red je het alsnog niet. Blijkt dit dus allemaal niet voor jou te werken: ga iets anders doen!

* Zie ‘Het slimme onbewuste, denken met gevoel’, Ab Dijksterhuis, 2008

 

Waarom ik mezelf nog altijd BI-architect noem

Op mijn visitekaartje staat nog altijd Business Intelligence architect en daar ben ik trots op. In de laatste 20 jaar hebben BI professionals effectieve methodes verzameld die mensen in staat stellen om met behulp van informatie waarde te creëren in hun diensten en bedrijven. Dat is de essentie van BI.

De bron van de informatie, of het nu een ERP-systeem of een webserver log is, is niet van belang voor de gebruikswaarde van die informatie.

Nieuwe technologische competenties leveren nieuwe etiketten op: data engineer, big data architect en data scientist, om er een paar te noemen. Deze titels gebruikt men om eigen kwaliteiten te onderscheiden van anderen en zo zich te verkopen op de markt. Daar is niets mis mee.

De laatste paar jaar merk ik dat de term ‘Business Intelligence’ geassocieerd wordt met ouderwets en achterhaald. Het is passé en niet sexy meer. Prima, dat mag je vinden.

Maar wat me steekt is het gemak waarmee de verzamelde kennis, die is opgebouwd door hard werk en jammerlijk falen, wordt afgedaan. Je ziet de nieuwe technologieprofessionals binnenkomen, vaak onbewust van de valkuilen die hun BI voorgangers geleerd hebben te ontwijken. Twee zaken vallen me op:

  • Altijd gaat het gesprek over de data en nooit over de gebruiksnoodzaak, de ‘use case’. Als BI ons iets geleerd heeft, is het wel dat mensen niet met data werken. Mensen hebben een use case en hebben informatie nodig ter ondersteuning van de use case.
  • De nieuwe technologieprofessionals zijn gefocust op technologie. Zij geloven, bewust of onbewust, dat mensen op data afkomen als wild naar een drenkplaats in de Serengeti.  Het maakt me ongemakkelijk, BI professionals dachten hetzelfde voor een heel lange tijd en we kregen ons ongelijk bewezen.

Zit er dan geen waarde in de nieuwe technologieën? Natuurlijk wel!

Waarde onttrekken uit data is alleen maar een grotere uitdaging geworden. Het samenstellen van consumeerbare informatie uit verschillende soorten data is niet makkelijk.

Waarde ontstaat uit informatie door samenwerking en discussie tussen mensen. Gebruikers doorgronden het complexe voorbereidende proces om data consumeerbaar te maken niet. Zij zijn geïnteresseerd in de mogelijkheden om gebruik te kunnen maken van de data. Technologie professionals moeten een actieve rol spelen in de samenwerking, in plaats van de passieve rol die ik vaak observeer.

De clichématige analogie dat we van kleine databronnen naar data lakes zijn gegroeid, waar iedereen zijn informatiemonster kan nemen, is gebrekkig. We zijn verhuisd naar een brak moerasland waar vele waardevolle mineralen en exotische planten te vinden zijn. Hieruit consumeerbare producten creëren vraagt om expertise.

We hebben nieuwe architecturen nodig. Ik wijs vaak naar het voortreffelijke werk van Barry Devlin op dit gebied, zijn IDEAL en REAL architecturen. Context is het belangrijkste ingrediënt in het bereiden van consumeerbare informatie.

Het aantal softwaretools om context met de data deelbaar te maken groeit snel en verandert in een rap tempo. Wij, mensen met verstand van data en onderliggende structuren, moeten de gebruikers meenemen op de reis van wat technologie kan doen om nieuwe informatie te openbaren. Gebruikers van informatie moeten gelijktijdig hun nieuwe toepassingen van informatie met ons delen zodat wij hen beter kunnen ondersteunen. Precies zoals we geleerd hebben in BI.

Datamodelleren: regels zijn een aanwijzing, niet een gebod

Datamodelleren is abstraheren van de werkelijkheid. Zoals in elk abstractieproces moet je keuzes maken. Ik merk dat mensen soms dogmatisch omgaan met de regels van een datamodelleringsaanpak wanneer ze voor een modelleringskeuze staan.

De bedenker van de aanpak heeft vaak al een antwoord bedacht. Door aanhangers of de bedenker van de methodiek, wordt dit antwoord tot enig mogelijk juiste keuze verheven. Terwijl het niet per definitie het passende antwoord is. De consequentie is dat er moeilijk onderhoudbare of lastig te begrijpen constructies worden gekozen.

In de praktijk modelleer je om problemen op te lossen. Soms ervaar je dat de regels van een datamodelleringsaanpak in het modelleren van een specifieke situatie eerder een probleem veroorzaken dan het op te lossen. Je weet dan dat je een andere keuze moet maken. Daarbij is het natuurlijk verstandig dat je eerst de voor- en nadelen van een techniek goed begrijpt voordat je jezelf vrijheidsgraden gunt.

Keuzes onderbouwen is de uitdaging

Mijn motto is ‘slechte keuzes bestaan niet, wel slecht onderbouwde keuzes’.
De motivering van een keuze is vaak belangrijker dan de keuze zelf. Dit geldt niet alleen voor een logisch of een fysiek datamodel, maar voor alle keuzes die je moet maken over de modellen heen.
Als je begrijpt waarom je voor een oplossing kiest, dan vergroot je de kans dat je de consistentie en het begrip van je datamodel op lange termijn borgt.

Datamodelleren is een lastig vak. Het consequent volgen van regels biedt veel mensen houvast.
Ik zie de regels meer als een soort checklist om na te gaan of je wel consistent blijft in je benadering. Dezelfde soort problemen los je bij voorkeur op met dezelfde soort modelleringspatronen. Niet omdat het beter is, maar omdat het begrijpelijker is. De herkenbaarheid wordt groter bij zowel gebruikers als ontwikkelaars naarmate er meer herhaalde patronen in het model zitten. Daar waar nodig wijk je af en je motiveert en toetst een alternatief patroon op voorhand.

De consequenties van alternatieve patronen beschouwen vanuit verschillende oogpunten is cruciaal voor de levensduur van een oplossing. Elk keer kun je jezelf een aantal vragen stellen, bijvoorbeeld:

  • Begrijpen mijn gebruikers en analisten het model nog?
  • Wat is de consequentie voor de complexiteit bij het transformeren van data naar het model toe?
  • Wat is de consequentie voor de performance bij het bevragen van het model?

Voortschrijdend inzicht is geen noodzakelijk kwaad

Voortschrijdend inzicht is inherent onderdeel van het modelleringsproces. Naarmate je meer te weten komt over de materie en je meer feedback van gebruikers krijgt, wijzigt de interpretatie en daarmee het datamodel.

Daarnaast heb je in de praktijk te maken met de nukken van de gebruikte dataopslagtechnologie en analytische tools. Om deze nukken het hoofd te bieden moet je pragmatische oplossingen bedenken. In de loop van de tijd zie je dat door gebruikservaring en ervaring met technische uitdagingen de patronen verfijnen.

Wijzigingen met terugwerkende kracht zijn gevolg van voortschrijdend inzicht

Gewijzigde modelleringspatronen zijn niet alleen geldig voor toekomstige uitbreidingen van het datamodel, maar ook met terugwerkende kracht. Je borgt de consistentie van je model als je dit consequent doet.

Met terugwerkende kracht aanpassingen in je datamodel doorvoeren kost echter tijd en daarmee geld. Die investering laat zich niet direct vertalen in concreet aanwijsbaar korte-termijn voordeel. Pas op langere termijn leidt het tot een kortere time-to-market van toekomstige informatieproducten en tot lagere totale ontwikkelings- en exploitatiekosten over de levensduur van je analytische oplossingen.

Dat is lastig verkoopbaar onder de druk van deadlines, maar waar enige dogmatische vasthoudendheid wel gewenst is.