Staedion: van 40 uur verversen naar onder het uur

Staedion is een grote Nederlandse woningcorporatie in Den Haag. Achter elke woning, huurder en reparatie zit een reeks operationele systemen, met Dynamics Empire, het vastgoedbeheersysteem op basis van Microsoft Dynamics, als kern. Die systemen draaiden op eigen servers, en ze waren punt tot punt aan elkaar gekoppeld: elke nieuwe verbinding tussen twee systemen was weer een eigen koppeling om te bouwen en te onderhouden.

Voor de organisatie betekende dat data in silo's. Een vraag beantwoorden die over systemen heen gaat, betekende wachten op een export, een verversing of allebei, en de verversingen zelf duurden het grootste deel van twee dagen.

Wij werden gevraagd een modern Azure-dataplatform te bouwen en de integratielaag te verenigen. SolvX was verantwoordelijk voor de data engineering, samen met onze partner LabsData. Wij brachten de data van Dynamics Empire van de eigen servers naar de cloud, haalden die het datawarehouse in, en structureerden die daar.

Het platform heeft twee helften die samenwerken. Aan de operationele kant verving een Enterprise Service Bus de punt-tot-puntkoppelingen door één event-gedreven laag, met Azure Function Apps en webhooks die gebeurtenissen realtime afhandelen. Aan de analytische kant voeden pijplijnen in Azure Synapse en Data Factory Azure Databricks, de kern van het nieuwe platform, ingericht volgens een medaillonarchitectuur met brons-, zilver- en gouden lagen.

Twee dingen maakten de verversingen traag. Elke run verplaatste alle data opnieuw, veranderd of niet. En elke verbinding met de brondatabase was begrensd: één verbinding mocht maar zoveel rijen per seconde sturen, dus een pijplijn die één verbinding tegelijk gebruikte, was vooral aan het wachten.

De voor de hand liggende oplossing, zoveel mogelijk verbindingen openen, werkt ook niet. Elke extra thread kost CPU, elke open verbinding kost geld, en vanaf een bepaald punt gaat de database terugduwen met throttling en herhaalpogingen. Te weinig verbindingen en de verversing duurt dagen; te veel en ze wordt weer trager en duurder.

Dus wij gingen meten in plaats van gokken. Eerst maakten wij het laden slim, zoals bij POM: alleen importeren wat veranderd is, en slim aanvullen waar dat onbekend is. Daarna testten wij precies hoeveel CPU elke thread nodig had en hoeveel rijen elke begrensde verbinding kon sturen, en openden wij precies het aantal parallelle verbindingen waarbij tijd en kosten allebei op hun best waren.

Probeer het hieronder. Verschuif het aantal verbindingen en zet slim laden aan, en zie de doorlooptijd, de kosten per verversing en de CPU hun evenwicht vinden.

Met slim laden en afgestemde verbindingen gingen de pijplijnen van Staedion van verversingen van 30 tot 40 uur naar onder het uur. Data die vroeger overmorgen binnenkwam, is er nu binnen het uur, en de organisatie werkt vanuit één verenigde Azure-architectuur die de operationele en analytische omgeving verbindt.

Wij bouwden het niet en vertrokken. Wij werkten samen met het eigen team van Staedion, zetten de architectuur samen op, en zorgden dat de kennis in huis bleef.

• De medaillonarchitectuur geïntroduceerd, en waarom brons-, zilver- en gouden lagen data makkelijker te vertrouwen en aan te passen maken.
• Agile werken in Azure DevOps geïntroduceerd, met backlog, sprints en pijplijnen op één plek.
• Het team getraind in Databricks, zodat het het platform zelf kan bouwen en draaien.

• De data van Dynamics Empire van eigen servers naar de cloud gebracht, het datawarehouse in, en daar gestructureerd.
• Azure Databricks geïmplementeerd als kern van het nieuwe dataplatform, in een medaillonarchitectuur.
• Een Enterprise Service Bus die punt-tot-puntkoppelingen verving door één event-gedreven laag over de operationele systemen.
• Azure Function Apps en webhooks voor realtime afhandeling van gebeurtenissen.
• Datapijplijnen in Azure Synapse en Data Factory die de analytische laag voeden.
• Slim laden en parallelle verbindingen afgestemd op de beste balans tussen tijd en kosten: verversingen van 30 tot 40 uur naar onder het uur.