Al zeer lang loop ik er tegenaan dat de meeste ETL processen zo ontzettend eenvoudig zijn dat ze eigenlijk niet geprogrammeerd of getekend moeten worden in een tool, maar gegenereerd.

Zomaar 80% van alle mappings zijn 1 op 1 met een paar standaard bewerkingen en een foutafhandeling. Bij gebruikt van datavault ligt dit nog hoger en is het aantal processen een veelvoud. En dan huren we mensen in om al die processen stuk voor stuk in te brengen. ETL tooling zou zich veel meer op automatisch genereren moeten richten, maar dat is helaas zelden het geval.

Ik heb dan altijd de neiging om zelf een sql generator te schrijven en code vanuit wat meta data te genereren. Hier en daar heb ik dat ook gedaan, maar alleen als ik wist dat ik niet het beheer en onderhoud aan de klant over moest dragen. Dat is net iets te lastig om over te dragen voor de meesten.

Soms kom ik implementaties tegen die niet vanuit meta data genereren, maar meta data gestuurd processing doen. Eén component die dus de data verwerking uitvoert en afhankelijk van de meta data die hem stuurt. Voor een programmeur ziet dit er erg fraai uit; het is de kleinste hoeveelheid te onderhouden code. Maar voor de klant dit is echt een andere en vaak mindere oplossing. Bij een generator is namelijk alleen het development proces afhankelijk van het geknutselde component, maar draaien de gegenereerde processen stand-alone. Bij de processor is de klant ten eeuwigen dage afhankelijk van de geknutselde code, die dan gesupport moet worden door de toevallige ontwikkelaar.

Een tool die daar handig tussen manoeuvreert is BiReady. Er is een model driven generator en ook een runtime processor. Maar de gegenereerde code zou ook zonder de processor kunnen draaien. Zo is de klant niet per se afhankelijk van de leverancier. Handig.

BiReady(www.biready.com) doet trouwens op meer fronten verbazen. Vanuit een data model kan hiermee de het data vault schema, de datamarts en de ETL gegenereerd en meteen geimplementeerd worden zonder enig programmeren. Zo kan met onwaarschijnlijke snelheid het grootste deel van een heel data warehouse gebouwd worden. Een protoype van flinke omvang staat gewoon binnen 1 week. Slimme gasten daar bij BiReady!