Het Rekenen bij de Data project van Deltares en Rijkswaterstaat is succesvol afgerond! Het afgelopen jaar werkten we in DigiShape verband aan een project waarbij werd onderzocht hoe adviesbureaus en kennisinstellingen grote datasets kunnen analyseren, zonder dat deze data extern toegankelijk moeten worden gemaakt. Een manier om dit te doen, is het om te keren: je brengt een algoritme naar de data toe en deelt alleen de uitkomsten met de vraagsteller.
In een testomgeving hebben we met succes dit rekenen bij de data mogelijk gemaakt, maar toch hebben we ervoor gekozen om deze nieuwe methode nog niet in productie te nemen. Fedor Baart van Deltares: “De belangrijkste reden hiervoor is dat het op dit moment gemakkelijker is om een persoon te vertrouwen dan een algoritme. We hebben al veel procedures om mensen ‘die van buiten komen’ te vertrouwen (overeenkomsten, gastmedewerkers), maar hoe vertrouw je een algoritme op je server? Daarvoor blijkt het nu nog te vroeg te zijn, maar we hebben wel een aantal inzichten en een referentie architectuur opgesteld, die we met de community willen delen.”
Aspecten die bij het vertrouwen van algoritmen komen kijken:
- Begrijpelijkheid: Is het algoritme begrijpelijk? Kunnen we de beslissingen die het neemt uitleggen aan gebruikers? Hiervoor gebruiken we een code review proces in github. Daarbij wordt gelet op documentatie, structuur en testen.
- Leesbaarheid: Is de code achter het algoritme goed gedocumenteerd en gemakkelijk te lezen? Hiervoor gebruiken we code standaard (in dit project black, isort en code quality checks zoals sonarcube).
- Verklaarbaarheid: Kunnen we de redenering achter de uitkomsten van het algoritme begrijpen? Dit is een actief onderwerp van onderzoek in de explainable AI.
Referentie architectuur
Als resultaat van dit project kunnen we onderstaande referentiearchitectuur delen. Deze kan gebruikt worden om, met eenvoudige bestaande open source componenten, rekenen bij de data mogelijk te maken.
Fedor: “Hoewel het misschien te vroeg was voor dit idee, is het van essentieel belang om in een vroeg stadium dit soort experimenten uit te voeren. Het is de enige manier om te ontdekken of iets werkt, en zelfs als het niet direct slaagt, geeft het ons waardevolle inzichten die ons helpen bij toekomstige pogingen. En: we kunnen het later altijd nog een keer proberen.”
