In navolging op de mariene data lake ontwikkelingen met IHM en de interesse in de achterliggende technologie, organiseert MARIS op 10 december een technisch webinar over de Beacon-technologie: een open-source oplossing om grote hoeveelheden meetdata razendsnel te indexeren, bevragen en combineren.

De sessie sluit aan op de resultaten die we bij de DigiShape dag op 7 november lieten zien, maar richt zich vooral op de onderliggende technologie en de brede toepasbaarheid voor mariene én binnenwaterdata. Interessant voor datamanagers, developers, systeemarchitecten en onderzoekers die werken met grote, of vele miljoenen datasets en dataplatformen.

Waarom dit webinar?

Gedreven door de almaar groeiende datavraag vanuit wetenschap en industrie (vanuit Notebooks, modellen, AI oplossingen en digitale tweelingen) worstelen steeds meer organisaties met het toegankelijk en doorzoekbaar maken van versnipperde meetgegevens. Deze zijn weliswaar beschikbaar, maar in miljoenen kleine bestanden of in grotere collecties, met als gevolg hoge investeringen in workflows en trage zoekacties over grote tijdreeksen of ruimtelijke gebieden.

De Beacon-technologie maakt het mogelijk om enorme hoeveelheden observatiedata razendsnel doorzoekbaar te maken, ongeacht of het gaat om mariene data, binnenwaterdata of datasets uit Europese onderzoeksprogramma’s.

Tijdens dit webinar laten we zien:

• hoe de Beacon technologie is opgebouwd;
• hoe Beacon werkt voor indexatie van datasets op zowel cloud als fysieke server en querying op grote schaal;
• hoe je vanuit Python notebooks en een eenvoudige user interface direct kunt werken met meerdere datalakes tegelijk;
• hoe je datasets uit verschillende bronnen (bijv. NL, UK, DE) kunt samenbrengen en analyseren alsof het één virtuele bron is.

Programma:

• Introductie en achtergrond (Peter Thijsse, Maris)
• Inzage in de Beacon technologie (Robin Kooyman, Maris)
• Voorbeelden van gebruik in notebooks en Beacon studio (Tjerk Krijger, Maris)

Er is uitgebreid gelegenheid voor het stellen van vragen.

Voor wie?

Dit webinar is bedoeld voor:

• datamanagers;
• software developers;
• systeemarchitecten;
• onderzoekers en consultants die werken met grote hoeveelheden meetdata of dataplatformen bouwen.

Beleidsmakers mogen natuurlijk aansluiten, maar de sessie is vooral technisch van aard.

Wat kun je verwachten?

Voor de echte techneuten geven we een inzage in de achterliggende technologie, hoe Beacon omgaat met miljoenen files in text, NetCDF, ZARR of ander format, en hoe het ondersteunt met ARCO, Apache Iceberg, SQL querying en andere technologien. Aan de hand van voorbeelden laten we zien hoe je snel kunt filteren op gebied, periode en parameters, kwaliteitscontroles draait en verschillende datastromen combineert. We laten toepassingen zien zoals trendanalyses (bijv. voorkomen van soorten in relatie tot temperatuur over 30 jaar) en snelle data science-workflows.

Ook plaatsen we de technologie in de bredere data-architectuur: Hoe past het in de data distributie keten, hoe verhoudt het datalake zich tot modellering, hoe helpt goede standaardisatie om dit soort oplossingen optimaal te benutten, en hoe kan Beacon zelfs helpen in de standaardisatie van data?

Aansluiting bij DigiShape

Data op orde brengen en publiceren is een essentiële bouwsteen voor alles wat we doen binnen DigiShape. De Beacon-technologie is ontwikkeld in Europese programma’s en binnen DigiShape verder gebracht in de Nederlandse context (samen met IHM). Het past naadloos bij onze ambitie om open, herbruikbare oplossingen te ontwikkelen waar de hele community op kan bouwen.