Software engineer - Koninklijk Nederlands Meteorologisch Instituut
Cloud engineer - Koninklijk Nederlands Meteorologisch Instituut
Welke data is nodig om het weer te voorspellen? Wie beheert onze overheidssatellieten? En waar gaat de data, die sensoren in het veld registreren, naartoe? The Next Web (TNW) klopte met deze vragen aan bij het KNMI, het Koninklijk Nederlands Meteorologisch Instituut. Het KNMI is verantwoordelijk voor weersvoorspellingen, doet onderzoek naar klimaatverandering en monitort seismische activiteit.
Onderstaand artikel is een vertaling van het artikel op TNW.
Het KNMI richt zich niet alleen op Nederland. Zo lanceerde het instituut in 2017 het satelliet-instrument Tropomi in een baan om de aarde, waarmee luchtkwaliteit kan worden gemeten. Onlangs heeft Tropomi in kaart gebracht in hoeverre de uitstoot van stikstofdioxide boven China is afgenomen tussen december 2019 en maart 2020, het zwaartepunt van de coronacrisis in China. Welke data verzamelt het KNMI? Hoe komt die data van instrumenten als Tropomi en sensoren bij het instituut, en wat gebeurt er vervolgens mee? TNW sprak met Saskia Wagenaar en Roy Engelen, twee developers bij het KNMI die zich bezighouden met de opslag en distributie van data voor het KNMI.
‘De meest interessante conclusie is dat de luchtkwaliteit verbeterd is op plekken waar een lockdown is toegepast’
Saskia Wagenaar
Het KNMI bestaat uit verschillende afdelingen. ‘Sommige afdelingen houden zich bezig met onderzoek, andere werken in het veld om sensoren te testen en te vervangen,’ legt cloud engineer Roy Engelen uit. ‘En dan zijn er nog de meteorologen die verantwoordelijk zijn voor het afgeven van publieke waarschuwingen. De inzameling van data begint voor het KNMI bij de sensoren in het veld. Roy werkt als cloud engineer in het IT-migratieteam dat zich bezighoudt met de gehele datastroom: van sensoren tot de weerkamer. ‘Mijn afdeling zorgt ervoor dat die informatieketen operationeel in stand blijft. De sensoren doen wat de mensheid al eeuwenlang doet: het weer observeren. Maar tegenwoordig verzamelen ze ook data over temperatuurwisselingen, regenval en luchtdruk.
‘Nederland telt 48 automatische weerstations, 34 op land en 14 in de zee,’ vertelt Roy. ‘En dan zijn er nog zo’n 300 kleine weerstations die mensen in hun tuin hebben of boeren die sensoren op hun land hebben geïnstalleerd .’ Maar dit aantal neemt af omdat het verzamelen van data op deze manier best veel geld kost. ‘Jammer,’ zegt, Roy, ‘want lokale vrijwilligers zijn van groot belang voor het KNMI. Die 300 extra datastations zijn essentieel om het hele plaatje in beeld te krijgen; meer data betekent een betere weersvoorspelling.’
Al die data wordt geanalyseerd met KNMI-modellen, waarna weerkaarten en -video's worden geproduceerd. Daarnaast wordt er gebruikgemaakt van de ruwe data afkomstig van satellieten en radars, om input te leveren voor weersvoorspellingen en real-time weerkaarten. Deze kaarten worden gebruikt door meteorologen in de weerkamer en door de website Buitenrader.nl om informatie en eventuele waarschuwingen af te geven. De ruwe data wordt gearchiveerd zodat onderzoekers deze kunnen gebruiken in hun onderzoek naar klimaatverandering en het maken van betere weermodellen.
Het verzamelen van data is een continu proces, althans, dat is de bedoeling. Af en toe stopt een sensor met functioneren. ‘Bijvoorbeeld als een vogel een nest bouwt op een installatie waardoor de laser de bewolking niet meer kan meten’, zegt Roy. ‘En.’ Inmiddels zijn sensoren beter beschermd en houdt het KNMI steeds in de gaten waar ze verder geoptimaliseerd kunnen worden.
‘Je kunt je eigen stempel op deze baan drukken; en je bent vrij om input te leveren op het hele IT-proces’
Roy Engelen
Saskia Wagenaar werkt als software engineer bij KNMI’s dataplatform, dat toegang geeft tot alle open data van het KNMI en gelicentieerde data via API’s. API is de afkorting voor Application Programming Interface. Haar team gebruikt de cloud infrastructuur die Roy heeft opgezet. ‘Mijn focus ligt op het daadwerkelijke verzamelen en inzichtelijk maken van data,’ zegt Saskia. ‘Wat mijn rol als distributeur van data interessant maakt is dat niet alleen wetenschappers binnen het KNMI er gebruik van maken, maar dat iedereen toegang heeft. Omdat we een overheidsinstelling zijn, moeten we al onze data openbaar en gratis beschikbaar maken.’ Deze data wordt meestal gebruikt door academici en onderzoekers die bij de overheid werken, maar ook door commerciële bedrijven als Schiphol en KLM, die hun vluchtschema's erop aanpassen.
Het beheren van zo’n enorme berg open access-data is niet zonder uitdagingen. ‘Hoe maak je die data op zo’n manier beschikbaar dat anderen erbij kunnen? Dat is waar mijn team zich mee bezighoudt. We verzamelen data van verschillende domeinen zoals radarmetingen, windmetingen en satellietdata.’ zegt Saskia. Deze data wordt op verschillende manieren verwerkt. ‘We maken steeds meer gebruik van tailored API's die toegang geven tot de data binnen die verschillende domeinen. Door goed te onderzoeken hoe onze gebruikers die data willen gebruiken kunnen we die API’s zo goed mogelijk laten aansluiten.’
Het onderzoek door het KNMI is ook van belang buiten de landsgrenzen. Saskia heeft aan projecten gewerkt waarbij data werd gecombineerd van verschillende Europese landen die elk hun eigen manier hebben om data te verzamelen en op te slaan. ‘Hierdoor is het lastig om snel in beeld te krijgen wat er aan de hand is als grote gebeurtenissen zich voordoen,’ voegt ze toe. Bijvoorbeeld een natuurramp zoals de uitbarsting van de IJslandse vulkaan Eyjafjallajökull in 2010. ‘Een centrale Europese databank draagt bij aan de waarschuwingscapaciteit en zicht op de situatie,’ zegt Saskia. ‘Dus Europese samenwerking is belangrijk. We moeten er zeker van zijn dat metingen vanaf de grond op één centrale plek samenkomen met satellietdata. Op die manier kan iedereen in Europa die data gebruiken en zich beter voorbereiden wanneer zo’n gebeurtenis zich opnieuw voordoet.’
Hoewel de meeste data in het veld voor weersvoorspellingen wordt gebruikt, is deze ook essentieel bij het onderzoek naar klimaatverandering. Saskia: ‘Om klimaattrends en veranderingen te herkennen, moeten sensoren continu werkzaam zijn, vanaf dezelfde plek. Een recente verandering, als eerdergenoemd, werd veroorzaakt door COVID-19. De meest interessante conclusie is dat de luchtkwaliteit verbeterd is op plekken waar een lockdown is toegepast.’
Een baan als developer bij de Rijksoverheid klinkt misschien niet als de meest creatieve of zelfstandige functie, maar Roy zegt dat hij in zijn rol als cloud engineer veel vrijheid heeft. Het is zelfs een belangrijke reden dat hij bij het KNMI is gaan werken. ‘Je kunt je eigen stempel op deze baan drukken; en je bent vrij om input te leveren op het hele IT-proces.’
Saskia koos voor het KNMI dataplatform om te kunnen samenwerken met onderzoekers én een nieuwe technologie. ‘Ik werk hier nu 3 jaar en vind het een erg dynamische werkomgeving. Toen ik begon bij het KNMI werd alles on-site geregeld, met on-site diensten. Sindsdien gebruiken we de cloud steeds meer, en maken we gebruik van nieuwere technologieën. Hierdoor kunnen we veel leren over de manier waarop we werken. Dit maakt het werk extra interessant.’
Dit is een vertaling van het Engelstalige artikel op The Next Web.