Cloud Processing

Prozessierung von großvolumigen Geodaten in der Cloud.

Herausforderung

Mehrere Partner haben ihre Erfahrungen bei der Implementierung, dem Einsatz und dem Betrieb skalierbarer EO-Dienste sowie ihre Erfahrungen bei der Datenauswertung gemeinsam eingeracht. Dieses Konsortium bildete ein ideales Team, das komplementäre Erfahrungen, Kapazitäten und Motivation vereint:

mundialis war hierbei auf die Analyse von Fernerkundungsdaten und die Verarbeitung umfangreicher Geodaten in Hochleistungsrechenzentren mit Open-Source-Software spezialisiert. Vor dem Hintergrund, dass mundialis auch stark an den Aktivitäten von OSGeo und der Open-Source-Geo- und EO-Community beteiligt ist, war es das Ziel, verschiedenen Personengruppen den Zugriff auf die reichhaltigen Fernerkundungsdaten zu ermöglichen. Die Erfahrungen in skalierbarer Cloud-Verarbeitung und Analyseroutinen für Sentinel- und andere Satellitendaten konnten hierbei ideal in das Projekt eingebracht werden. Die Motivation bestand darin, Verarbeitungsketten in operative Cloud-Plattformen zu integrieren, um die Geoverarbeitungs-Cloud-Engine Actinia, ein OSGeo-Community-Projekt, im Hinblick auf die Stakeholder-Szenarien zu verbessern.

Leistungen
  • Automatisiertes Deployment der Infrastruktur
  • Erstellung von Kubernetes-Clustern und deren automatische Aktualisierung mittels Helm-Charts
  • optionale Verwendung von Charliecloud Containern zur Minimierung potentieller Sicherheitsrisiken
  • Parallelisierte Arbeitsprozesse
  • Datenprozessierung: Kompatibilität mit der openEO API
  • STAC-Kataloge
Ergebnis

STAC-Kataloge

Kubernetes-Cluster

parallelisierte Arbeitsprozesse

Kunde
Deutsches Zentrum für Luft und Raumfahrt (DLR)

Story

In den letzten Jahren hat die enorme Zunahme von Earth Observation (EO) Daten, die allein durch das Sentinel Programm täglich 12 Terabyte erreichen, neue Herausforderungen für die Archivierung, Verteilung und Nutzung dieser stetig wachsenden Zeitreihen geschaffen. Als Antwort darauf hat mundialis zukunftsweisende Prototypen für cloudbasierte Infrastrukturen entwickelt, die eine effiziente Verarbeitung und Analyse großer EO-Zeitreihen ermöglichen.

Im Rahmen von Projekten wurden wesentliche Komponenten der Pilotanwendungen mit Fokus auf Sentinel-Zeitreihen umgesetzt. Dazu gehören die Bereitstellung von actinia und des openEO GRASS GIS Backends auf Kubernetes-Clustern und deren automatische Aktualisierung mittels Helm-Charts für Kubernetes. Darüber hinaus wurden die Methoden zur Zeitreihenanalyse sowohl in GRASS GIS als auch im openEO GRASS GIS Backend erweitert.

Zuletzt fand ein innovatives Redesign von actinia statt, bei dem actinia in einen Manager- und einen Worker-Teil aufgeteilt wurde, um die Arbeitsprozesse zu optimieren. Diese Aufteilung wurde durch die Auslagerung der Jobwarteschlange in eine Redis-Datenbank ermöglicht und durch neu entwickelte actinia-Plugins zur Parallelisierung unterstützt.

Ein weiterer Fortschritt war die Integration von actinia in einen High-Performance-Cluster (HPC) mittels Charliecloud-Container und die Implementierung des actinia-stac-Plugins zur Erstellung von STAC-Katalogen direkt aus den Daten. All diese Innovationen führen zu einer automatisierten Installation von actinia über Pipelines, einschließlich der Erstellung von Charliecloud Containern, wodurch potentielle Sicherheitsrisiken minimiert werden.