ScaDS Logo

COMPETENCE CENTER
FOR SCALABLE DATA SERVICES
AND SOLUTIONS

Anwendungsbereich: Materie und Energie

Sowohl Experimente als auch Simulationen aus den physikalischen Bereichen Materie und Energie bedürfen in steigendem Maße Big Data-Methoden, um mit den dabei anfallenden Datenmengen effizient umzugehen und die relevanten Informationen zu extrahieren. Gerade in den stetig wachsenden Bereichen der explorativen Forschung in der Physik, wo sich Abläufe nicht langfristig planen lassen, ist eine sehr schnelle Verarbeitung essentiell. Nutzer erwarten eine Vorschau auf die Ergebnisse Ihres Experiments oder Ihrer Simulation während diese laufen, spätestens aber kurz nach deren Ende. Auf Basis dieser Vorschau entscheiden die Experten dann über den Fortgang des Experiments/der Simulation und eine Anpassung der Experimentparameter. In diesem Umfeld der agilen Forschung ist ein möglichst vollständiges Datenmanagement insbesondere der automatisierten Aufzeichnung aller relevanten Metadaten essentiell, um die angefallenen Daten für die Nachverarbeitung nutzbar zu machen.

Ein weiterer wichtiger Aspekt – gerade für die von Grundlagenforschung geprägte Helmholtz-Gemeinschaft – ist die agile Entwicklung der Forschungsgeräte selbst. Hier zeigt sich aktuell ein Trend weg von Spezialhardware, die nur von wenigen Experten programmiert werden kann, zu Standard-Komponenten, insbesondere Grafikprozessoren, die sich sowohl für HPC- als auch Big Data-Methoden eignen.