ScaDS Logo

COMPETENCE CENTER
FOR SCALABLE DATA SERVICES
AND SOLUTIONS

Themenbereich 1: Effiziente Big Data Architekturen

Überblick

Grundlage für die Verarbeitung großer Datenmengen ist eine leistungsfähige Infrastruktur. Riesige Datenströme wie z. B. aus Sensoren oder Hochdurchsatzmikroskopen bringen jedoch auch die leistungsfähigsten Systeme an ihre Grenzen. Eine effiziente Reduktion der Daten, verbunden mit intelligenten Methoden zum Speichern direkt bei der Datenaufnahme ist deshalb für viele Anwender unabdingbar. Der Transfer der Daten vom Entstehungsort zu den Anwendern oder zu den Analysesystemen muss bei großen Datenmengen und den daraus folgenden langen Transferzeiten für den Anwender planbar und verlässlich sein. Infrastrukturen aus Hard- und Software für einen planbaren Datentransfer sind dafür notwendig. Werden die Daten und/oder beschreibende Metadaten schließlich für die Auswertung oder Visualisierung benötigt, müssen Methoden für einen effizienten und schnellen Zugriff für Hochdurchsatz existieren. All dies kann im Rahmen von Diensten für die Anwender jedoch nur gewährleistet werden, wenn Methoden und Werkzeuge existieren, die eine Evaluierung und ein Monitoring der Performance der Infrastrukturen für Daten- und Analyse-Operationen erlauben. Die Forschungsschwerpunkte in diesem Arbeitsbereich lauten im Einzelnen:

  • Planbarer Datentransfer, effiziente Datenreduktion und intelligenter I/O
  • Effizienter Daten- und Metadatenzugriff
  • Monitoring und Analyse der Performance von Datenoperationen
  • IT-Sicherheit

Forschungspartner

  • Zentrum für Informationsdienste und Hochleistungsrechnen, TU Dresden: Prof. W. E. Nagel
  • Professur Datenbanken, TU Dresden: Prof. W. Lehner
  • Technische Informatik, Universität Leipzig: Prof. M. Bogdan