ScaDS Logo

COMPETENCE CENTER
FOR SCALABLE DATA SERVICES
AND SOLUTIONS

ScaDS Ringvorlesung SS2017:  Praktische Aufgaben für Studierende der Technischen Universität Dresden

cgv: Distributed Interactive Visualization
Interaktive Visualisierungen großer Daten und die Darstellung dieser auf großen Displays ist nur möglich indem mehrere Rechner und Graphikkarten gemeinsam die aufkommende Last bearbeiten. In diesem Projekt wird die verteilte Visualisierung wissenschaftlicher Daten auf einem großen Tiled-Display mit mehreren Rechnern umgesetzt. Ausgehend von einem Quellcodeskelett, welches grundlegende MPI-Kommunikation und Kamerasteuerung enthält, müssen die konkreten Rendering-Aufgaben implementiert werden. Ziel ist hybrid-verteiltes Rendering (Objektraum- und Bildraum-Unterteilung gleichzeitig). Hierfür sind die Teilung der Daten, Off-Screen-Rendering mit asymmetrischem Viewing-Frustum, Kommunikation von Teilbildern, und das Compositing des finalen Bildes zur Darstellung notwendig.

Dieses Projekt kann von mehreren Studenten getrennt bearbeitet werden. Die Grundaufgabe ist jeweils die selbe, unterscheidet sich jedoch in den zu visualisierenden Daten und damit in den Detailproblemen beim Rendering und Compositing. Mögliche Datensätze sind: große Geometrie-Daten, Volumen-Datensätze, Punktwolken, Partikel-Daten. Im Rahmen dieses Projekts werden nur statische Datensätze benutzt.

db: ERIS-Spark Integration
Apache Spark ist ein Standard-Framework zur Verarbeitung von großen Datenmengen im Kontext von Big Data. In dieser praktischen Arbeit soll daher zunächst der Umgang mit Apache Spark erlernt werden und es sollen beispielhafte Datenanalyse Szenarien mit Hilfe dieses Frameworks praktisch umgesetzt werden. Im weiteren Verlauf soll das Datenbanksystem ERIS, das vom Lehrstuhl für Datenbanken entwickelt wurde, als Verarbeitungsknoten in Apache Spark integriert werden. Dazu soll die entsprechende Data Source API von Spark seitens ERIS implementiert werden um Vergleichsmessungen zu anderen Datenknoten Implementation vorzunehmen.

zih: Data Analytics:
Innerhalb konkreter praktischer Aufgaben sollen Methoden zur Datenanalyse erlernt und auf konkrete Beispiele angewendet werden. Zunächst erfolgt die Einarbeitung in ein generisches Framework aus dem Apache-Umfeld sowie die beispielhafte Anwendung von Datenanalysemethoden auf ausgewählte Datensätze. Ziel der praktischen Arbeiten ist dabei auch der Umgang mit der Analyse-Umgebung auf verschiedenen Hardware-Architekturen (Hochleistungsrechner, Cloud-Umgebung). Die Aufgabenstellung kann dabei angepasst werden, z.B.:

  • Zeitreihenanalyse mit Time-Series-Bibliothek in Apache Spark (spark-ts)
  • Stream-Processing mit Apache Flink
  • Offline-Batch Processing mit Cassandra-Storage