Da jedes Smartphone und jeder Computer heute mit mehreren Prozessoren ausgestattet ist, wird die Verwendung funktionaler Ideen zur Erleichterung der parallelen Programmierung immer weiter verbreitet. In diesem Kurs lernen Sie die Grundlagen der parallelen Programmierung kennen, von der Aufgabenparallelität bis zur Datenparallelität. Insbesondere werden Sie sehen, wie sich viele vertraute Ideen aus der funktionalen Programmierung perfekt auf das Paradigma der Datenparallelität übertragen lassen. Wir beginnen mit den Grundlagen der effektiven Parallelisierung vertrauter Sammlungsoperationen und arbeiten uns zu parallelen Sammlungen vor, einer produktionsreifen datenparallelen Sammlungsbibliothek, die in der Scala-Standardbibliothek verfügbar ist. Während des gesamten Kurses werden wir diese Konzepte anhand mehrerer praktischer Beispiele anwenden, die Daten aus der realen Welt analysieren, z.B. beliebte Algorithmen wie k-means clustering. Lernergebnisse. Am Ende dieses Kurses werden Sie in der Lage sein: - über aufgaben- und datenparallele Programme nachzudenken, - gängige Algorithmen in einem funktionalen Stil auszudrücken und parallel zu lösen, - parallelen Code kompetent im Mikrobenchmarking zu testen, - Programme zu schreiben, die parallele Sammlungen effektiv nutzen, um Leistung zu erzielen Empfohlener Hintergrund: Sie sollten mindestens ein Jahr Programmiererfahrung haben. Ideal sind Java- oder C#-Kenntnisse, aber auch Erfahrungen mit anderen Sprachen wie C/C++, Python, Javascript oder Ruby sind ausreichend. Sie sollten mit der Kommandozeile etwas vertraut sein. Dieser Kurs sollte nach Functional Program Design in Scala belegt werden: https://shoex.top/learn/progfun2.

Die Bearbeitung von großen Datenmengen, die über einen Cluster verteilt sind, mit funktionalen Konzepten ist in der Industrie weit verbreitet und stellt wohl eine der ersten weit verbreiteten industriellen Anwendungen funktionaler Ideen dar. Dies zeigt sich an der Popularität von MapReduce und Hadoop und seit kurzem auch von Apache Spark, einem schnellen, in Scala geschriebenen Framework für verteilte In-Memory-Sammlungen. In diesem Kurs werden wir sehen, wie das Paradigma der Datenparallelität auf den verteilten Fall ausgeweitet werden kann, wobei Spark durchgehend verwendet wird. Wir werden das Programmiermodell von Spark im Detail behandeln und dabei darauf achten, wie und wann es sich von bekannten Programmiermodellen wie parallelen Sammlungen mit gemeinsamem Speicher oder sequenziellen Scala-Sammlungen unterscheidet. Anhand von praktischen Beispielen in Spark und Scala lernen wir, wann wichtige Verteilungsfragen wie Latenz und Netzwerkkommunikation berücksichtigt werden sollten und wie sie für eine verbesserte Leistung effektiv angegangen werden können. Lernergebnisse. Am Ende dieses Kurses werden Sie in der Lage sein: - Daten aus persistenten Speichern zu lesen und in Apache Spark zu laden, - Daten mit Spark und Scala zu manipulieren, - Algorithmen für die Datenanalyse in einem funktionalen Stil auszudrücken, - zu erkennen, wie man Shuffles und Neuberechnungen in Spark vermeidet, Empfohlener Hintergrund: Sie sollten mindestens ein Jahr Programmiererfahrung haben. Ideal sind Java- oder C#-Kenntnisse, aber auch Erfahrungen mit anderen Sprachen wie C/C++, Python, Javascript oder Ruby sind ausreichend. Sie sollten mit der Kommandozeile etwas vertraut sein. Dieser Kurs sollte nach dem Kurs Parallele Programmierung: https://shoex.top/learn/parprog1 belegt werden.

In der Abschlussarbeit werden Sie die erlernten Fähigkeiten anwenden, indem Sie eine große datenintensive Anwendung mit realen Daten erstellen. Sie werden eine komplette Anwendung implementieren, die mehrere Gigabyte an Daten verarbeitet. Die Entwicklung einer solchen Anwendung umfasst: - die Umwandlung von Daten, die von Wetterstationen bereitgestellt werden, in aussagekräftige Informationen, wie z.B. die durchschnittliche Temperatur an jedem Punkt der Erde in den letzten zehn Jahren; - die anschließende Erstellung von Bildern aus diesen Informationen mit Hilfe von räumlichen und linearen Interpolationstechniken; - schließlich die Implementierung der Benutzeroberfläche, die auf die Aktionen der Benutzer reagiert.