Zukunftsprojekte

Das NHR-Zentrum des KIT nimmt derzeit innerhalb des NHR-Verbundes an den folgenden Verbundprojekten teil:

Identitätsmanagement "as a service"

Der zuverlässige und sichere Zugang zu Hochleistungsrechnern und der Datenaustausch über mehrere Standorte hinweg sind für viele Forschende unerlässlich geworden. Der Betrieb eines eigenen Identitätsmanagementsystems mit direkter Anbindung an andere Standorte und große Föderationen ist allerdings mit einem hohen Aufwand verbunden und nicht für alle Organisationen und Institutionen möglich. Insbesondere die Integration zeitgemäßer Sicherheitsmechanismen wie einer Multi-Faktor-Authentifizierung ist in vielen Identitätsmanagementsystemen derzeit noch nicht umgesetzt.

Die maßgeblich durch das KIT entwickelte Softwarekomponente Reg-App bildet bereits das Rückgrat für die sichere, föderierte Authentifizierung von Nutzenden für HoreKa, die Future Technologies Partition und die im Rahmen des baden-württembergischen Umsetzungskonzeptes für das Hochleistungsrechnen (bwHPC) betriebenen Hochleistungsrechner die den bwUniCluster.

Im Rahmen des NHR-Vernetzungsprojektes "Reg-App – A federated identity management system as a service" koordiniert NHR@KIT die den Aufbau eines Dienstleistungsangebotes, in dessen Rahmen das föderierte Identitätsmanagementsystem anderen Standorten als extern gehosteter Dienst angeboten wird. In der ersten Ausbaustufe soll der Einsatz im Kontext von idm.nrw und HPC.NRW erprobt werden. Zusätzlich ist die Entwicklung einer Projektgruppenverwaltung geplant, die es den für die auf den NHR-Systemen eingerichteten Rechenzeitprojekten verantwortlichen Personen ermöglicht, die Liste der Mitglieder selbstständig zu verwalten.

Container und Containermanagement

Bei der Installation und Konfiguration von Anwendungssoftware besteht eine hohe Abhängigkeit von der konkreten Softwareumgebung, die Nutzende auf einem HPC-System vorfinden. Dies erschwert in der Regel die Bereitstellung spezieller Anwendungsversionen sowie den Wechsel zwischen verschiedenen Ressourcen.

Container-Umgebungen haben sich in den letzten Jahren als vielversprechendes Werkzeug etabliert um diese Abhängigkeiten zu umgehen. Sie erlauben es den Nutzenden, die benötigten Softwareumgebungen in Eigenregie zu erstellen, weitgehend von der Systemumgebung zu entkoppeln und damit ohne weitere Änderungen auf vielen verschiedenen Ressourcen lauffähig zu machen.

NHR@KIT beteiligt sich im Rahmen dieses Verbundprojektes unter anderem an der Evaluation neuer Container-Technologien, der Bereitstellung gemeinsam gepflegter und standardisierter Container innerhalb des NHR-Verbundes, der Betrachtung sicherheitsrelevanter Aspekte und der Vermittlung von Wissen an Nutzende und Administratoren.

Cx as a service

Viele wissenschaftliche Anwendungscodes sind über viele Jahre oder auch Jahrzehnte gewachsen. Altlasten wie veraltete Programmiertechniken, ein "monolitischer" Aufbau oder fehlende Automatisierung erschweren die Weiterentwicklung und erhöhen stetig den Aufwand für die Validierung neuer Programmversionen. Zudem ist die Portierung auf neue und innovative Hardwarearchitekturen - die unter Umständen eine sehr viel höhere Rechenleistung als etablierte Architekturen ermöglichen könnten - nur eingeschränkt möglich.

Um die bereits erfolgten Investitionen in die existierenden Codebasen zu erhalten und deren Zukunftssicherheit zu sichern, gewinnt der Bereich der nachhaltigen Softwareentwicklung daher zunehmend an Bedeutung. Insbesondere die Automatisierung in Form von Continuous Integration, Continuous Testing und Continuous Deployment - kurz CI/CT/CD oder Cx - ist dabei von hoher Bedeutung.

Das NHR-Zentrum NHR@KIT koordiniert den Bereich "Sustainable Software Development - Cx as a Service" innerhalb der NHR-Allianz und bietet neben Schulungen und Workshops auch eine Infrastruktur für CI/CT/CD an.

Job-spezifisches Performance-Monitoring

Das skalierbare, kontinuierliche Performance-Monitoring ist ein wichtiges Werkzeug für die nachhaltige und effiziente Nutzung von Hochleistungsrechnern. Die Betreiber der Ressourcen können auf eine ineffiziente Nutzung mit Beratungs- und Unterstützungsangeboten reagieren, aber auch auf der Seite der Nutzenden ist ein stetig steigendes Interesse an entsprechenden Daten zu beobachten.

Aufgrund der hohen Komplexität der HPC-Systemumgebungen ist eine Vielzahl von Komponenten nötig, um die notwendigen Daten zu erfassen und Nutzenden und Adminstratoren einen benutzerfreundlichen Zugriff darauf zu ermöglichen. Die Datenerfassung muss direkt auf den einzelnen Rechenknoten stattfinden und durch Metadaten (z.b. vom Job-Scheduler) angereichert werden. Der große Umfang der gesammelten Daten erfordert den Einsatz leistungsfähiger, skalierbarer Datenspeichersysteme, etc. Die eingesetzten Komponenten müssen zum Teil an die individuellen Bedürfnisse und Gegebenheiten der verschiedenen Betreiber anpassbar sein. Die erhobenen Daten unterscheiden sich ebenfalls zwischen den Zentren, wordurch der Einsatz von Standard-Tools und die Ausbildung der Nutzenden erschwert werden.

Das NHR-Zentrum NHR@KIT arbeitet in diesem Vernetzungsprojekt gemeinsam mit anderen Standorten an der Sicherstellung der Interoperabilität und gemeinsamen Standards für systemweite und kontinuierliche Job-spezifische Performance-Monitoring Umgebungen.

Koordination mit Ländernetzwerken

Bereits vor der Vernetzung der deutschen Tier-2-Zentren im Nationalen Hochleistungsrechnen existierten in der HPC-Landschaft verschiedene Ländernetzwerke, darunter bwHPC (Baden-Württemberg), HKHLR (Hessen), HLRN
(Berlin, Brandenburg, Bremen, Hamburg, Mecklenburg-Vorpommern, Niedersachsen, Schleswig-Holstein), hpc.nrw (Nordrhein-Westfalen) und KONWHIR (Bayern). Diese Netzwerke organisieren insbesondere die Förderung des Hochleistungsrechnens in der Breite, d.h. auf der Leistungsebene 3 (Tier-3-Ebene), häufig existierte aber auch bereits eine Verbindung zu den Leistungsebenen 2 oder sogar 1 (Tier-2 und Tier-1).

Der erste Kontakt mit HPC-Systemen findet in der Regel auf Tier-3-Ebene statt, hier werden die Grundlagen erlernt und der Grundstein für eine spätere wissenschaftliche Karriere in den rechnergestützten Wissenschaften gelegt. Allerdings können die Ländernetzwerke den Bedarf an HPC-Experten kaum decken und das Ziel der "vertikalen Durchlässigkeit", des erfolgreichen Wechsels von Tier-3 auf Tier-2 oder Tier-1, nicht alleine verantworten.

Im Rahmen dieses Vernetzungsprojektes koordiniert NHR@KIT die Verzahnung mit den Ländernetzwerken, insbesondere mit bwHPC, bei der Abstimmung des gemeinsamen Schulungsangebots und der Ausbildung von Multiplikatoren ("Train-The-Trainer").

Hochskalierbare numerische Lösungsalgorithmen und numerische Bibliotheken

Im Rahmen laufender und bereits abgeschlossener Forschungsprojekte wurden an einigen NHR-Standorten hochskalierbare numerische Lösungsalgorithmen und hochperformante numerische Softwarebibliotheken entwickelt (HyTeg, Gingko). Diese legen den Grundstein für zukünftige Exascale-Systeme und versprechen eine deutliche Beschleunigung existierender Anwendungen, insbesondere durch die effiziente Ausnutzung aktueller Hardwaretechnologien wie z.B. GPGPUs und anderer Beschleuniger.

Im Rahmen von NHR sollen diese Algorithmen und Bibliotheken allen Nutzenden zugänglich gemacht werden. Dieses Ziel umfasst beispielsweise die Sicherstellung der Kompatibilität zu existierenden Lösern und die Begleitung der Forschenden bei der Adoption in existierende Simulationssoftware.