A Production-Grid for Genome and LISA Research

textabstractDie D-Grid Initiative stellt Bundesweit derzeit >30.000 Rechencores insgesamt 36 Community-Projekten zur Verfugung. Insgesamt wurden bisher in 3 „Calls“ und mehreren Infrastruktursonderinvestitionen ca. 134 Millionen Euro investiert. Auf den Resourcen laufen mehrere sogenannte Middlewares. Die Auslastung der Ressourcen die mithilfe der Middleware Globus benutzt werden (~70% der total installierten Leistung) betragt praktisch mittlerweile 100%. Im wesentlichen nutzen zwei Usecases diese Resourcen zu ca. 98%: Im astrophysikalischen Bereich sind dies Gravitationswellenanalysen mittels der einstein@home-Jobs vom Max-Planck-Institut fur Gravitationsphysik Albert-Einstein-Institut (AEI) und sowie Genomanalysen der Biophysikalischen Genomik, BioQuant/DKFZ. Beide nehmen derzeit mehr als 150.000 CPU-Stunden auf den Globus-Ressourcen im D-Grid auf. Vom wissenschaftlichen Standpunkt sind diese Rechnungen und Analysen von groser Bedeutung wie sich an der ansteigenden Zahl an Publikationen zeigt. Hinter den zwei hierbei verwendeten Nutzerkennungen verbergen sich dabei mehrere Nutzer die durch A. Beck-Ratzka und T. A. Knoch in Kooperationsprojekten gebundelt sind, die entweder einzelne Applikationen und/oder ganze Pipelinesysteme benutzen. Dazu gehoren auch Nutzer die u.a. in nationalen, europaischen bzw. internationalen Konsortien fur den Informatikpart zustandig sind. Im astrophysikalischen Fall handelt es sich dabei um 10 Nutzer/Projekte, im biomedizinischen Fall sind dies international mittlerweile ca. 200 Nutzer/Projekte (180 hierbei durch die Nutzung einer sog. Assoziation Pipeline, die von auserst wichtiger diagnostischer Relevanz ist). Die Starkung des Standorts Deutschland durch die erfolgreiche Nutzung im Produktionsbetrieb hat einerseits die Machbarkeit einer funktionierenden Grid-Infrastruktur fur die Globus Ressourcen-Betreiber gezeigt und andererseits durch die Schaffung wissenschaftlich hoch-relevanter Ergebnisse zu einer damit verbundenen forschungspolitischen Starkung gefuhrt. Beides kann nicht hoch genug eingeschatzt werden, da beide Usecases vor allem auch im internationalen Vergleich eine herausragende Stellung einehmen – faktisch gehoren sie mittlerweile zu den grosten Nutzern von Rechenzeit weltweit. Der grose Erfolg der zwei Usecases Gravitationswellenanalyse und Genomanalyse hat die Ressourcen bezuglich der Globus basierten Infrastruktur zu nahezu 100% ausgeschopft Er basiert auf unabhangig voneinander entwickelten Komponenten, welche die Middleware in eine produktive Umgebung integrieren, und damit ein Produktionsgrid erst ermoglichen. Dies ist einzigartig im D-Grid-Umfeld. Die Personalkapatzitat von A. Beck-Ratzka und T. A. Knoch sind aufgrund der Unterstutzungsanforderungen von weiteren/neuen Nutzern zu 100% ausgereizt. Folglich stosen wir in Bezug auf i) Rechenzeit fur unsere eigenen Projekte sowie die neuer Nutzer, ii) die Unterstutzung und Anwerbung neuer Nutzer, sowie iii) entsprechenden Unterstutzung beim Management in Hinblick auf Daten Sicherheits/Vertraulichkeit, SLAs und Coaching, an die Grenze unserer bisher existierenden Moglichkeiten. Die entsprechende Projektanforderungen bezuglich Rechenleistung sind klar durch die entsprechenden Projekterfolge gegeben, d.h. dass uber die Laufzeit der D-Grid Infrastruktur bis 2014 massive Anforderungen uber den bisher fur uns zuganglichen Rahmen hinaus bestehen. Anfragen von neuen Nutzer gibt es von 10 weiteren im astrophysikalischen (Berliner Raum) und 50-60 weiteren im biomedizinischen Bereich (Raum Heidelberg), die uns als verlasliche bzw. erfahrene Garanten fur erfolgreiche Hoch-Durchsatz Gridnutzung ansehen, aber entsprechende Unterstutzung brauchen. Zusatzlich gibt es auch Anfragen von mehreren nationalen und internationalen Verbunden, die genau solche Komponenten wie die unsrigen sofort benutzen wurden. Daruberhinaus besteht in diesem Zusammenhang der Bedarf an weiteren Losungen im Datensicherheits- und Vertraulichkeits-Bereich, die durch diese Bereiche konkret angefordert werden, was mit entsprechendem Coaching und Management einhergehen muss und immer wieder von uns eingefordert wird. Wir sind fest davon uberzeugt, dass mit dem im folgenden beschriebenen Vorschlag nicht nur diese Flaschenhalse beseitigt werden konnen, sondern auch die Nachhaltigeit und damit der Erfolg des gesamten D-Grid Projektes massiv gestarkt werden kann! Ein weiterer Aspekt der produktiven Usecases ist, dass erst mit diesen die Grid-Ressourcen richtig fur den Produktionsbetrieb getestet werden konnen. Die Problematik im DGUS-Ticket 853 beispielsweise ist ein Problem, dass erst durch produktive Usecases aufgedeckt wird Die Globus basierten Grid-Ressourcen im D-Grid sind durch die beiden produktiven Usecases Gravitationswellenanalyse und Genomanalyse stabiler geworden. Durch die in im Rahmen dieses Projektes geplante Erweiterung der Usecases auf gLite- und Unicore-Ressourcen wurden auch die Betreiber dieser Ressourcen enorm profitieren, weil es damit auf diesen Ressourcen zu einem Produktionsbetrieb kommen wurde.