HEP-CG Logo

HEP Community Grid - Projekt Status

 D-Grid Logo

Nachfolgend ist der Status aller Arbeitspakete detailliert dargestellt.

  1. AP 1 - Skalierbares Storagelement

  2. AP 2 - Job Monitoring

  3. AP 3 - Verteilte Datenanalyse unter Verwendung von Grid-Ressourcen

AP 1 - Skalierbares Storagelement

Code Vorgangsname Status Hinweis
Meilenstein: Auslieferung des SRM/dCache Pakets mit  gegenwärtiger Funktionalität an Partnerinstitute ok Im HEP/LCG-Umfeld leicht installierbares undadministrierbares SE auf Basis der existierenden dCache Funktionalität
Meilenstein: Auslieferung des SRM/dCache
Pakets mit erweiterter Funktionalität an Partnerinstitute		 ok Erweitertes dCache System mit integriertem Grid-Informationsdienst und Dokumentation zur Installation an kleinen bis sehr großen Standorten.
Download unter www.dcache.org/downloads.shtml
Meilenstein: Abgestimmte vollständige Beschreibung der Datenstrukturen ok Erstellung einer Markup-Beschreibung physikalischer Daten (XML Schema)
Meilenstein: Benutzbarer Katalogservice für das Einfügen, Modifizieren und Lesen der in Datenbanken gespeicherten XML Dokumente ok Link zum Katalogservice: http://www-zeuthen.desy.de/latfor/ldg/
T1.1 Basisdokumentation des dCache Storage Element ok siehe Anlage 1
T1.2 Repräsentative Lastzustände ok
T1.3 Entwicklung Informationsdienst ok Implementierung eines Infoprovider-Moduls als Schnittstelle zum LCG Informationsdienst unter Berücksichtigung des GLUE Schemas V1.2
Erweiterung um das Extended Information System (EIS) als Schnittstelle zum Co-Scheduling in T 2.1
T1.4 Pflichtenheft fuer Testsuiten ok siehe Anlage 2
T1.5 Automatisiertes Packaging ok Das automatisches Erstellen von RPM-Paketen (für Scientific Linux) nach Eingang neuen Programm-Codes in das Versionsverwaltungssytem (CVS) ermöglicht schnelle Release-Zyklen und Patches.
T1.6 Auslieferung des SRM/dCache Pakets an Partnerinstitute
 		 ok Erweitertes dCache System mit integriertem Grid-Informationsdienst und Dokumentation zur Installation an kleinen bis sehr großen Standorten.
Bereitstellen aller RPMs zum Download auf der Projektwebseite sowie als APT-Repository,
siehe www.dcache.org/downloads.shtml
T1.7 Installations- und Betriebsunterstützung ok
T1.8 Abschlussreport von Phase I des skalierbaren Storagelements ok siehe Anlage 3
T2.1 Weiterentwicklung des Produkts 50%
T2.2 Erweiterung des GLUE-Schemas 20%
T2.3 Dokumentation komplexer Anwendungsmöglichkeiten 80%
T2.4 Konfigurationswerkzeuge 80% Zur Verfügung stehen für administrative Zwecke ein SSH-basiertes Kommandozeileninterface sowie ein grafisches Benutzerinterface (pCells). Weiterhin ist es möglich, dCache um benutzerdefinierte Monitoring- und Konfigurationswerkzeuge auf Basis der bereitgestellten Python API zu erweitern.
1.2.1 Schnittstellendefinition ok
1.2.2 Meilenstein: Gesamtkonzept erstellen ok siehe  http://isaac.e-technik.uni-dortmund.de/trac/projects/hepcg/wiki/hep_cp_milestone_gesamtkonzept
1.2.3 Erweiterung des lokalen Datenmanagements zur schedule-baren Resource
1.2.4 Zentrale Jobscheduling Strategien siehe http://isaac.e-technik.uni-dortmund.de/trac/projects/hepcg/wiki/hep_cp_milestone_zentrale_jobscheduling_strategien
1.2.5 Lokale Jobscheduling Strategien siehe http://isaac.e-technik.uni-dortmund.de/trac/projects/hepcg/wiki/hep_cp_milestone_lokale_jobscheduling_strategien
1.2.6 Meilenstein:Erster Prototyp im Testbetrieb siehe http://isaac.e-technik.uni-dortmund.de/trac/projects/hepcg/wiki/hep_cp_milestone_erster_prototyp
1.2.7 Entwicklung von Replikationsstrategien
1.2.8 Entwicklung von Vorhersage-Strategien zur Ressourcenbelastung
1.2.9 Meilenstein:funktional erweiterter Prototyp
1.2.10 Meilenstein:Abschluss der Produktionsversion

Veröffentlichungen

  1. P. Fuhrmann, V. Guelzow, „dCache, storage system for the future“, John von Neumann-Instituts für Computing (NIC) im Grid Village der Euro-Par 2006, Dresden PDF
  2. T. Mkrtchyan, P. Fuhrmann, M. Gasthuber, "Chimera - a new, fast, extensible and Grid enabled namespace service", Proceedings of Computing in High Energy Physics (CHEP06) Mumbai, India, February 2006 PDF

Anlagen

  1. dCache, The Book HTML PDF
  2. Pflichtenheft für Testsuiten PDF
  3. Abschlussreport von Phase I des skalierbaren Storagelements PDF
  4. Poster: "International Lattice Data Grid", John von Neumann-Instituts für Computing (NIC) im Grid Village der Euro-Par 2006, Dresden PDF

Talks

  1. Martin Radicke: "dCache - A Scalable Storage Element", HEPCG-Wokshop am GSi in Darmstadt, 27. April 2006 PDF
  2. Martin Radicke: "dCache - A Scalable Storage Element (Update)", HEPCG-Wokshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF
  3. Dirk Pleiter: "Datagrids for Lattice QCD", ACAT05, Zeuthen, 2005 PDF
  4. Dirk Pleiter: "Using grid technologies for lattice QCD", Proceedings of Computing in High Energy Physics (CHEP06),
    Mumbai, India, February 2006 PDF
  5. Dirk Pleiter: "Development of an Application Level Metadata Catalogue", HEPCG-Wokshop am GSI in Darmstadt, 27. April 2006 PDF
  6. Hinnerk Stueben: "Introduction to ILDG, the LatFor Datagrid, and I3HP Transnational Access", Lattice Practices '06 am DESY Zeuthen, 28 November 2006 PDF
  7. Hinnerk Stueben: "Metadata Catalogue", HEPCG-Wokshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF
  8. Lars Schley: "HEP CG Scheduling Architecture", HEPCG-Workshop am GSI in Darmstadt, 27. April 2006 PDF
  9. Stefan Freitag: "HEP CG Scheduling Architecture (Update)", HEPCG-Workshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF

AP 2 - Job Monitoring

PSP_Code Vorgangsname Status Hinweis
2.1.10 Meilenstein: Ergebnisse der Evaluation (R-GMA, Job-Information, existierende Monitoringsysteme, Auswahl Monitordaten ok Dokumentiert unter http://www.grid.uni-wuppertal.de/ap2?Monitoring_Information, Siehe Anlage 1
2.2.2 Entwurf Visualisierungskonzepte 80% Visualiserung der Systemauslastung während eines Jobs über dynamische HTML-Seiten. Teil des Softwarepakets. Veröffentlicht u.a. in [1]
Weiterentwickelt und in GridSphere integriert im Rahmen der Diplomarbeit Nike Schüßler, Fertigstellung 07.02.2007
2.2.3 Entwurf Jobzustandsüberwachungsumgebung 80% Jobzustandsüberwachung funktionsfähig als Teil des JMS. Technische Details siehe Anlage 2. Evtl. noch leichte Anpassungen nötig, wenn mehr Erfahrungen mit großen Jobmengen vorliegen.
2.2.6 Meilenstein: erste Versionen der Monitoring-Software, erste Ergebnisse der „pre-Execution Tests“ ok Monitoring Software samt Dokumentation auf eigener Webpräsenz veröffentlicht.
Ergebnisse veröffentlicht in [1], [2] und [3]
2.2.7 Weiterentwicklung der Jobzustandsüberwachung und Integration in HEP-Software
2.2.8 Integration in LCG, Dokumentation, Optimierung der Benutzbarkeit 10% Dokumentation (End User Manual) auf der Webseite verfügbar.
2.2.9 Erstellung einer Joberfolgsmatrix
2.2.10 Integration "pre-execution" Tests in die Matrix
2.2.11 Weiterentwicklung "pre-execution" Tests
2.2.13 Meilenstein: fertige, getestete und vollständige Version der Software, integriert in D-Grid nud GGUS, Studie über die Gründe von Jobabbrüchen
2.2.14 Maintainance HEP-Software
2.2.15 Maintainance LCG (R-GMA Dienste)
2.3.1.1 / 2.3.2.1 Entwurf Ressource Monitoring und Visualisierungsmethoden ok Dokumentiert unter http://www.grid.uni-wuppertal.de/ap2?Architektur oder in [4]
2.3.1.2 / 2.3.1.4 Implementierung Ressourcen-Monitoring, Tests und Evaluierung 60%
2.3.1.3 Meilenstein: erste Version der Ressourcennutzungs-Monitoring-Software ok
2.3.1.5 Integration in LCG und D-Grid, Dokumentation, Optimierung der Benutzbarkeit 30%
2.3.1.6 Entwicklung von Analyse Methoden zur Ressourcennutzung sowie A-posteriori Untersuchung zur Effizienz des Ressource Borkerings 30%
2.3.2.2 / 2.3.2.4 Implementierung Job-Monitoring, Tests und Evaluierung 60%
2.3.2.3 Meilenstein: erste Version der Job-Monitoring-Software ok http://141.76.90.164:8080/gridsphere/gridsphere
2.3.2.5 Integration in LCG und D-Grid, Dokumentation, Optimierung der Benutzbarkeit 30%
2.4.1 Entwurf des "Result Monitoring and Online Steering Tools" (RMOST) ok Dokumentiert unter http://www.hep.physik.uni-siegen.de/grid/rmost/doc/Architecture.pdf
2.4.2 Anforderungsanalyse fuer das Onlinesteering ok Dokumentiert unter http://www.hep.physik.uni-siegen.de/grid/rmost/doc/Anforderungsanalyse.html
2.4.3 Implementierung von RMOST ok Erster Prototyp erhaeltlich unter http://www.hep.physik.uni-siegen.de/grid/rmost/versions/rmost-1_0_0.tar
Weitere Dokumentation: Userguide (siehe Anlage 3), Installationsguide (siehe Anlage 4), Developerguide (siehe Anlage 5), Tutorial (siehe Anlage 6)

Veröffentlichungen

  1. A. Hammad, T. Harenberg, D. Igdalov, P. Mättig, D. Meder-Marouelli, P. Ueberholz, „A Job Monitoring System for the LCG Computing Grid“, Proceedings of the 2006 20th IEEE International Symposium on Parallel & Distributed Processing (IPDPS) (PDF aus Copyright Gründen nicht öffentlich)
  2. Andreas Frommer, Matthias Huesken: „Ensuring numerical quality in grid computing“ in Proceedings of the 15th IEEE International Symposium on High Performance Distributed Computing June 19-23 2006 Paris (PDF aus Copyright Gründen nicht öffentlich)
  3. Matthias Hüsken, Ensuring Numerical Quality in Grid Computing, 12th GAMM - IMACS International Symposion on Scientific Computing, Computer Arithmetic and Validated Numerics, Duisburg, 26 - 29 September 2006 (PDF aus Copyright Gründen nicht öffentlich)
  4. Ralph Müller-Pfefferkorn , Reinhard Neumann, Ahmad Hammad,  Torsten Harenberg, Matthias Hüsken, Peter Mättig, Markus Mechtel, David Meder-Marouelli , Stefan Borovac, Peer Ueberholz: „Monitoring of Jobs and their Execution for the LHC Computing Grid“ in Proceedings of the Cracow Grid Workshop 2006. PDF
  5. Daniel Lorenz, Peter Buchholz, Christian Uebing, Wolfgang Walkowiak, Roland Wismueller: „Online Steering of HEP Grid Applications“ in Proceedings of the Cracow Grid Workshop 2006. PDF
  6. Ralph Müller-Pfefferkorn, Reinhard Neumann: „ Job and Resource Usage Monitoring for LCG“ Poster at GridVillage EuroPar2006, Dresden PDF

Anlagen

  1. Ablichtung der Webseite http://www.grid.uni-wuppertal.de/ap2?Monitoring_Information: PDF
  2. Ablichtung der Webseite http://www.grid.uni-wuppertal.de/jms/tech.html: PDF
  3. UserGuide "Result Monitoring and Online Steering Tool" PDF
  4. InstallationsGuide "Result Monitoring and Online Steering Tool" PDF
  5. DevelopersGuide "Result Monitoring and Online Steering Tool" PDF
  6. Tutorial zur Benutzung der Grundfunktionalität des ersten Prototyps des "Result Monitoring and Online Steering Tools" HTML

Talks

  1. Torsten Harenberg: „Job Monitoring in LCG“, Gruppenvortrag auf der DPG-Frühjahrstagung 2006, Dortmund PDF
  2. Ahmad Hammad, Torsten Harenberg, Matthias Hüsken, Peter Mättig, Markus Mechtel, David Meder-Marouelli: "AP2 Monitoring - Job Execution Monitor" PDF
  3. Stefan Borovac, Torsten Harenberg, Matthias Hüsken, Peter Mättig, Markus Mechtel, David Meder-Marouelli: „ Job Execution Monitor“. Talk während der ATLAS Software Woche, 13. September 2006 PDF
  4. Stefan Borovac, Torsten Harenberg, Matthias Hüsken, Peter Mättig, Markus Mechtel, David Meder-Marouelli: „ Job Execution Monitor“. Talk während des HEPCG Workshops Wuppertal, 30. November 2006 PDF
  5. Daniel Lorenz: „Online ­Steering of HEP-Applications“, HEPCG-Workshop am GSi in Darmstadt, 27. April 2006 PDF
  6. Daniel Lorenz: „Online ­Steering of HEP-Applications“, Grid Workshop 2006 in Krakow, 18. Oktober 2006 PDF
  7. Daniel Lorenz, „The RMOST Online Steering Tool", HEPCG-Workshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF
  8. Daniel Lorenz, „The RMOST Online Steering Tool", Atlas Software Week am CERN in Genf, 12. Dezember 2006 PDF
  9. Ralph Müller-Pfefferkorn, Reinhard Neumann „Job-Monitoring and Monitoring of Resource Usage in HEPCG", HEPCG-Workshop am GSI in Darmstadt, 27. April 2006 PDF
  10. Ralph Müller-Pfefferkorn, Reinhard Neumann „User-Centric Job and Resource Usage Monitoring", HEPCG-Workshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF

AP 3 - Verteilte Datenanalyse unter Verwendung von Grid-Ressourcen

Code Vorgangsname Status Hinweis
3.1 Meilenstein: Gap-Analyse des autmatischen Jobmanagers und der interaktiven Analyse ok Dokumentiert unter http://documentation.hepcg.org/res/ap3/milestone_300906.pdf

Veröffentlichungen

  1. Johannes Elmsheuser, „Distributed Analysis Experiences within D-GRID“, Proceedings of CHEP 2006 in Mumbai PDF
  2. P. Malzacher, A. Manafov, R. Manteufel, V. Penso, C. Preuss, K. Schwarz, "Grid Activities at GSI", GSI Scientific Report (2005) 291. PDF
  3. P. Malzacher, A. Manafov, R. Manteufel, V. Penso, C. Preuss, K. Schwarz, "Grid Activities at GSI", GSI Scientific Report (2006). PDF
  4. K. Schwarz, A. Manafov, P. Malzacher, "Developing a ROOT interface for gLite", CHEP(2006), Mumbai, Indien PDF

Anlagen

  1. ATLAS distributed computing tutorial, National eScience Centre (NeSC), Edinburgh, 1-2 Februar 2007 HTML
  2. Tutorial on Distributed Analysis with Ganga, ATLAS Software and Computing Workshop, CERN, 14 September 2006 HTML

Talks

  1. Johannes Elmsheuser: "Distributed Analysis Tools in ATLAS", HEPCG-Workshop am GSI in Darmstadt, 28. April 2006 PDF
  2. Johannes Elmsheuser: "ATLAS Distributed analysis demo", LHCC comprehensive review am CERN in Genf, 25 September 2006 PDF
  3. Johannes Elmsheuser: "Distributed Analysis Tools in ATLAS", HEPCG-Workshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF
  4. Johannes Elmsheuser: "Distributed analysis with Ganga and plans", Atlas Software Week am CERN in Genf, 12. Dezember 2006 PDF
  5. Anar Anar Manafov: "RGLite - A gLite plug-in for ROOT", HEPCG-Workshop am GSI in Darmstadt, 27. April 2006 PDF
  6. Anar Anar Manafov: "A Design Proposal for Interactive Data Analysis on the Grid", HEPCG-Workshop an der Bergischen Universitaet in Wuppertal, 30. November 2006 PDF
  7. Kilian Schwarz: "The German HEP-Grid initiative HEP CG WP3:  Distributed interactive data analysis analysis",  DPG Frühjahrstagung 2006 in Dortmund, 30. März 2006 PDF
  8. Kilian Schwarz, Anar Manafov, Peter Malzacher: "RGLite, an interface between ROOT and gLite", DPG Frühjahrstagung Teilchenphysik 2006 in Heidelberg
    Dortmund PDF

Kontakt: martin<punkt>radicke<at>desy<punkt>de