Skip to content
GitLab
Commit d5795ed8 authored by Wolfgang Knopki's avatar Wolfgang Knopki
Browse files

Merge branch 'M4LAB-423' into 'testing' 

M4 lab 423

See merge request !100
parents cf723a74 b5ce2f7c
Pipeline #3205 passed with stage
in 9 seconds
Hide whitespace changes
Inline Side-by-side
css/help.css
View file @ d5795ed8
img{
padding-bottom: 20px;
}
ol.innerlisthpchelp {
list-style-type: lower-alpha;
}
help/hpc.html
View file @ d5795ed8
......@@ -39,7 +39,7 @@
</div>
<div id="collapse1" class="card-body collapse" style="">
<p>
To access the High-Performance Computing platform, one must have registered themselves with the organization that provides such services. In our case, users must have to register themselves with KIT. It is an organization that is providing services to access the high-performance cluster sponsored by Baden-Württemberg. Please visit the link: <a href="https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access" target="_blank">how to register</a> to get the registration done.
Um Zugang zum High Performance Computing zu bekommen, muss man sich beim jeweiligen Anbieter einer HPC Plattform registrieren. In unserem Fall können sich Mitglieder der HFT beim KIT registrieren, welches den vom Land Baden-Württemberg unterstützen HPC Cluster betreibt. Folgen Sie bitte diesem Link um sich zu <a href="https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access" target="_blank">registrieren</a>.
</p>
<img style="width:100%" src="/img/hpc/bwhpc.jpg" alt="hpc picture here">
</div>
......@@ -54,7 +54,7 @@
</div>
<div id="collapse2" class="card-body collapse" style="">
<p>
Here some basic information that you need to establish connection to the cluster to run your computation tasks over there And that there are two different approaches, one using a templated prepared by us and one to implement the connection from scratch.
Um nach erfolgreicher Registrierung den HPC Dienst für Berechnungen nutzen zu können, muss man eine Verbindung zum HPC Cluster aufbauen. Hier gibt es zwei unterschiedliche Möglichkeiten. Sie können entweder ein von uns bereitgestelltes Template verwenden oder Sie programmieren eine eigene Verbindung. Für beide Möglichkeiten finden Sie im weiteren Hilfestellung.
</p>
</div>
</div>
......@@ -67,11 +67,31 @@
</h3>
</div>
<div id="collapse3" class="card-body collapse" style="">
<p>We introduce a state of the art template-based approach using Gitlab-CI/CD in which the user has to copy the predefined template (link of an HPC test project that contains predefined template) where the user has to provide information such as login information, module, or application repository, objective and/or set of resources required to compute information and etc. over HPC-platform. We have already presented this approach at a scientific conference. For further information please read out our published work which explains concretely with a use-case study.
<br/>for more information.
<p>Das Template beruht auf einen neuartigen Ansatz, eine solche Verbindung zum HPC Dienst mittels der Gitlab-CI/CD Funktionalität weitestgehend zu automatisieren. Weitere Hintergrundinformationen zu diesem Ansatz können Sie folgender Publikation entnehmen:
<br/><a href="https://dl.acm.org/doi/abs/10.1145/3421537.3421539" target="_blank">Sharif et al. 2020</a>
<br/>
Das Vorgehen gestaltet sich wie folgt:
<ol>
<li>Im Gitlab befindet sich das Beispielprojekt <a href="https://transfer.hft-stuttgart.de/gitlab/sharif/m4labhpc" target="_blank">test_m4labhpc</a>. Bitte kopieren Sie dieses in ein eigenes Gitlab Projekt.</li>
<li> Konfigurieren Sie das Projekt, indem Sie Angaben für alle vorbereiteten und kommentierten Felder in der Datei XYZ machen, die für eine erfolgreiche Verbindung zum HPC Cluster erforderlich sind. Die dazu benötigten Informationen umfassen dabei insbesondere:
<br/>
<ol class="innerlisthpchelp">
<li>Login Informationen zum HPC cluster </li>
<li>Angabe der benötigten Module</li>
<li>Angabe des Repositoriums welches Ihren Programmcode enthält </li>
<li>.....</li>
</ol>
<br/>
Welche Informationen das genau sind, entnehmen Sie bitte der Datei im Template sowie der <a href="https://hft-stuttgart.de" target="_blank">Dokumentation</a> des KIT zur Verwendung von HPC. Zur ersten Orientierung können auch die unten gezeigten Informationen zum Anbinden ohne Template dienen.
</li>
<li>Starten Sie ihre Berechnungen von Ihrer Commandozeile, indem Sie </li>
</ol>
</p>
<img style="width:100%" src="/img/hpc/tempapproach.png" alt="template base appraoch">
<br/>1. COaaS:Continuous Integration and Delivery framework for HPC using Gitlab-Runner, BDIOT2020, the fourth international conference on Big Data, Singapore.
</div>
</div>
<br/>
......@@ -79,12 +99,12 @@
<div class="card-header">
<h3 class="card-title">
<a class="collapsed" data-toggle="collapse" href="#collapse4" aria-expanded="false" aria-controls="collapse4">
<small>Anbindung an den HCP Dienst ohne Template</small></a>
<small>Anbindung an den HPC Dienst ohne Template</small></a>
</h3>
</div>
<div id="collapse4" class="card-body collapse" style="">
<p>
In a non-template-based approach, after login, the user must follow the appropriate instruction given in the following link: <a href="https://wiki.bwhpc.de/e/Batch_Jobs" target="_blank"> non-template-based instruction</a>, that is suitable for their application to compute over the HPC-platform. These instructions may contain(s) software-module(s), different compilers, numerical libraries, etc.
Für eine Anbindung ohne das o.g. Template müssen Sie nach dem Login auf dem HPC Cluster verschiedene Schritte selbständig ausführen. Eine Anleitung mit genauen Hinweisen finden Sie in der <a href="https://wiki.bwhpc.de/e/Batch_Jobs" target="_blank"> Dokumentation des HPC Clusters</a>, welche auf Aspekte wie den benötigten und unterstützten Softwaremodulen, Compiler, Libraries usw. eingeht. Das folgende Bild gibt Ihnen einen ersten Überblick.
</p>
<img style="width:100%" src="/img/hpc/nontemp.png" alt="non template appraoch">
</div>
......@@ -99,8 +119,8 @@
</div>
<div id="collapse5" class="card-body collapse" style="">
<p>
Information about how to run simulation on HPCC platform is available on the following link <a href="https://wiki.bwhpc.de/e/BwHPC_Best_Practices_Repository" target="_blank" >BwHPC Best Practices</a>. To get HPC services efficiently, It is recommended that you should have sufficient knowledge about parallel-programming, batch jobs, software module, compiler, numerical libraries. The best practices repository of Baden-Württemberg's high performance computing (bwHPC) covers generic high performance computing user guides and science specific HPC best practice guides (BPG).
</p>
Detaillierte Informationen wie man Simulationen auf dem HPC Cluster ausführt können Sie dem BwHPC Best Practices <a href="https://wiki.bwhpc.de/e/BwHPC_Best_Practices_Repository" target="_blank" >Repositorium</a> entnehmen. Um HPC effizient nutzen zu können, empfehlen wir ausreichende Kenntnisse in den Bereichen parallel-programming, batch jobs, software modules, compiler, und numerical libraries. Auch hier finden Sie im genannten Best Practices Repositorium weitere Unterstützung in Form der HPC best practice guides (BPG).
</p>
</div>
</div>
......
info_hpc.html
View file @ d5795ed8
......@@ -29,9 +29,9 @@
<h2 class="d-flex flex-column flex-shrink-1 justify-content-lg-start text-center" style="padding-top: 15px;color: #708090;"><strong>Hochleistungsrechnen</strong></h2>
</div>
<div class="col-auto flex-row flex-grow-1 flex-fill" style="background-color: #ffffff;">
<p> Hochleistungsrechen (englisch: high-performance computing, HPC) ist eine Technologie, die Rechenarbeiten ermöglicht, die einen hohen Bedarf an Rechenleistung oder Speicherkapazität haben. Somit können umfangreiche Modelle, Algorithmen oder auch Simulationen in deutlich kürzerer Zeit ausgeführt werden als es auf herkömmlichen Computersystemen möglich ist.
<p> Das Hochleistungsrechen (englisch: high-performance computing, HPC) ist eine Technologie, die Rechenarbeiten ermöglicht, welche einen hohen Bedarf an Rechenleistung oder Speicherkapazität haben. Somit können umfangreiche Modelle, Algorithmen oder auch Simulationen in deutlich kürzerer Zeit ausgeführt werden als es auf herkömmlichen Computersystemen möglich ist.
Das Land BW stellt unter Beteiligung mehrerer Universitäten und Hochschulen – darunter auch der HFT Stuttgart – eine Hochleistungsrechenplattform bereit: BW HPC Cluster.
Das Land BW stellt unter Beteiligung mehrerer Universitäten und Hochschulen – darunter auch der HFT Stuttgart – eine Hochleistungsrechenplattform bereit, den BW HPC Cluster.
</p>
</div>
......@@ -58,7 +58,7 @@
</div>
<div id="collapse7" class="card-body collapse" style="">
<p>
Machine Learning can work very well with image recognition, But it can also be used to recognize audio patterns. Machine Listening can be used to identify audio patterns of different entities like car engine, human speaking, nature sounds etc. Aim of this thesis is to classify different vehicles based on their sounds and then further categorize them as either light weight, medium weight, heavy weight, rail- bound or two-wheeled vehicle using the applications of Machine Listening in the field of acoustics. In order to increase the speed and performance of the software program and algorithm, the program will run on a High Performance Computing (HPC) system containing cluster which in turn will have many compute servers also called as nodes which will unable faster and parallel computing.
In einer Masterarbeit in der Akustikgruppe der HFT Stuttgart wurde für eine Beurteilung des Verkehrsaufkommens der Einsatz einer automatischen Erkennung von Straßengeräuschen wie Motoren, Passanten und Umweltgeräuschen untersucht. Durch Verwendung des maschinellen Lernens, genauer dem s.g. Deep Learning, sollten unterschiedliche Fahrzeuge anhand der akustischen Signale erkannt und unterschiedlichen Fahrzeugkategorien (z.B. Leicht-, Mittel-, Schwerfahrzeuge, Schienenfahrzeuge, Zweiräder) zu geordnet werden. Um die Berechnungszeit für das Deep Learning zu verkürzen, wurden die Berechnungen auf dem HPC Cluster durchgeführt, wobei mittels paralleler Programmierung eine Vielzahl von Rechenknoten auf dem Cluster genutzt wurden.
<br/>for more information.
</p>
<img style="width:100%" src="/img/hpc/acoustic.png" alt="template based approach">
......@@ -69,12 +69,12 @@
<div class="card-header">
<h3 class="card-title">
<a class="collapsed" data-toggle="collapse" href="#collapse5" aria-expanded="false" aria-controls="collapse5">
<small>urban-scale energy systems co-planning (in Arbeit)</small></a>
<small>Planung von verteilten Energiesystemen im urbanen Maßstab (in Arbeit)</small></a>
</h3>
</div>
<div id="collapse5" class="card-body collapse" style="">
<p>
In an energy community, the prosumers' interactions are critical to ensure efficient resource distribution, e.g., renewable energy sources, and to reach ambitious climate and economic goals. A typical paradigm of a local energy sharing platform consists of many prosumers and an agent that coordinates the energy transactions between prosumers. The coordinating agent, typically known as the market agent, acts according to a set of rules that enable it to match one prosumer's renewable energy surplus with the deficit of another. This article describes an agent-based modeling strategy and a case-study to demonstrate the prosumer interactions in an energy community. Each prosumer agent in the modeled environment intends to maximize its renewable energy self-consumption. At the same time, the energy community, as a whole, also would like to maximize its collective renewable self-consumption. The prosumers attempt to achieve their individual and collective objectives by following either a locally optimal or rule-based strategy. In both scenarios, prosumers have no visibility of other prosumers; therefore, the market agent has the sole responsibility of orchestrating the energy exchanges between prosumers. Finally, we discuss the significance and future research outlook for energy interaction modeling at a community scale.
Das Verhalten von Energie-Prosumenten in einem Energieverbund ist ein kritischer Aspekt für die effiziente Verteilung der Energieressourcen, wie z.B. erneuerbaren Energieerzeugern, sowie für die Erreichung ambitionierter Klima- und Wirtschaftsziele. Ein üblicher Ansatz lokaler Energieverteilungsplattformen geht von vielen Prosumenten und einem Agenten aus, welcher den Energietransfer zwischen den Prosumenten koordiniert. Dieser koordinierende Agent, üblicherweise als Marktagent bezeichnet, handelt auf Basis eines Regelwerks durch welches ein Energieüberschuss eines Prosumenten mit einem Defizit eines anderen ausgeglichen werden kann. In einer Studie wurde eine neuartige agentenbasierte Modellierung der Interaktionen zwischen den Prosumenten in einem Energieverbund entwickelt und evaluiert. Das Ziel dieser Strategie ist es, sowohl die individuelle Ausnutzung erneuerbarer Energien pro Prosument als auch die gemeinschaftliche Ausnutzung im gesamten Verbund zu maximieren, indem der Agent den Energietransfer zwischen den Prosumenten orchestriert. Da es sich bei dieser Aufgabe um ein rechenintensives Optimierungsproblem handelt, kommt der HPC Cluster zum Einsatz.
</p>
<img style="width:100%" src="/img/hpc/concept.png" alt="Energy co-planning">
</div>
......@@ -84,12 +84,15 @@
<div class="card-header">
<h3 class="card-title">
<a class="collapsed" data-toggle="collapse" href="#collapse6" aria-expanded="false" aria-controls="collapse6">
<small>CA-Smart2Charge (in Arbeit)</small></a>
<small>Kontextabhängiges Smart2Charge (in Arbeit)</small></a>
</h3>
</div>
<div id="collapse6" class="card-body collapse" style="">
<p>
Electromobility has profound economic and ecological impacts on human society. Much of the mobility sector's transformation is catalyzed by digitalization, enabling many stakeholders, such as vehicle users and infrastructure owners, to interact with each other in real-time. This article presents a new concept based on deep reinforcement learning to optimize agent interactions and decision making in a smart-mobility eco-system. The algorithm performs context-aware, constrained-optimization that fulfills on-demand requests from each agent. The algorithm can learn from the surrounding environment until the agent interactions reach an optimal equilibrium point in a given context. The methodology implements an automatic template-based approach via a CI/CD framework using a GitLab runner and transfers highly computationally intensive tasks over a high performance compute cluster automatically without manual intervention.
Die Elektromobilität hat einen tiefgreifenden wirtschaftlichen und ökologiscen Einfluss auf unsere Gesellschaft. Ein Großteil der Transformation im Mobilitätssektor wird durch die Digitalisierung vorangetrieben, indem diese echtzeitfähige Interaktionen zwischen den unterschiedlichen Beteiligten, wie z.B. Fahrzeugnutzern und Infrastrukturbetreiber, ermöglicht. In einer Studie wird ein neues, auf dem s.g. Deep Reinforcement Learning basierendes Konzept für die Optimierung solcher Interaktionen und Entscheidungsprozessen zwischen den Beteiligten in einem Smart-Mobility Ecosystem untersucht. Der hierbei entwickelte Algorithmus löst dabei kontextbezogene, beschränkte Optimierungsprobleme zur Erfüllung von Anfragen der Beteiligten. Dabei lernt der Algorithmus von der Umgebung und den Interaktionen bis sich für den jeweils betrachteten Kontext ein optimales Gleichgewicht bei der Erfüllung der Anfragen einstellt.
Um dieses rechenintensive Problem zu lösen, läuft der Algorithmus auf dem HPC Cluster unter Verwendung des oben genannten, bereit gestellten Templates.
</p>
<img style="width:100%" src="/img/hpc/ucicity2021.png" alt="casmart2charge">
<br/>1. CA-Smart2Charge:Context-Aware optimal charging distribution using Deep Reinforcement Learning, BDIOT2020, the fourth international conference on Big Data, Singapore.
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment

Dies ist die Gitlab-Instanz des Transferportals der Hochschule für Technik Stuttgart. Hier geht es zurück zum Portal