Know ATS Score
CV/Résumé Score
  • Expertini Resume Scoring: Our Semantic Matching Algorithm evaluates your CV/Résumé before you apply for this job role: Masterarbeit: Eignung von Benchmarks für LLMs.
Germany Jobs Expertini

Urgent! Masterarbeit: Eignung von Benchmarks für LLMs Job Opening In Darmstadt – Now Hiring Fraunhofer

Masterarbeit: Eignung von Benchmarks für LLMs



Job description


 


Das Fraunhofer-Institut für Sichere Informationstechnologie SIT gehört zu den führenden Forschungs- und Entwicklungseinrichtungen für Cyber-Sicherheit in Deutschland und Europa und ist Teil von ATHENE, dem nationalen Forschungszentrum für angewandte Cybersicherheit.

ATHENE ist eine Kooperation der Fraunhofer-Gesellschaft mit der TU Darmstadt, der Hochschule Darmstadt und der Goethe-Universität Frankfurt.

Unser gemeinsames Ziel: die Welt von morgen sicherer zu machen.


 


Was Du bei uns tust


 


LLMs haben in den letzten Jahren große Aufmerksamkeit erlangt, aufgrund ihrer bemerkenswerten Fähigkeiten.

Der Begriff Fähigkeiten ist jedoch nicht klar definiert.

Daher gibt es kein eindeutiges Verständnis davon, was eine Fähigkeit ist, die ein LLM besitzt.

Diese Fähigkeiten zu quantifizieren ist noch schwieriger, da dies durch Benchmarking geschieht.

Benchmarking testet LLMs nur anhand eines bestimmten Datensatzes.

Es kann nicht festgestellt werden, ob ein LLM tatsächlich die gegebene Fähigkeit besitzt oder ob es lediglich die Benchmark-Daten auswendig gelernt hat.

Daher sollen generalisierende und memorisierende Neuronen identifiziert werden.


 


Ziel: Das Ziel dieser Arbeit ist es, ein besseres Verständnis der Fähigkeiten von LLMs zu erlangen.

Daher sollen bestimmte Fähigkeiten, z.B. die Generalisierung, spezifischen Bereichen im Netzwerk zugeordnet werden.

Anschließend wird überprüft, ob einige der Daten im Benchmark auswendig gelernt wurden und wie gut der Benchmark geeignet ist, um die LLMs zu bewerten.

Dazu soll ein Ansatz entwickelt und implementiert werden, der automatisiert Neuronen in einem LLM analysiert.

Abhängig von deren neuronalen Aktivitäten und einem entwickelten Bewertungssystem wird die Eignung eines Benchmarks für das jeweilige LLM automatisiert eingestuft.


 


Ergebnisse: Die Ergebnisse dieser Arbeit sollen den Weg für ein besseres Verständnis und die Motivation weiterer Forschungsarbeiten zu den Fähigkeiten von LLMs ebnen.

Während traditionelle Benchmarking-Methoden der Standard zur Bewertung von LLMs waren, bringen sie Einschränkungen mit sich.

Die Arbeit wird die Identifikation der Eignung von Benchmarks und das Lernen für spezifische LLMs verbessern und Einblicke darin bieten, welche Benchmarks die Fähigkeiten des Modells genau widerspiegeln.

Durch die automatisierte Implementierung kann die Eignung von Benchmarks schnell und einfach bestimmt werden, sodass man einen guten Überblick über die tatsächliche Performance des zu testenden LLMs erhält.

Schließlich werden die Ergebnisse mit dem BenchBench-Benchmark verglichen, einem Benchmark für Benchmarks, um die Ergebnisse zu validieren.


 


Was Du bei uns tust:



  • Forschen und Implementieren von neuartigen Machine Learning Ansätzen, die die Sicherheit von LLMs steigern

  • Selbstkritische Evaluierung der gefundenen Ergebnisse

  • Präsentieren der Ergebnisse

  • Anfertigen eines Projektberichts in Form einer Masterarbeit


 


Was Du mitbringst


 



  • Kenntnisse im Bereich Machine Learning darunter Training, Inferenz und Optimierung von Transformerarchitekturen

  • Gute Python Kenntnisse im Speziellen mit Pytorch

  • Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten


 


Was Du erwarten kannst


 



  • Selbstständige Arbeitszeiteinteilung

  • Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung


 


Verwandte Arbeiten:






 


Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.


 


Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess.

Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft. 


Haben wir Dein Interesse geweckt?


Required Skill Profession

Computer Occupations



Your Complete Job Search Toolkit

✨ Smart • Intelligent • Private • Secure

Start Using Our Tools

Join thousands of professionals who've advanced their careers with our platform

Rate or Report This Job
If you feel this job is inaccurate or spam kindly report to us using below form.
Please Note: This is NOT a job application form.


    Unlock Your Masterarbeit Eignung Potential: Insight & Career Growth Guide